ПРИНЦИП ДЛЯ КОМПЕНСАЦИИ ПЕРЕКЛЮЧЕНИЯ РЕЖИМА КОДИРОВАНИЯ Российский патент 2017 года по МПК G10L19/02 G10L19/24 G10L19/20 

Настоящая заявка относится к кодированию информационных сигналов с использованием различных режимов кодирования, отличающихся, например, по эффективной кодированной полосе пропускания и/или по свойству сохранения энергии.

В документах [1], [2] и [3] предлагается разрешать короткие ограничения полосы пропускания посредством экстраполяции отсутствующего контента с помощью BWE вслепую прогнозирующим способом. Тем не менее, этот подход не охватывает случаи, в которых полоса пропускания изменяется на долговременной основе. Кроме того, не рассматриваются различные свойства сохранения энергии (например, BWE вслепую обычно имеют значительные уменьшения энергии на высоких частотах по сравнению с полнополосным ядром). Кодеки с использованием режимов с варьирующейся полосой пропускания описываются в документах [4] и [5].

В приложениях мобильной связи варьирования доступной скорости передачи данных, которые также влияют на скорость передачи битов используемого кодека, могут быть обычным явлением. Следовательно, должно быть предпочтительным иметь возможность переключать кодек между различными, зависимыми от скорости передачи битов, настройками и/или улучшениями. Когда требуется переключение между различными BWE и, например, полнополосным ядром, могут возникать неоднородности вследствие различных эффективных выходных полос пропускания или варьирующихся свойств сохранения энергии. Более точно, различные BWE или BWE-настройки могут использоваться в зависимости от рабочей точки и скорости передачи битов (см. фиг. 1). Типично, для очень низких скоростей передачи битов, предпочитается схема расширения полосы пропускания вслепую, чтобы фокусировать доступную скорость передачи битов в более важном базовом кодере. Расширение полосы пропускания вслепую типично синтезирует небольшую дополнительную полосу пропускания поверх базового кодера без дополнительной вспомогательной информации. Чтобы исключать введение артефактов (например, посредством перерегулирований по энергии или усиления ошибочных компонентов) посредством BWE вслепую, дополнительная полоса пропускания обычно очень ограничена по энергии. Для средних скоростей передачи битов, в общем, желательно заменять BWE вслепую подходом на основе направляемого BWE. Этот направляемый подход использует параметрическую вспомогательную информацию для энергии и формы синтезированной дополнительной полосы пропускания. Посредством этого подхода и по сравнению с BWE вслепую при более высокой энергии может быть синтезирована более широкая полоса пропускания. Для высоких скоростей передачи битов желательно кодировать полную полосу пропускания в области базового кодера, т.е. без расширения полосы пропускания. Это типично предоставляет почти идеальное сохранение полосы пропускания и энергии.

Соответственно, цель настоящего изобретения заключается в том, чтобы предоставлять принцип для повышения качества кодеков, поддерживающих переключение между различными режимами кодирования, в частности, при переходах между различными режимами кодирования.

Это цель достигается посредством предмета изобретения находящихся на рассмотрении независимых пунктов формулы изобретения, при этом преимущественные подаспекты представляют собой предмет зависимых пунктов формулы изобретения.

Выявленные сведения, на которых основана настоящая заявка, заключаются в том, что кодек, обеспечивающий возможность переключения между различными режимами кодирования, может быть улучшен посредством, в ответ на событие переключения, выполнения временного сглаживания и/или смешивания при соответствующем переходе.

В соответствии с вариантом осуществления переключение осуществляется между режимом кодирования аудио в полной полосе пропускания, с одной стороны, и режимом кодирования аудио с BWE или в подполосе пропускания, с другой стороны. Согласно дополнительному варианту осуществления дополнительно или альтернативно временное сглаживание и/или смешивание выполняется при событиях переключения с переключением между режимами кодирования с направляемым BWE и BWE вслепую.

Помимо вышеуказанных выявленных сведений согласно дополнительному аспекту настоящей заявки авторы настоящей заявки поняли, что временное сглаживание и/или смешивание может использоваться для улучшения многорежимного кодирования также при событиях переключения между режимами кодирования, эффективная кодированная полоса пропускания которых фактически перекрывается с высокочастотной полосой спектра, в которой спектрально выполнено временное сглаживание и/или смешивание. Если точнее, в соответствии с вариантом осуществления настоящей заявки, высокочастотная полоса спектра, в которой выполняется временное сглаживание и/или смешивание при переходах, спектрально перекрывается с эффективной кодированной полосой пропускания обоих режимов кодирования, между которыми осуществляется переключение при событии переключения. Например, высокочастотная полоса спектра может перекрывать часть расширения полосы пропускания одного из двух режимов кодирования, т.е. ту высокочастотную часть, в которую, согласно одному из двух режимов кодирования, спектр расширен с использованием BWE. Что касается другого из двух режимов кодирования, высокочастотная полоса спектра, например, может перекрывать спектр преобразования или кодированный с линейным прогнозированием спектр, или часть расширения полосы пропускания этого режима кодирования. Следовательно, результирующее улучшение обусловлено тем фактом, что различные режимы кодирования могут, даже в частях спектра, в которых перекрываются их эффективные кодированные полосы пропускания, иметь различные свойства сохранения энергии, так что при кодировании информационного сигнала искусственные временные края/прыжки могут приводить к спектрограмме информационного сигнала. Временное сглаживание и/или смешивание уменьшает отрицательные эффекты.

В соответствии с вариантом осуществления настоящей заявки временное сглаживание и/или смешивание выполняется дополнительно в зависимости от анализа информационного сигнала в аналитической полосе спектра, размещаемой спектрально ниже высокочастотной полосы спектра. Посредством этой меры целесообразно подавлять или адаптировать степень временного сглаживания и/или смешивание я зависимости от меры флуктуации энергии информационного сигнала в аналитической полосе спектра. Если флуктуация является высокой, сглаживание и/или смешивание может непреднамеренно или невыгодно удалять флуктуации энергии в высокочастотной полосе спектра исходного сигнала, за счет этого потенциально приводя к ухудшению качества информационного сигнала.

Хотя вариант осуществления, подробнее указанный ниже, направлен на кодирование аудио, должно быть очевидным, что настоящее изобретение также является преимущественным и также может преимущественно использоваться относительно других видов информационных сигналов, таких как измерительные сигналы, сигналы передачи данных и т.п. Все варианты осуществления, соответственно, также должны трактоваться как представляющие вариант осуществления для таких других видов информационных сигналов.

Ниже подробно описываются предпочтительные варианты осуществления настоящей заявки со ссылкой на чертежи, на которых:

Фиг. 1 схематично показывает, с использованием спектрально-временного распределения шкалы полутонов, примерные BWE и полнополосное ядро с различными эффективными полосами пропускания и свойствами сохранения энергии;

Фиг. 2 схематично показывает график, показывающий пример для разности в спектральных ядрах свойства сохранения энергии различных режимов кодирования по фиг. 1;

Фиг. 3 схематично показывает кодер, поддерживающий различные режимы кодирования, в связи с которыми могут использоваться варианты осуществления настоящей заявки;

Фиг. 4 схематично показывает декодер, поддерживающий различные режимы кодирования, с дополнительной схематичной иллюстрацией примерных функциональностей при переключении, в высокочастотной полосе спектра, со свойств более высокого на свойства более низкого сохранения энергии;

Фиг. 5 схематично показывает декодер, поддерживающий различные режимы кодирования, с дополнительной схематичной иллюстрацией примерных функциональностей при переключении, в высокочастотной полосе спектра, со свойств более низкого на свойства более высокого сохранения энергии;

Фиг. 6a-6d схематично показывают другие примеры для режимов кодирования, данных, передаваемых в потоке данных для этих режимов кодирования, и функциональностей в декодере для обработки соответствующих режимов кодирования;

Фиг. 7a-7c схематично показывают различные способы того, как декодер может выполнять временное временное сглаживание/смешивание фиг. 4 и 5 при событиях переключения;

Фиг. 8 схематично показывает график, показывающий примеры для спектров последовательных временных отрезков, взаимно примыкающих друг к другу для события переключения, вместе со спектральным варьированием свойства сохранения энергии ассоциированных режимов кодирования этих временных частей в соответствии с примером, чтобы иллюстрировать сигнально-адаптивное управление временным сглаживанием/смешиванием по фиг. 9;

Фиг. 9 схематично показывает сигнально-адаптивное управление временным сглаживанием/смешиванием в соответствии с вариантом осуществления;

Фиг. 10 показывает позиции спектрально-временных мозаичных фрагментов, в которых энергии оцениваются и используются в соответствии с конкретным вариантом осуществления на основе сигнально-адаптивного сглаживания;

Фиг. 11 показывает блок-схему последовательности операций способа, осуществляемого в соответствии с вариантом осуществления на основе сигнально-адаптивного сглаживания в декодере;

Фиг. 12 показывает блок-схему последовательности операций способа смешивания полосы пропускания, осуществляемого в декодере в соответствии с вариантом осуществления;

Фиг. 13a показывает спектрально-временную часть около события переключения, чтобы иллюстрировать спектрально-временной мозаичный фрагмент, в котором выполняется смешивание в соответствии с фиг. 12;

Фиг. 13b показывает временное варьирование коэффициента смешивания в соответствии с вариантом осуществления по фиг. 12;

Фиг. 14a схематично показывает разновидность варианта осуществления по фиг. 12, чтобы учитывать события переключения, возникающие во время смешивания; и

Фиг. 14b показывает результирующее варьирование временного варьирования коэффициента смешивания в случае разновидности по фиг. 14a.

Перед дальнейшим более подробным описанием вариантов осуществления настоящей заявки, следует снова вкратце обратиться к фиг. 1, чтобы обосновать и прояснять идею и принципы, лежащие в основе нижеприведенных вариантов осуществления. Фиг. 1 примерно показывает часть из аудиосигнала, которая примерно последовательно кодирована с использованием трех различных режимов кодирования, а именно, BWE вслепую в первой временной части 10, направляемого BWE во второй временной части 12 и полнополосного базового кодирования в третьей временной части 14. В частности, фиг. 1 показывает двумерное полутоновое кодированное представление, показывающее варьирование свойства сохранения энергии, с которым аудиосигнал кодируется, спектрально-временным способом, т.е. посредством добавления спектральной оси 16 к временной оси 18. Подробности, показанные и описанные относительно трех различных режимов кодирования, показанных на фиг. 1, должны трактоваться просто в качестве иллюстративных для нижеприведенных вариантов осуществления, но эти подробности облегчают понимание нижеприведенных вариантов осуществления и их преимуществ, получающихся в результате, так что эти подробности описываются в дальнейшем.

В частности, как показано посредством использования полутонового представления по фиг. 1, режим полнополосного базового кодирования существенно сохраняет энергию аудиосигнала по полной полосе пропускания, расширяющейся от 0 до f_stop,Core2. На фиг. 2, спектральная динамика свойства сохранения энергии полнополосного ядра графически показана по частоте f на 20. Здесь, кодирование с преобразованием примерно использовано с интервалом преобразования, непрерывно расширяющимся от 0 до f_stop,Core2. Например, согласно режиму 20, перекрывающееся преобразование с критической дискретизацией может использоваться для того, чтобы анализировать аудиосигнал с последующим кодированием спектральных линий, получающихся в результате, с использованием, например, квантования и энтропийного кодирования. Альтернативно, полнополосный базовый режим может иметь тип линейного прогнозирования, к примеру, CELP или ACELP.

Два режима BWE-кодирования, примерно проиллюстрированные на фиг. 1 и 2, также кодируют низкочастотную часть с использованием режима базового кодирования, такого как вышеприведенный режим кодирования с преобразованием или режим кодирования с линейным прогнозированием, но в это время базовое кодирование просто относится к низкочастотной части полной полосы пропускания, которая колеблется от 0 до f_stop,Core1<f_stop,Core2. Спектральные компоненты аудиосигнала выше f_stop,Core1 параметрически кодированы в случае направляемого расширения полосы пропускания до частоты f_stop,BWE2 и без вспомогательной информации в потоке данных, т.е. вслепую, в случае режима расширения полосы пропускания вслепую между f_stop,Core1 и f_stop,BWE1, при этом в случае фиг. 2, f_stop,Core1<f_stop,BWE1<f_stop,BWE2<f_stop,Core2.

Согласно расширению полосы пропускания вслепую, например, декодер оценивает в соответствии с этим режимом кодирования с BWE вслепую, часть f_stop,Core1-f_stop,BWE1 расширения полосы пропускания из части базового кодирования, расширяющейся от 0 до f_stop,Core1, без дополнительной вспомогательной информации, содержащейся в потоке данных, в дополнение к кодированию части базового кодирования спектра аудиосигнала. Вследствие ненаправляемого способа, которым спектр аудиосигнала кодирован вплоть до конечной частоты f_stop,Core1 базового кодирования, ширина части расширения полосы пропускания BWE вслепую обычно, но не обязательно, меньше ширины части расширения полосы пропускания режима направляемого BWE, которая расширяется от f_stop,Core1 до f_stop,BWE2. В направляемом BWE, аудиосигнал кодируется с использованием режима базового кодирования в отношении части спектра базового кодирования, расширяющейся от 0 до f_stop,Core1, но дополнительные данные параметрической вспомогательной информации предоставляются с тем, чтобы позволять стороне декодирования оценивать спектр аудиосигнала за пределами частоты разделения f_stop,Core1 в части расширения полосы пропускания, расширяющейся от f_stop,Core1 до f_stop,BWE2. Например, эта параметрическая вспомогательная информация содержит данные огибающей, описывающие огибающую аудиосигнала в спектрально-временном разрешении, которое является более приблизительным по сравнению со спектрально-временным разрешением, с которым, при использовании кодирования с преобразованием, аудиосигнал кодируется в части базового кодирования с использованием базового кодирования. Например, декодер может реплицировать спектр в части базового кодирования, с тем чтобы предварительно заполнять пустую часть аудиосигнала между f_stop,Core1 и f_stop,BWE2 с последующим формированием этого предварительно заполненного состояния с использованием передаваемых данных огибающей.

Фиг. 1 и 2 раскрывает, что переключение между примерными режимами кодирования может вызывать неприятные, т.е. воспринимаемые артефакты при событиях переключения между этими режимами кодирования. Например, при переключении между направляемым BWE, с одной стороны, и режимом кодирования в полной полосе пропускания, с другой стороны, очевидно, что хотя режим кодирования в полной полосе пропускания корректно восстанавливает, т.е. эффективно кодирует, спектральные компоненты в части спектра f_stop,BWE2 и f_stop,Core2, режим направляемого BWE даже не имеет возможность кодировать что-либо из аудиосигнала в этой части спектра. Соответственно, переключение с направляемого BWE на FB-кодирование может вызывать невыгодное внезапное возникновение спектральных компонентов аудиосигнала в этой части спектра, и переключение в противоположном направлении, т.е. с базового FB-кодирования на направляемое BWE, может, в свою очередь, вызывать внезапное исчезновение таких спектральных компонентов. Тем не менее, это может вызывать артефакты при воспроизведении аудиосигнала. Спектральная область, в которой, по сравнению с режимом базового кодирования в полной полосе пропускания, не сохраняется ничего из энергии исходного аудиосигнала, еще увеличивается в случае BWE вслепую, и, соответственно, спектральная область внезапного возникновения и/или внезапного исчезновения, описанная выше относительно направляемого BWE, также возникает при BWE вслепую, и переключается между этим режимом и режимом базового FB-кодирования, при этом, тем не менее, часть спектра увеличивается и расширяется с f_stop,BWE1 до f_stop,Core2.

Тем не менее, части спектра, в которых раздражающие артефакты могут получаться в результате переключения между различными режимами кодирования, не ограничены частями спектра, в которых один из режимов кодирования, между которыми осуществляется событие переключения, вообще не содержит кодирование, т.е. не ограничивается частями спектра за пределами эффективной полосы пропускания кодирования одного из режимов кодирования. Наоборот, как показано на фиг. 1 и 2, предусмотрены даже части, в которых фактически оба режима кодирования, между которыми осуществляется событие переключения, фактически являются эффективными, но в которых свойство сохранения энергии этих режимов кодирования отличается таким образом, что также в результате могут получаться раздражающие артефакты. Например, в случае переключения между базовым FB-кодированием и направляемым BWE, оба режима кодирования являются эффективными в части спектра f_stop,Core1 и f_stop,BWE2, но тогда как режим 20 базового FB-кодирования существенно экономит энергию аудиосигнала в этой части спектра, свойство сохранения энергии направляемого BWE в этой части спектра существенно снижено, и соответственно, внезапное снижение/увеличение при переключении между этими двумя режимами кодирования также может вызывать воспринимаемые артефакты.

Вышеуказанные сценарии переключения служат просто в качестве типичных сценариев. Предусмотрены другие пары режимов кодирования, переключение между которыми вызывает или может вызывать раздражающие артефакты. Это является истинным, например, для переключения между BWE вслепую, с одной стороны, и направляемым BWE, с другой стороны, или переключением между любым из BWE вслепую, направляемым BWE и FB-кодированием, с одной стороны, и простым совместным кодированием базового BWE вслепую и направляемого BWE, с другой стороны, либо даже между различными полнополосными базовыми кодерами с неравными свойствами сохранения энергии.

Варианты осуществления, подробнее указанные ниже, преодолевают отрицательные эффекты, получающиеся в результате вышеуказанных обстоятельств при переключении между различными режимами кодирования.

Тем не менее, перед описанием этих вариантов осуществления, вкратце поясняется относительно фиг. 3, который показывает примерный кодер, поддерживающий различные режимы кодирования, то, как кодер, например, может выбирать текущий используемый режим кодирования из поддерживаемых нескольких режимов кодирования, чтобы лучше понимать, почему переключение между ними может приводить к вышеуказанным воспринимаемым артефактам.

Кодер, показанный на фиг. 3, в общем, указывается с использованием ссылки с номером 30, которая принимает информационный сигнал, т.е. здесь аудиосигнал 32 на входе и выводит поток 34 данных, представляющий/кодирующий аудиосигнал 32 на выходе. Как указано выше, кодер 30 поддерживает множество режимов кодирования с различным свойством сохранения энергии, как примерно указано относительно фиг. 1 и 2. Аудиосигнал 32 может считаться неискаженным, к примеру, имеющим представленную полосу пропускания максимум от 0 до некоторой максимальной частоты, к примеру, половины частоты дискретизации аудиосигнала 32. Спектр или спектрограмма исходного аудиосигнала показана на фиг. 3 на 36. Аудиокодер 30 переключается, во время кодирования аудиосигнала 32, между различными режимами кодирования, такими режимы кодирования, указанные выше относительно фиг. 1 и 2, в потоке 34 данных. Соответственно, аудиосигнал является восстанавливаемым из потока 34 данных, тем не менее, с сохранением энергии в области верхних частот, варьирующейся в соответствии с переключением между различными режимами кодирования. Обратимся, например, к спектру/спектрограмме аудиосигнала, восстанавливаемому из потока 34 данных на фиг. 3 на 38, на котором примерно показаны три события A, B и C переключения. Перед переключением A кодер 30 использует режим кодирования, который кодирует аудиосигнал 32 вплоть до некоторой максимальной частоты f_max,cod≤f_max, например, с существенным сохранением энергии через полную полосу пропускания 0-f_max,cod. Между событиями A и B переключения, например, кодер 30 использует режим кодирования, который, как показано на 40, имеет эффективную кодированную полосу пропускания, которая просто расширяется вплоть до частоты f1≤f_max,cod, например, с существенным постоянным свойством сохранения энергии через эту полосу пропускания и между событиями B и C переключения, кодер 30 использует примерно режим кодирования, который также имеет эффективную кодированную полосу пропускания, расширяющуюся до f_max,cod, но со свойством уменьшенного сохранения энергии относительно режима кодирования в полной полосе пропускания до события A в отношении спектрального диапазона f1-f_max,cod, как показано на 42.

Соответственно, при событиях переключения, могут возникать проблемы относительно воспринимаемых артефактов, которые пояснены выше относительно фиг. 1 и 2. Тем не менее, несмотря на проблемы, кодер 30 может решать переключаться между режимами кодирования при событиях A-C переключения в ответ на внешние управляющие сигналы 44. Такие внешние управляющие сигналы 44, например, могут исходить из системы передачи, отвечающей за передачу потока данных 34. Например, управляющие сигналы 44 могут указывать кодеру 30 доступную полосу пропускания передачи, так что кодер 30, возможно, должен адаптировать скорость передачи битов потока 34 данных таким образом, что она удовлетворяет, т.е. ниже или равна, указываемой доступной скорости передачи битов. Тем не менее, в зависимости от этой доступной скорости передачи битов, оптимальный режим кодирования из числа доступных режимов кодирования кодера 30 может изменяться. "Оптимальный режим кодирования" может представлять собой режим кодирования с оптимальным/наилучшим искажение в зависимости от скорости передачи при соответствующей скорости передачи битов. Тем не менее, по мере того, как доступная скорость передачи битов изменяется способом, полностью или существенно декоррелированным с контентом аудиосигнала 32, эти события A-C переключения могут возникать в моменты времени, когда контент аудиосигнала имеет, невыгодно, существенную энергию в этой высокочастотной части f1-f_max,cod, в которой вследствие переключения между режимами кодирования, свойство сохранения энергии кодера 30 варьируется во времени. Таким образом, кодер 30 может не иметь возможность помогать в этом, но, возможно, он должен переключаться между режимами кодирования, как предписывается снаружи посредством управляющих сигналов 44 даже в моменты времени, когда переключение является невыгодным.

Варианты осуществления, описанные далее, относятся к вариантам осуществления для декодера, выполненного с возможностью надлежащим образом уменьшать отрицательные эффекты, получающиеся в результате переключения между режимами кодирования на стороне кодера.

Фиг. 4 показывает декодер 50, поддерживающий и переключаемый, по меньшей мере, между двумя режимами кодирования, с тем чтобы декодировать информационный сигнал 52 из входящего потока 34 данных, при этом декодер выполнен с возможностью, в ответ на определенные события переключения, осуществлять временное сглаживание или смешивание, как подробнее описано ниже.

Относительно примеров для режимов кодирования, поддерживаемых посредством декодера 50, следует обратиться к вышеприведенному описанию относительно фиг. 1 и 2, например. Иными словами, декодер 50, например, может поддерживать один или более режимов базового кодирования, с использованием которых аудиосигнал кодирован в поток 34 данных вплоть до определенной максимальной частоты с использованием кодирования с преобразованием, например, при этом поток 34 данных содержит, для частей аудиосигнала, кодированного с таким режимом базового кодирования, представление на основе спектральных линий преобразования аудиосигнала, спектрально разлагая аудиосигнал от 0 до соответствующей максимальной частоты. Альтернативно, режим базового кодирования может заключать в себе кодирование с прогнозированием, к примеру, кодирование с линейным прогнозированием. В первом случае, поток 34 данных может содержать для базовых кодированных частей аудиосигнала, кодирование представления на основе спектральных линий аудиосигнала, и декодер 50 выполнен с возможностью осуществлять обратное преобразование для этого представления на основе спектральных линий, при этом обратное преобразование приводит к обратному преобразованию, расширяющемуся от нулевой частоты вплоть до максимальной частоты, так что восстановленный аудиосигнал 52 фактически совпадает, по энергии, с исходным аудиосигналом, кодированным в поток 34 данных, по всей полосе частот от 0 до соответствующей максимальной частоты. В случае режима базового кодирования с прогнозированием, декодер 50 может быть выполнен с возможностью использовать коэффициенты линейного прогнозирования, содержащиеся в потоке 30 данных, для временных частей исходного аудиосигнала, кодированного в поток 34 данных с использованием соответствующего режима базового кодирования с прогнозированием, с тем чтобы, с использованием синтезирующего фильтра, заданного согласно коэффициенту линейного прогнозирования, или с использованием формирования шума в частотной области (FDNS), управляемого через коэффициенты линейного прогнозирования, восстанавливать аудиосигнал 52 с использованием сигнала возбуждения, также кодированного для этих временных частей. В случае использования синтезирующего фильтра, синтезирующий фильтр может работать на такой частоте дискретизации, что аудиосигнал 52 восстанавливается вплоть до соответствующей максимальной частоты, т.е. до максимальной частоты, в два раза превышающей частоту дискретизации, и в случае использования формирования шума в частотной области, декодер 50 может быть выполнен с возможностью получать сигнал возбуждения из потока 34 данных и области преобразования, формы представления на основе спектральных линий, например, с помощью формирования этого сигнала возбуждения с использованием FDNS (формирования шума в частотной области) посредством использования коэффициентов линейного прогнозирования и выполнения обратного преобразования в спектрально сформированную версию спектра, представленного посредством преобразованных коэффициентов, и представления, в свою очередь, возбуждения. Один или два, или более таких режимов базового кодирования с различной максимальной частотой могут быть доступными или поддерживаться посредством декодера 50. Другие режимы кодирования могут использовать BWE, чтобы расширять полосу пропускания, поддерживаемую посредством любого из режимов базового кодирования за пределами соответствующей максимальной частоты, к примеру, BWE вслепую или направляемое BWE. Направляемое BWE, например, может заключать в себе SBR (репликацию полос спектра), согласно которой декодер 50 получает точную структуру части расширения полосы пропускания, расширяющей полосу пропускания базового кодирования до более высоких частот, из аудиосигнала, восстановленного из режима базового кодирования, с использованием параметрической вспомогательной информации с тем, чтобы формировать точную структуру согласно этой параметрической вспомогательной информации. Другие режимы кодирования с направляемым BWE также являются целесообразными. В случае BWE вслепую, декодер 50 может восстанавливать часть расширения полосы пропускания, расширяющую полосу пропускания базового кодирования за пределы максимума до более высоких частот без явной вспомогательной информации относительно этой части расширения полосы пропускания.

Следует отметить, что единицы, в которых режимы кодирования могут изменяться во времени в потоке данных, могут представлять собой "кадры" с постоянной или даже варьирующейся длиной. Когда ниже возникает термин "кадр", в силу этого, подразумевается, что он обозначает такую единицу, с которой режим кодирования варьируется в потоке битов, т.е. единицы, между которыми режимы кодирования могут варьироваться, а в рамках которых режим кодирования не варьируется. Например, для каждого кадра, поток 34 данных может содержать элемент синтаксиса, раскрывающий режим кодирования, с использованием которого кодируется соответствующий кадр. Таким образом, события переключения могут размещаться на границах кадров, разделяющих кадры различных режимов кодирования. Иногда может встречаться термин "субкадры". Субкадры могут представлять временную сегментацию кадров во временные субъединицы, в которых аудиосигнал, в соответствии с режимом кодирования, ассоциированным с соответствующим кадром, кодируется с использованием конкретных для субкадра параметров кодирования для соответствующего режима кодирования.

Фиг. 4 конкретно рассматривает переключение с режима кодирования, имеющего свойство более высокого сохранения энергии в некоторой высокочастотной полосе спектра, на режим кодирования, имеющий свойство меньшего или отсутствия сохранения энергии в этой высокочастотной полосе спектра. Следует отметить, что фиг. 4 концентрируется на этих событиях переключения просто для простоты понимания, и декодер в соответствии с вариантом осуществления настоящей заявки не должен ограничиваться этим возможным вариантом. Наоборот, должно быть очевидным, что декодер в соответствии с вариантами осуществления настоящей заявки может реализовываться таким образом, что он включает все или любой поднабор конкретных функциональностей, описанных относительно фиг. 4 и следующих чертежей в связи, с конкретными событиями переключения для конкретных пар режимов кодирования, между которыми осуществляется соответствующее событие переключения.

Фиг. 4 примерно показывает событие A переключения в момент tA времени, когда режим кодирования, с использованием которого аудиосигнал кодируется в поток 34 данных, переключается с первого режима кодирования на второй режим кодирования, при этом первый режим кодирования примерно представляет собой режим кодирования, имеющий эффективную кодированную полосу пропускания от 0 до f_max, в режим кодирования, совпадающий по свойству сохранения энергии от нулевой частоты до частоты f1<f_max, но имеющий меньшее свойство сохранения энергии или отсутствие свойства сохранения энергии за рамками этой частоты, т.е. f1-f_max. Два возможных варианта примерно иллюстрируются на 54 и 56 на фиг. 4 для примерной частоты между f1 и f_max, указываемыми с помощью пунктирной линии в схематичном спектрально-временном представлении свойства сохранения энергии, с использованием которого аудиосигнал кодируется в поток 34 данных на 58. В случае 54, второй режим кодирования, декодированная версия временной части аудиосигнала 52, после события A переключения, имеет эффективную кодированную полосу пропускания, которая просто расширяется до f1, так что свойство сохранения энергии равно 0 за пределами этой частоты, как показано на 54.

Например, первый режим кодирования, а также второй режим кодирования могут представлять собой режимы базового кодирования, имеющие различные максимальные частоты f1 и f_max. Альтернативно, один или оба из этих режимов кодирования могут заключать в себе расширение полосы пропускания с различными эффективными кодированными полосами пропускания, одна из которых расширяется вплоть до f1, а другая – до f_max.

Случай 56 иллюстрирует возможность обоих режимов кодирования, имеющих эффективную кодированную полосу пропускания, расширяющуюся вплоть до f_max, при этом, тем не менее, свойство сохранения энергии второго режима кодирования снижается относительно свойства сохранения энергии первых режимов кодирования касательно временной части перед моментом tA времени.

Событие A переключения, т.е. тот факт, что временная часть 60, непосредственно перед событием A переключения, кодируется с использованием первого режима кодирования, и временная часть 62, непосредственно после события A переключения, кодируется с использованием второго режима кодирования, может передаваться в служебных сигналах в потоке 34 данных или может иным образом передаваться в служебных сигналах в декодер 50, так что события переключения, при которых декодер 50 изменяет режимы кодирования для декодирования аудиосигнала 52 из потока 34 данных, синхронизированы с переключением соответствующих режимов кодирования на стороне кодирования. Например, покадровая передача в служебных сигналах режима, вкратце указанная выше, может использоваться посредством декодера 50 для того, чтобы распознавать и идентифицировать или различать между различными типами событий переключения.

В любом случае, декодер по фиг. 4 выполнен с возможностью осуществлять временное сглаживание или смешивание при переходе между декодированными версиями временных частей 60 и 62 аудиосигнала 52, как схематично проиллюстрировано на 64, который направлен на иллюстрацию эффекта выполнения временного сглаживания или смешивания посредством демонстрации того, что свойство сохранения энергии в высокочастотной полосе 66 спектра между частотами f1-f_max временно сглаживается, с тем чтобы исключать эффекты временной неоднородности при событии A переключения.

Аналогично 54 и 56, на 68, 70, 72 и 74, неисчерпывающий набор примеров показывает то, как декодер 50 достигает временного сглаживания/смешивания, посредством демонстрации динамики результирующего свойства сохранения энергии, проиллюстрированной во время t, для примерной частоты, указываемой с помощью пунктирных линий на 64 в высокочастотной полосе 66 спектра. Хотя примеры 68 и 72 представляют возможные примеры функциональности декодера 50 для разрешения примера события переключения, показанного на 54, примеры, показанные на 70 и 74, показывают возможные функциональности декодера 50 в случае сценария переключения, проиллюстрированного на 56.

С другой стороны, в сценарии переключения, проиллюстрированном на 54, второй режим кодирования вообще не восстанавливает аудиосигнал 52 выше частоты f1. Чтобы выполнять временное сглаживание или смешивание при переходе между декодированными версиями аудиосигнала 52 до и после события A переключения, в соответствии с примером 68, декодер 50 временно, в течение временного периода 76 времени, непосредственно после события A переключения, выполняет BWE вслепую, с тем чтобы оценивать и заполнять спектр аудиосигнала выше частоты f1 вплоть до f_max. Как показано в примере 72, декодер 50 может с этой целью подвергать оцененный спектр в высокочастотной полосе 66 спектра операции временного формирования с использованием некоторой функции 78 постепенного затухания, так что переход для события A переключения еще более сглаживается в отношении свойства сохранения энергии в высокочастотной полосе 66 спектра.

Ниже подробно описывается конкретный пример для случая примера 72. Следует подчеркнуть, что поток 34 данных не должен передавать в служебных сигналах что-либо относительно временной производительности BWE вслепую в потоке 34 данных. Наоборот, непосредственно декодер 50 выполнен с возможностью реагировать на событие A переключения, с тем чтобы временно применять BWE вслепую, с/без постепенного затухания.

Расширение эффективной кодированной полосы пропускания одного из режимов кодирования, примыкающих друг к другу для события переключения за пределами его верхней границы до более высоких частот с использованием BWE вслепую далее называется временным смешиванием. Как должно становиться очевидным из описания фиг. 5, должно быть целесообразным временно смещать/сдвигать период 76 смешивания для события переключения, с тем чтобы начинать даже раньше фактического события переключения. Что касается части периода 76 времени смешивания, которая должна предшествовать событию A переключения, смешивание должно приводить к уменьшению энергии аудиосигнала 52 в высокочастотной полосе 66 спектра постепенно, т.е. на коэффициент между 0 и 1, исключительно или варьирующимся способом, варьирующимся в интервале или подынтервале между 0 и 1, с тем чтобы приводить к временному сглаживанию свойства сохранения энергии в высокочастотной полосе 66 спектра.

Ситуация на 56 отличается от ситуации на 54 тем, что свойство сохранения энергии обоих режимов кодирования, примыкающих друг к другу для события A переключения, в случае 56, неравно 0 в высокочастотной полосе 66 спектра в обоих режимах кодирования. В случае 56, свойство сохранения энергии внезапно падает при событии A переключения. Чтобы компенсировать потенциальные отрицательные эффекты этого внезапного уменьшения свойства сохранения энергии в полосе 66 частот, декодер 50 по фиг. 4, в соответствии с примером 70, выполнен с возможностью осуществлять временное сглаживание или смешивание при переходе между временными частями 60 и 62, непосредственно перед и после события A переключения, за счет предварительного, в течение предварительного периода 80 времени, идущего непосредственно после события A переключения, задания энергии аудиосигнала 52 в высокочастотной полосе 66 спектра таким образом, что она находится между энергией аудиосигнала 52 непосредственно перед событием A переключения и энергией аудиосигнала в высокочастотной полосе 66 спектра, полученной исключительно с использованием второго режима кодирования. Другими словами, декодер 50, в течение предварительного периода 80 времени, предварительно увеличивает энергию аудиосигнала 52, с тем чтобы предварительно обеспечивать большую аналогичность свойства сохранения энергии после события A переключения свойству сохранения энергии режима кодирования, применяемого непосредственно перед событием A переключения. Хотя коэффициент, используемый для этого увеличения, может поддерживаться постоянным в течение предварительного периода 80 времени, как проиллюстрировано на 70, на 74 на фиг. 4 проиллюстрировано то, что этот коэффициент также может постепенно снижаться в пределах этого периода 80 времени, с тем чтобы получать еще более плавный переход свойства сохранения энергии для события A переключения в высокочастотной полосе 64 спектра.

Далее подробнее указывается пример для альтернативы, показанной/проиллюстрированной на 70. Предварительное изменение уровня аудиосигнала, т.е. увеличение в случае 70 и 74 для того, чтобы компенсировать свойство увеличенного/уменьшенного сохранения энергии, с которым аудиосигнал кодируется до и после соответствующего события A переключения, далее называется временным сглаживанием. Другими словами, временное сглаживание в высокочастотной полосе спектра в течение предварительного периода 80 времени должно обозначать увеличение уровня/энергии аудиосигнала 52 во временной части около события A переключения, при котором аудиосигнал кодируется с использованием режима кодирования, имеющего более слабое свойство сохранения энергии в этой высокочастотной полосе спектра, относительно уровня/энергии аудиосигнала 52, непосредственно получающегося в результате декодирования с использованием соответствующего режима кодирования, и/или уменьшение уровня/энергии аудиосигнала 52 в течение временного периода 80 во временной части около события A переключения, при котором аудиосигнал кодируется с использованием режима кодирования, имеющего свойство более высокого сохранения энергии в высокочастотной полосе спектра относительно энергии, непосредственно получающейся в результате кодирования аудиосигнала с помощью этого режима кодирования. Другими словами, способ, которым декодер трактует события переключения, такие как 56, не ограничивается размещением временного периода 80 непосредственно после события A переключения. Наоборот, временный период 80 может пересекать событие A переключения или может даже предшествовать ему. В этом случае, энергия аудиосигнала 52, в течение временного периода 80 в отношении временной части перед событием A переключения, снижается, с тем чтобы обеспечивать большую аналогичность результирующего свойства сохранения энергии свойству сохранения энергии режима кодирования, с которым аудиосигнал кодируется после события A переключения, т.е. таким образом, что результирующее свойство сохранения энергии в высокочастотной полосе спектра находится между свойством сохранения энергии режима кодирования перед событием A переключения и свойством сохранения энергии режима кодирования после момента A переключения, оба из которых находятся в пределах высокочастотной полосы 66 спектра.

Перед продолжением описания декодера по фиг. 5, следует отметить, что принципы временного сглаживания и временного смешивания могут сочетаться. Предположим, например, что BWE вслепую используется в качестве основы для выполнения временного смешивания. Это BWE вслепую может иметь, например, свойство более низкого сохранения энергии, причем этот "дефект" дополнительно может компенсироваться посредством дополнительного применения временного сглаживания в дальнейшем. Дополнительно, фиг. 4 должен пониматься как описывающий варианты осуществления для декодеров, включающих/содержащих одну из функциональностей, указанных выше относительно 68-74, или комбинацию вышеозначенного, а именно, в ответ на соответствующие события 55 и/или 56. То же применимо к следующему чертежу, который описывает декодер 50, который реагирует на события переключения из режима кодирования, имеющего свойство более низкого сохранения энергии в высокочастотной полосе 66 спектра относительно режима кодирования, допустимого после события переключения. Чтобы подчеркивать разность, событие переключения обозначается B на фиг. 5. По возможности, идентичные ссылки с номерами, используемые на фиг. 4, многократно используются во избежание необязательного повторения описания.

На фиг. 5, свойство сохранения энергии, с которым аудиосигнал кодируется в поток 34, проиллюстрировано в виде временных спектров схематичным способом, как имеет место на 58 на фиг. 4, и как показано, временная часть 60, непосредственно перед событием B переключения принадлежит режиму кодирования, имеющему свойство пониженного сохранения энергии в высокочастотной полосе спектра относительно режима кодирования, выбранного непосредственно после события B переключения, с тем чтобы кодировать временную часть 62 аудиосигнала, переключающего событие B. С другой стороны, на 92 и 94 на фиг. 5, показаны примерные случаи для временной динамики свойства сохранения энергии для события B переключения в момент tB времени: 92 показывает случай, когда режим кодирования для временной части 60 имеет ассоциированную эффективную кодированную полосу пропускания, которая даже не покрывает высокочастотную полосу 66 спектра и, соответственно, имеет свойство сохранения энергии в 0, тогда как 94 показывает случай, когда режим кодирования для временной части 60 имеет эффективную кодированную полосу пропускания, которая покрывает высокочастотную полосу 66 спектра и имеет свойство ненулевого сохранения энергии в высокочастотной полосе спектра, но уменьшенное относительно свойства сохранения энергии на одной частоте режима кодирования, ассоциированного с временной частью 62 после события B переключения.

Декодер по фиг. 5 реагирует на событие B переключения таким образом, чтобы тем или иным образом временно сглаживать эффективное свойство сохранения энергии для события B переключения, в отношении высокочастотной полосы 66 спектра, как проиллюстрировано на фиг. 5. Аналогично фиг. 4, фиг. 5 представляет четыре примера на 98, 100, 102 и 104 касательно того, какой может быть функциональность декодера 50 в ответ на событие B переключения, но также следует отметить, что также являются целесообразными другие примеры, как подробнее указано ниже.

Из числа примеров 98-104, примеры 98 и 100 ссылаются на тип 92 события переключения, в то время как другие ссылаются на тип 94 события переключения. Аналогично графикам 92 и 94, графики, показанные на 98-104, показывают временную динамику свойства сохранения энергии для примерной частотной линии внутри высокочастотной полосы 66 спектра. Тем не менее, 92 и 94 показывают исходное свойство сохранения энергии, как задано посредством соответствующих режимов кодирования перед и после события B переключения, в то время как графики, показанные на 98-104, показывают эффективное свойство сохранения энергии, включающее в себя, т.е. учитывающее меры декодера 50, предпринимаемые в ответ на событие переключения, как описано ниже.

98 показывает пример, в котором декодер 50 выполнен с возможностью осуществлять временное смешивание после реализации события B переключения: поскольку свойство сохранения энергии режима кодирования, допустимого вплоть до события B переключения, равно 0, декодер 50 предварительно, в течение временного периода 106, снижает энергию/уровень декодированной версии аудиосигнала 52, непосредственно после события B переключения, получающегося в результате декодирования с использованием соответствующего режима кодирования, допустимого от события B переключения и далее, так что в пределах этого временного периода 106, эффективное свойство сохранения энергии находится приблизительно между свойством сохранения энергии режима кодирования перед событием B переключения и немодифицированным/исходным свойством сохранения энергии режима кодирования после события B переключения, в отношении высокочастотной полосы 66 спектра. Пример 68 использует альтернативу, согласно которой функция постепенного нарастания используется для того, чтобы постепенно/непрерывно увеличивать коэффициент, посредством которого энергия аудиосигнала 52 масштабируется в течение временного периода 106 времени от события B переключения до конца периода 106. Тем не менее, как пояснено выше относительно фиг. 4 с использованием примеров 72 и 68, при этом также должно быть целесообразным оставлять коэффициент масштабирования в течение временного периода 106 постоянным, за счет этого уменьшая, временно, энергию аудиосигнала в течение периода 106, с тем чтобы получать результирующее свойство сохранения энергии в полосе 66 частот ближе к нулевому свойству сохранения режима кодирования перед событием B переключения.

100 показывает пример для альтернативы для функциональности декодера 50 после реализации события B переключения, которое уже пояснено относительно фиг. 4 при описании 68 и 72: согласно альтернативе, показанной на 100, временный период 106 времени сдвигается вдоль временного восходящего направления таким образом, что он пересекает момент tB времени. Декодер 50, в ответ на событие B переключения, тем или иным образом заполняет пустую, т.е. с нулевым значением энергии, высокочастотную полосу 66 спектра аудиосигнала 52 непосредственно перед событием B переключения с использованием BWE вслепую, например, для того чтобы получать оценку аудиосигнала 52 в полосе 66 частот на этом участке части 106, который временно предшествует событию B переключения, и затем применяет функцию постепенного нарастания, с тем чтобы постепенно/непрерывно масштабировать, от 0 до 1, например, энергию аудиосигнала 52 с начала до конца периода 106, за счет этого непрерывно снижая степень уменьшения энергии аудиосигнала в полосе 66 частот, полученной посредством BWE вслепую до события B переключения, и с использованием режима кодирования, выбранного/допустимого после события B переключения, в отношении участка части 106 после события B переключения.

В случае переключения между режимами кодирования как на 94, свойство сохранения энергии в полосе 66 частот неравно 0 как перед, так и также после события B переключения. Отличие от случая, показанного на 56 на фиг. 4, заключается только в том, что свойство сохранения энергии в полосе 66 частот является более высоким во временной части 62 после события B переключения, по сравнению со свойством сохранения энергии режима кодирования, применяемого во временной части перед событием B переключения. Эффективно, декодер 50 по фиг. 5 ведет себя, в соответствии с примером, показанным на 102, аналогично случаю, поясненному выше относительно 70 и фиг. 4: декодер 50 немного уменьшает, в течение временного периода 108, непосредственно после события B переключения, энергию аудиосигнала, декодированного с использованием режима кодирования, допустимого после события B переключения, с тем чтобы задавать эффективное свойство сохранения энергии таким образом, что оно находится приблизительно между исходным свойством сохранения энергии режима кодирования, допустимого до события B переключения, и немодифицированным/исходным свойством сохранения энергии из режима кодирования, допустимого после события B переключения. Хотя постоянный коэффициент масштабирования проиллюстрирован на фиг. 5 на 102, уже пояснено на фиг. 4 относительно случая 74 то, что также может использоваться непрерывно временно изменяющаяся функция постепенного нарастания.

Для полноты, 104 показывает альтернативу, согласно которой декодер 50 обращает/сдвигает временной период 108 во временном восходящем направлении таким образом, что он непосредственно предшествует событию B переключения, при соответствующем увеличении энергии аудиосигнала 52 в течение этого периода 108 с использованием коэффициента масштабирования, с тем чтобы задавать результирующее свойство сохранения энергии таким образом, что оно находится приблизительно между исходными/немодифицированными свойствами сохранения энергии режима кодирования, между которым осуществляется событие B переключения. Даже здесь, некоторая функция масштабирования с постепенным нарастанием может использоваться вместо постоянного коэффициента масштабирования.

Таким образом, примеры 102 и 104 показывают два примера для выполнения временного сглаживания в ответ на событие B переключения, и как пояснено относительно фиг. 4, тот факт, что временный период может сдвигаться таким образом, что он пересекается или даже предшествует событию B переключения, также может переноситься на примеры 70 и 74 по фиг. 4.

После описания фиг. 5, следует отметить, что тот факт, что декодер 50 может включать в себя только одну или поднабор функциональностей, указанных выше относительно примеров 98-104, в ответ на события 90 и/или 94 переключения, формулировка чего предоставлена, аналогичным образом, относительно фиг. 4, также является допустимым касательно полного набора функциональностей 68, 70, 72, 74, 98, 100, 102 и 104: декодер может реализовывать одну или их поднабор в ответ на события 54, 56, 92 и/или 94 переключения.

Фиг. 4 и 5 обычно используют f_max для того, чтобы обозначать максимум верхних граничных частот эффективных кодированных полос пропускания режимов кодирования, между осуществляется которыми событие A или B переключения, и f1 для того, чтобы обозначать самую верхнюю частоту, вплоть до которой оба режима кодирования, между который осуществляется событие переключения, имеют фактически идентичное, или сравнимое, свойство сохранения энергии, так что ниже f1 временное сглаживание не требуется, и высокочастотная полоса спектра размещена таким образом, что она имеет f1 в качестве нижнего спектрального предела, при этом f1<f_max. Хотя режимы кодирования вкратце пояснены выше, следует обратиться к фиг. 6a-d для того, чтобы подробнее иллюстрировать определенные возможные варианты.

Фиг. 6a показывает режим кодирования или режим декодирования декодера 50, представляющий один возможный вариант "режима базового кодирования". В соответствии с этим режимом кодирования, аудиосигнал кодируется в поток данных в форме представления 110 преобразования на основе спектральных линий, такого как перекрывающееся преобразование, имеющее спектральные линии 112 для нулевой частоты вплоть до максимальной частоты f_core, при этом перекрывающееся преобразование, например, может представлять собой MDCT и т.п. Спектральные значения спектральных линий 112 могут передаваться по-разному квантованными с использованием коэффициентов масштабирования. С этой целью, спектральные линии 112 могут быть сгруппированы/сегментированы в полосы 114 частот коэффициентов масштабирования, и поток данных может содержать коэффициенты 116 масштабирования, ассоциированные с полосами 114 частот коэффициентов масштабирования. Декодер, в соответствии с режимом по фиг. 6a, повторно масштабирует спектральные значения спектральных линий 112, ассоциированных с различными полосами 114 частот коэффициентов масштабирования в соответствии с ассоциированными коэффициентами 116 масштабирования на 118, и подвергает перемасштабированное представление на основе спектральных линий обратному преобразованию 120, такому как обратное перекрывающееся преобразование, к примеру, IMDCT, необязательно включающее в себя обработку суммирования с перекрытием для компенсации временного наложения спектров, с тем чтобы восстанавливать/воспроизводить аудиосигнал в части, ассоциированной с режимом кодирования по фиг. 6a.

Фиг. 6b иллюстрирует возможный вариант режима кодирования, который также может представлять режим базового кодирования. Поток данных содержит для частей, кодированных с режимом кодирования, ассоциированным с фиг. 6b, информацию 122 по коэффициентам линейного прогнозирования и информацию 124 по сигналу возбуждения. Здесь, информация 124 представляет сигнал возбуждения с использованием представления на основе спектральных линий, такого как представление, показанное на 110, т.е. с использованием разложения на основе спектральных линий до наибольшей частоты f_core. Информация 124 также может содержать коэффициенты масштабирования, хотя не показано на фиг. 6b. В любом случае, декодер подвергает сигнал возбуждения, полученный посредством информации 124 в частотной области, формированию спектра, называемому формированием 126 шума в частотной области, при этом функция формирования спектра извлекается на основе коэффициентов 122 линейного прогнозирования, за счет этого извлекая воспроизведение спектра аудиосигнала, который затем, например, может подвергаться обратному преобразованию, как пояснено относительно 120.

Фиг. 6c также иллюстрирует потенциальный режим базового кодирования. В это время, поток данных содержит для, соответственно, кодированных частей аудиосигнала, информацию 128 коэффициентов линейного прогнозирования и информацию относительно сигнала возбуждения, а именно, 130, при этом декодер использует информацию 128 и 130 для того, чтобы подвергать сигнал 130 возбуждения действию синтезирующего фильтра 138, отрегулированного согласно коэффициентам 128 линейного прогнозирования. Синтезирующий фильтр 132 использует определенную частоту дискретизации по отводам фильтра, которая определяет, через критерий Найквиста, максимальную частоту f_core, вплоть до которой аудиосигнал восстанавливается посредством использования синтезирующего фильтра 132, т.е. на своей выходной стороне.

Режимы базового кодирования, проиллюстрированные относительно фиг. 6a-6c, имеют тенденцию кодировать аудиосигнал с существенным спектрально постоянным свойством сохранения энергии от нулевой частоты вплоть до максимальной частоты f_core базового кодирования. Тем не менее, режим кодирования, проиллюстрированный относительно фиг. 6d, отличается в этом отношении. Фиг. 6d иллюстрирует режим направляемого расширения полосы пропускания, к примеру, SBR и т.п. В этом случае, поток данных содержит для, соответственно, кодированных частей аудиосигнала, данные 134 базового кодирования и помимо этого, параметрические данные 136. Данные 134 базового кодирования описывают спектр аудиосигнала вплоть до f_core и могут содержать 112 и 116 или 122 и 124 или 128 и 130. Параметрические данные 136 параметрически описывают спектр аудиосигнала в части расширения полосы пропускания, спектрально позиционированной на стороне более высокой частоты полосы пропускания базового кодирования, расширяющейся от 0 до f_core. Декодер подвергает данные 134 базового кодирования базовому декодированию 138 для того, чтобы восстанавливать спектр аудиосигнала в полосе пропускания базового кодирования, т.е. вплоть до f_core, и подвергает параметрические данные высокочастотной оценке 140 для того, чтобы восстанавливать/оценивать спектр аудиосигнала выше f_core до вплоть f_BWE, представляющей эффективную кодированную полосу пропускания режима кодирования по фиг. 6d. Как показано посредством пунктирной линии 142, декодер может использовать восстановление спектра аудиосигнала вплоть до f_core, полученного посредством базового декодирования 138, в спектральной области или во временной области, с тем чтобы получать оценку точной структуры аудиосигнала в части расширения полосы пропускания между f_core и f_BWE и спектрально формировать эту точную структуру с использованием параметрических данных 136, которые, например, описывают спектральную огибающую в части расширения полосы пропускания. Это возникает, например, в SBR. Это должно приводить к восстановлению аудиосигнала на выходе высокочастотной оценки 140.

Режим BWE вслепую просто должен содержать данные базового кодирования и должен оценивать спектр аудиосигнала выше полосы пропускания базового кодирования с использованием экстраполяции огибающей аудиосигнала на область верхних частот выше f_core, например, и с использованием формирования искусственного шума и/или спектральной репликации из части базового кодирования в область верхних частот (часть расширения полосы пропускания), чтобы определять точную структуру в этой области.

Обращаясь снова к f1 и f_max по фиг. 4 и 5, эти частоты могут представлять верхние граничные частоты режима базового кодирования, т.е. f_core, обе или одна из которых может представлять верхнюю граничную частоту части расширения полосы пропускания, т.е. f_BWE, либо обе, либо одна из них.

Для полноты, фиг. 7a-7c иллюстрируют три различных способа реализации вариантов временного сглаживания и временного смешивания, указанных выше относительно фиг. 4 и 5. Фиг. 7a, например, иллюстрирует случай, в котором декодер 50, в ответ на событие переключения, использует BWE 150 вслепую, с тем чтобы, предварительно в течение соответствующего временного периода времени, добавлять в эффективно кодированную полосу 152 пропускания соответствующего режима кодирования оценку спектра аудиосигнала в части расширения полосы пропускания, которая совпадает с высокочастотной полосой 66 спектра. Это возникает во всех примерах 68-74 и 98-104 фиг. 4 и 5. Точечное заполнение использовано для того, чтобы указывать BEW вслепую в результирующем свойстве сохранения энергии. Как показано в этих примерах, декодер дополнительно может масштабировать/формировать результат оценки расширения полосы пропускания вслепую в модуле 154 масштабирования, к примеру, с использованием функции постепенного нарастания или постепенного затухания.

Фиг. 7b показывает функциональность декодера 50 в случае, соответствующем событию переключения, масштабирования в модуле 156 масштабирования спектр 158 аудиосигнала, полученного посредством одного из режимов кодирования, между которыми осуществляется соответствующее событие переключения, в высокочастотной полосе 66 спектра и предварительно в течение соответствующего временного периода времени, с тем чтобы приводить к спектру 160 модифицированного аудиосигнала. Масштабирование модуля 156 масштабирования может выполняться в спектральной области, но также должен существовать другой возможный вариант. Альтернатива по фиг. 7b осуществляется, например, в примерах 70, 74, 100, 102 и 104 фиг. 4 и 5.

Конкретная разновидность по фиг. 7b показана на фиг. 7c. Фиг. 7c показывает способ выполнение любого из временных сглаживаний, проиллюстрированных на 70, 74, 102 и 104 по фиг. 4 и 5. Здесь, коэффициент масштабирования, используемый для масштабирования в высокочастотной полосе 66 спектра, определяется на основе энергий, определенных из спектра аудиосигнала, полученного с использованием соответствующих режимов кодирования перед и после события переключения. 162, например, показывает спектр аудиосигнала для аудиосигнала во временной части, перед или после события переключения, при котором эффективная кодированная полоса пропускания этого режима кодирования достигает от 0 до f_max. На 164, показан спектр аудиосигнала этой временной части, который находится на другой временной стороне события переключения, кодированного с использованием кодированного режима, эффективная кодированная полоса пропускания которого также достигает от 0 до f_max. Тем не менее, один из режимов кодирования имеет свойство уменьшенного сохранения энергии в высокочастотной полосе 66 спектра. Посредством определения 166 и 168 энергии, определяется энергия спектра аудиосигнала в высокочастотной полосе 66 спектра, один раз из спектра 162, один раз из спектра 164. Энергия, определенная из спектра 164, указывается, например, в качестве E1, и энергия, определенная из спектра 162, указывается, например, с использованием E2. Модуль определения коэффициентов масштабирования затем определяет коэффициент масштабирования для масштабирования спектра 162 и/или спектра 164 через модуль 156 масштабирования в высокочастотной полосе 66 спектра в течение временного периода времени, упомянутого на фиг. 4 и 5, при этом коэффициент масштабирования, используемый для спектра 164, находится, например, между 1 и E2/E1, включительно, и коэффициент масштабирования для масштабирования, выполняемого для спектра 162, находится между 1 и E1/E2, включительно, либо постоянно задается между обоими пределами, исключительно. Постоянное задание коэффициента масштабирования посредством модуля 170 определения коэффициентов масштабирования использовано, например, в примерах 102, 104 и 70, тогда как непрерывное варьирование с временным изменением коэффициента масштабирования представлено/проиллюстрировано на 74 на фиг. 4.

Иными словами, фиг. 7a-7c показывают функциональности декодера 50, которые выполняются посредством декодера 50 в ответ на событие переключения в пределах временного отрезка при событии переключения, к примеру, после события переключения, с пересечением событиям переключения или даже перед ним, как указано выше относительно фиг. 4 и 5.

Относительно фиг. 7c, следует отметить, что описание по фиг. 7c предварительно игнорирует ассоциирование спектра 162 как принадлежащего временной части перед соответствующим событием переключения и/или как временной части, кодированной с использованием кодированного режима, имеющего свойство более высокого сохранения энергии в высокочастотной полосе спектра или нет. Тем не менее, модуль 170 определения коэффициентов масштабирования может, фактически, принимать во внимание, какой из спектров 162 и 164 кодируется с использованием режима кодирования, имеющего свойство более высокого сохранения энергии в полосе 66 частот.

Модуль 170 определения коэффициентов масштабирования может трактовать переходы посредством переключений режима кодирования по-разному в зависимости от направления переключения, т.е. из режима кодирования со свойством более высокого сохранения энергии в режим кодирования со свойством более низкого сохранения энергии, в отношении высокочастотной полосы спектра, и наоборот, и/или в зависимости от анализа временной динамики энергии аудиосигнала в аналитической полосе спектра, как подробнее указано ниже. Посредством этой меры модуль 170 определения коэффициентов масштабирования может задавать степень "фильтрации нижних частот" энергии аудиосигнала в высокочастотной полосе спектра временно, с тем чтобы исключать неприятные "размывания". Например, модуль 170 определения коэффициентов масштабирования может уменьшать степень фильтрации нижних частот в областях, в которых оценка динамики энергии аудиосигнала в аналитической полосе спектра предполагает то, что событие переключения осуществляется во временном случае, в котором тональная фаза контента аудиосигнала примыкает к атаке, или наоборот, так что фильтрация нижних частот снижает качество аудиосигнала, получающееся в результате на выходе декодера, вместо его повышения. Аналогично, вид "отсечки" энергетических компонентов в конце атаки в контенте аудиосигнала, в высокочастотной полосе спектра, имеет тенденцию ухудшать качество аудиосигнала больше по сравнению с отсечками в высокочастотной полосе спектра в начале таких атак, и, соответственно, модуль 170 определения коэффициентов масштабирования может предпочитать уменьшать степень фильтрации нижних частот при переходах из режима кодирования, имеющего свойство более низкого сохранения энергии в высокочастотной полосе спектра, в режим кодирования, имеющий свойство более высокого сохранения энергии в этой полосе спектра.

Необходимо отметить, что в случае фиг. 7c, сглаживание свойства сохранения энергии во временном смысле в высокочастотной полосе спектра фактически выполняется в энергетической области аудиосигнала, т.е. оно выполняется косвенно посредством временного сглаживания энергии аудиосигнала в этой высокочастотной полосе спектра. При условии, что контент аудиосигнала имеет идентичный тип около событий переключения, к примеру, тонального типа или атаки и т.п., такое выполняемое сглаживание эффективно приводит к подобному сглаживанию свойства сохранения энергии в высокочастотной полосе спектра. Тем не менее, это допущение не может поддерживаться, поскольку, как указано выше относительно фиг. 3, например, события переключения принудительно вызываются в кодере внешне, т.е. снаружи, и, соответственно, могут возникать даже одновременно при переходе от одного типа контента аудиосигнала к другому. Таким образом, вариант осуществления, описанный ниже относительно фиг. 8 и 9, направлен на идентификацию таких ситуаций, с тем чтобы подавлять временное сглаживание декодера в ответ на событие переключения в таких случаях, либо уменьшать степень временного сглаживания, выполняемого в таких случаях. Хотя вариант осуществления, подробно описанный ниже, акцентирует внимание на функциональности временного сглаживания при переключении режима кодирования, анализ, выполняемый дополнительно ниже, также может использоваться для того, чтобы управлять степенью временного смешивания, описанного выше, поскольку, например, временное смешивание является невыгодным в том, что BWE вслепую должно использоваться для того, чтобы выполнять временное смешивание, по меньшей мере, в соответствии с некоторыми примерными функциональными возможностями, описанными в отношении фиг. 4 и 5, а также для того, чтобы ограничивать спекулятивную производительность BWE вслепую в ответ на события переключения в такой доле, в которой результирующие преимущества в отношении качества превышают потенциальное ухудшение общего качества звука вследствие плохо оцененной части расширения полосы пропускания, нижеуказанный анализ может даже использоваться для того, чтобы подавлять или уменьшать величину временного смешивания.

Фиг. 8 показывает на одном графике спектр аудиосигнала, кодированный в поток данных и в силу этого доступный в декодере, а также свойство сохранения энергии соответствующего режима кодирования, для двух последовательных временных отрезков, таких как кадры, потока данных при событии переключения из режима кодирования, имеющего свойство более высокого сохранения энергии, в режим кодирования, имеющий свойство более низкого сохранения, оба из которых находятся в интересующей высокочастотной полосе спектра. Таким образом, событие переключения по фиг. 8 имеет тип, проиллюстрированный на 56 и фиг. 4, где "t-1" должен обозначать временной отрезок перед событием переключения, а "t" должен индексировать временные части после события переключения.

Как видно на фиг. 8, энергия аудиосигнала в высокочастотной полосе 66 спектра является гораздо более низкой в последующей временной части t по сравнению с предыдущей временной частью t-1. Тем не менее, вопрос состоит в этом, должно или нет это уменьшение энергии быть полностью приписано уменьшению свойства сохранения энергии высокочастотной полосы 66 спектра при переходе из режима кодирования во временной части t-1 в режим кодирования во временной части t.

В варианте осуществления, подробнее указанном ниже, относительно фиг. 9, ответ на вопрос заключается в оценке энергии аудиосигнала в аналитической полосе 190 спектра, которая размещается на стороне более низкой частоты высокочастотной полосы 66 спектра, к примеру, в силу этого непосредственно примыкая к высокочастотной полосе 66 спектра, как показано на фиг. 8. Если оценка показывает то, что флуктуация энергии аудиосигнала в аналитической полосе 190 спектра является высокой, вероятно, что флуктуации энергии в высокочастотной полосе 66 спектра, возможно, должны быть приписаны неотъемлемому свойству исходного аудиосигнала, а не артефакту, вызываемому посредством переключения режима кодирования, так что в этом случае временное сглаживание и/или смешивание в ответ на событие переключения посредством декодера должно подавляться или постепенно уменьшаться.

Фиг. 9 схематично показывает способом, аналогичным фиг. 7c, функциональность декодера 50 в случае варианта осуществления по фиг. 8. Фиг. 9 показывает спектр, извлекаемый из временной части 60 аудиосигнала перед текущим событием переключения, указываемым с использованием Et-1, аналогично фиг. 8, и спектр, извлекаемый из потока данных относительно временной части 62 после текущего события переключения, указываемого с использованием "Et", аналогично фиг. 8. С использованием ссылки с номером 192, фиг. 9 показывает инструментальное средство временного сглаживания/смешивания декодера, которое реагирует на событие переключения, к примеру, 56, либо на любые другие из вышеописанных событий переключения, и может реализовываться в соответствии с любой из вышеуказанных функциональностей, к примеру, реализованных в соответствии с фиг. 7c. Дополнительно, модуль оценки предоставляется в декодере, при этом модуль оценки указывается с использованием ссылки с номером 194. Модуль оценки оценивает или анализирует аудиосигнал в аналитической полосе 190 спектра. Например, модуль 194 оценки использует, с этой целью, энергии аудиосигнала, извлекаемого из части 60, а также части 62, соответственно. Например, модуль 194 оценки определяет степень флуктуации в энергии аудиосигнала в аналитической полосе 190 спектра и извлекает из нее решение, согласно которому чувствительность инструментального средства 190 на событие переключения должна подавляться, либо степень временного сглаживания/смешивания инструментального средства 190 должна уменьшаться. Соответственно, модуль 194 оценки управляет инструментальным средством 190 соответствующим образом. Далее подробнее поясняется возможная реализация для модуля 194 оценки.

Ниже подробнее описываются конкретные варианты осуществления. Как описано выше, варианты осуществления, подробнее указанные ниже, направлены на получение прозрачных переходов между различными BWE и полнополосным ядром, с использованием двух этапов обработки, которые выполняются в декодере.

Обработка, как указано выше, применяется на стороне декодера в частотной области, к примеру, в FFT-, MDCT- или QMF-области, в форме стадии постобработки. В дальнейшем описывается то, что некоторые этапы уже могут быть дополнительно выполнены в кодере, такие как, применение смешивания при постепенном нарастании к более широкой эффективной полосе пропускания, к примеру, полнополосное ядро.

В частности, относительно фиг. 10, описывается более подробный вариант осуществления касательно того, как реализовывать сигнально-адаптивное сглаживание. Вариант осуществления, описанный далее, является в определенной степени возможным вариантом реализации вышеописанного варианта осуществления согласно 70, 102 по фиг. 4 и 5 с использованием альтернативы, показанной на фиг. 7c, для задания соответствующего коэффициента масштабирования для масштабирования в течение временного периода 80 и 108, соответственно, и с использованием сигнальной адаптивности, как указано выше относительно фиг. 9, для ограничения временного сглаживания событиями, при которых сглаживание способствует преимуществам.

Цель сигнально-адаптивного сглаживания состоит в том, чтобы получать прозрачные переходы посредством предотвращения от непреднамеренных энергетических прыжков. Наоборот, варьирования энергии, которые присутствуют в исходном сигнале, должны сохраняться. Второе обстоятельство также пояснено выше относительно фиг. 8.

Следовательно, в соответствии с функцией сигнально-адаптивного сглаживания на стороне декодера, описанной далее, выполняются следующие этапы, при этом следует обратиться к фиг. 10 на предмет прояснения и зависимостей значений/переменных, используемых в пояснении этого варианта осуществления.

Как показано на блок-схеме последовательности операций способа по фиг. 11, декодер непрерывно считывает то, выполняется или нет в данный момент событие переключения, на 200. Если декодер сталкивается с событием переключения, декодер выполняет оценку энергий в аналитической полосе спектра. Оценка 202, например, может содержать вычисление внутрикадровых и межкадровых разностей δ_intra, δ_inter энергий аналитической полосы спектра, здесь заданной в качестве аналитического частотного диапазона между f_{analysis,start} и f_{analysis,stop}. Могут приспосабливаться следующие вычисления:

Иными словами, вычисление, например, может вычислять разность энергий между энергиями аудиосигнала, кодированного в поток данных в аналитической полосе спектра, после дискретизации из временных частей, т.е. субкадра 1 и субкадра 2 на фиг. 10, и оба из которых находятся после события 204 переключения, и дискретизированных во временных частях, находящихся на противоположных временных сторонах события 204 переключения. Максимум абсолютного значения обеих разностей также может извлекаться, а именно, δ_max. Определение энергии может выполняться с использованием суммирования по квадратам значений на спектральной линии в спектрально-временном мозаичном фрагменте, временно расширяющемся по соответствующей временной части и спектрально расширяющемся по аналитической полосе спектра. Хотя фиг. 10 предполагает то, что временная длина временных частей, в которых определяются уменьшаемое энергии и вычитаемое энергии, равна друг другу, это не обязательно имеет место. Спектрально-временные мозаичные фрагменты, в которых определяются уменьшаемые/вычитаемые энергии, показаны на фиг. 10 на 206, 208 и 210, соответственно.

В дальнейшем, на 214, вычисленные энергетические параметры, получающиеся в результате оценки на этапе 202, используются для того, чтобы определять коэффициент α_smooth сглаживания. В соответствии с одним вариантом осуществления, α_smooth задается в зависимости от максимальной разности δ_max энергий, а именно, таким образом, что δ_smooth тем больше, чем меньше δ_max; δ_smooth находится, например, в пределах интервала [0…1]. Хотя оценка на 202 выполняется, например, посредством модуля 194 оценки по фиг. 9, определение 214, например, выполняется посредством модуля 170 определения коэффициентов масштабирования.

Тем не менее, определение на этапе 214 коэффициента α_smooth сглаживания также может учитывать знак максимально-значного одного из разностных значений δ_intra и δ_inter, т.е. знак δ_intra, если абсолютное значение δ_intra выше абсолютного значения δ_inter, и знак δ_inter, если абсолютное значение δ_inter превышает абсолютное значение δ_intra.

В частности, для падений энергии, которые присутствуют в исходном аудиосигнале, меньшее сглаживание должно применяться с тем, чтобы предотвращать размывание энергии первоначально в области низких энергий, и, соответственно, α_smooth может определяться на этапе 214 как имеющий более низкое значение в случае, если знак максимальной разности энергий указывает падение энергии в спектре аудиосигнала в аналитической полосе 190 спектра.

На этапе 216, коэффициент α_smooth сглаживания, определенный на этапе 214, затем применяется к предыдущему значению энергии, определенному из спектрально-временного мозаичного фрагмента перед событием переключения, в высокочастотной полосе 66 спектра, т.е. E_actual,prev, и к текущей, фактической энергии, определенной из спектрально-временного мозаичного фрагмента в высокочастотной полосе 66 спектра после события 204 переключения, т.е. E_actual,curr, для того чтобы получать целевую энергию E_target,curr текущего кадра или временной части, формирующей временный период, в котором должно выполняться временное сглаживание. Согласно применению 216, целевая энергия вычисляется следующим образом:

Применение на 216 также должно выполняться посредством модуля 170 определения коэффициентов масштабирования.

Вычисление коэффициента масштабирования, который должен применяться к спектрально-временному мозаичному фрагменту 220, расширяющемуся по временному периоду 222 вдоль временной оси t и расширяющемуся по высокочастотной полосе 66 спектра вдоль спектральной оси f, чтобы масштабировать спектральные выборки x в этом заданном целевом частотном диапазоне f_target,start-f_target,stop к текущей целевой энергии, затем может заключать в себе следующее:

Хотя вычисление α_scale, например, должно выполняться посредством модуля 170 определения коэффициентов масштабирования, умножение с использованием α_scale в качестве коэффициента должно выполняться посредством вышеуказанного модуля 156 масштабирования в спектрально-временном мозаичном фрагменте 220.

Для полноты следует отметить, что энергии E_actual,prev и E_actual,curr могут определяться идентично вышеописанному относительно спектрально-временных мозаичных фрагментов 206-210: суммирование по квадратам спектральных значений в спектрально-временном мозаичном фрагменте 224, временно находящемся перед событием 204 переключения и расширяющемся по высокочастотной полосе 66 спектра, может использоваться для того, чтобы определять E_actual,prev, и суммирование по квадратам спектральных значений в спектрально-временных мозаичных фрагментах 220 может использоваться для того, чтобы определять E_actual,curr.

Следует отметить, что в примере по фиг. 10, временная ширина спектрально-временного мозаичного фрагмента 220 примерно в два раза превышает временную ширину спектрально-временных мозаичных фрагментов 206-210, но это обстоятельство не является критическим и может задаваться по-другому.

Далее описывается конкретный, более подробный вариант осуществления для выполнения временного смешивания. Это смешивание полосы пропускания имеет, как описано выше, цель подавлять раздражающие флуктуации полосы пропускания, с одной стороны, и обеспечивать то, что каждый режим кодирования, граничащий с соответствующим событием переключения, может выполняться в намеченной эффективной кодированной полосе пропускания. Например, плавная адаптация может применяться, чтобы обеспечивать то, что каждое BWE может выполняться в намеченной оптимальной полосе пропускания.

Следующие этапы выполняются посредством декодера: как показано на фиг. 12, при событии переключения, декодер определяет тип события переключения на 230, с тем чтобы различать между событиями переключения типа 54 и типа 92. Как описано на фиг. 4 и 5, смешивание при постепенном затухании выполняется в случае типа 54, а смешивание при постепенном нарастании выполняется в случае типа 92 переключения. Смешивание при постепенном затухании описывается сначала дополнительно со ссылкой на фиг. 13a и 13b. Иными словами, если тип 54 переключения определяется на 230, максимальное время t_blend,max смешивания задается, а также область смешивания определяется спектрально, т.е. высокочастотная полоса 66 спектра, в которой эффективная кодированная полоса пропускания режима кодирования в более высокой полосе пропускания превышает эффективную кодированную полосу пропускания режима кодирования в более низкой полосе пропускания, между которыми осуществляется событие переключения типа 54. Это задание 232 может заключать в себе вычисление разности fBW1-fBW2 полосы пропускания, при этом fBW1 обозначает максимальную частоту эффективной кодированной полосы пропускания режима кодирования в более высокой полосе пропускания, а fBW2 указывается максимальную частоту эффективной кодированной полосы пропускания режима кодирования в более низкой полосе пропускания, причем эта разность задает область смешивания, а также вычисление предварительно заданного максимального времени t_blend,max смешивания. Второе значение времени может задаваться равным значению по умолчанию или может определяться по-другому, как пояснено ниже в связи с событиями переключения, возникающими во время текущей процедуры смешивания.

Затем на этапе 234, улучшение режима кодирования после события 204 переключения выполняется для того, чтобы приводить к вспомогательному расширению 234 полосы пропускания режима кодирования после события 204 переключения в область 66 смешивания или высокочастотную полосу 66 спектра, с тем чтобы заполнять эту область 66 смешивания без интервала отсутствия сигнала в течение t_blend,max, т.е. с тем чтобы заполнять спектрально-временной мозаичный фрагмент 236 на фиг. 13a. Поскольку операция 234 может выполняться без управления через вспомогательную информацию в потоке данных, вспомогательное расширение 234 может выполняться с использованием BWE вслепую.

Затем на 238 вычисляется коэффициент w_blend смешивания, где t_blend,act обозначает фактическое истекшее время с момента переключение, здесь примерно в t0:

Временная динамика коэффициента смешивания, определенного таким способом, проиллюстрирована на фиг. 13b. Хотя формула иллюстрирует пример для линейного смешивания, также возможны другие характеристики смешивания, к примеру, квадратичные, логарифмические и т.д. В этом случае, в общем, следует отметить, что характеристика смешивания/сглаживания необязательно должна быть равномерной/линейной или даже монотонной. Все увеличения/уменьшения, упомянутые в данном документе, не обязательно являются монотонными.

В дальнейшем, на 240, взвешивание спектральных выборок x в спектрально-временном мозаичном фрагменте 236, т.е. в области 66 смешивания в течение временного периода, заданного или ограниченного максимальным временем смешивания, выполняется с использованием коэффициента w_blend смешивания согласно следующему:

Иными словами, на этапе 240 масштабирования, спектральные значения в спектрально-временном мозаичном фрагменте 236 масштабируются согласно w_blend таким образом, что они являются более точными, а именно, спектральные значения временно после события 204 переключения посредством t_blend,act масштабируются согласно w_blend(t_blend,act).

В случае типа 92 переключения задание максимального времени смешивания и области смешивания выполняется на 242 способом, аналогичным 232. Максимальное время t_blend,max смешивания для типов 92 переключения может отличаться от t_blend,max, заданного на 232, в случае типа 54 переключения. Также следует обратиться к последующему описанию переключения во время смешивания.

Затем вычисляется коэффициент смешивания, а именно, w_blend. Вычисление 244 может вычислять коэффициент смешивания, в зависимости от истекшего времени с момента переключения в t0, т.е. в зависимости от t_blend,act согласно параграфу:

Затем фактическое масштабирование на 246 осуществляется с использованием коэффициента смешивания способом, аналогичным 240.

ПЕРЕКЛЮЧЕНИЕ ВО ВРЕМЯ СМЕШИВАНИЯ

Тем не менее, вышеуказанный подход работает только в том случае, если во время процесса смешивания не осуществляется дополнительное переключение, как показано на фиг. 14a в t₁. В этом случае, вычисление коэффициента смешивания переключается с постепенного затухания на постепенное нарастание, и значение истекшего времени обновляется посредством:

приводя к обратному процессу смешивания, завершаемому в t₂, как показано на фиг. 14b.

Таким образом, это модифицированное обновление должно выполняться на этапах 232 и 242, чтобы учитывать прерванный процесс постепенного нарастания или постепенного затухания, прерываемый посредством нового, текущего возникающего события переключения, здесь примерно в t₁. Другими словами, декодер должен выполнять временное сглаживание или смешивание при первом событии t₀ переключения посредством применения функции 240 масштабирования с постепенным затуханием (или постепенным нарастанием), и если второе событие t₁ переключения возникает во время функции 240 масштабирования с постепенным затуханием (или постепенным нарастанием), применять, снова, функцию масштабирования с постепенным нарастанием (или постепенным затуханием) 242 к высокочастотной полосе 66 спектра, с тем чтобы выполнять временное сглаживание или смешивание при втором событии t₁ переключения, с заданием начальной точки применения функции 242 масштабирования с постепенным нарастанием (или постепенным затуханием) от второго события переключения t₂ и далее, так что функция 242 масштабирования с постепенным нарастанием (или постепенным затуханием), применяемая при втором событии переключения t₂, имеет, в начальной точке, значение функции, ближайшее или равное значению функции, предполагаемому посредством функции 240 масштабирования с постепенным затуханием (или постепенным нарастанием), применяемой при первом событии переключения, во время t₂ возникновения второго события переключения.

Варианты осуществления, описанные выше, относятся к кодированию аудио и речи и, в частности, к технологии кодирования с использованием различных способов расширения полосы пропускания (BWE) или BWE без сохранения энергии и к полнополосному базовому кодеру без BWE в варианте применения с переключением. Предложено повышать перцепционное качество посредством сглаживания переходов между различными эффективными выходными полосами пропускания. В частности, технология сигнально-адаптивного сглаживания используется для того, чтобы получать прозрачные переходы, и возможно, но не обязательно, исключается технология равномерного смешивания между различными полосами пропускания для того, чтобы достигать оптимальной выходной полосы пропускания для каждого BWE при нарушении флуктуаций полосы пропускания.

Непреднамеренные энергетические прыжки при переключении между различными BWE или полнополосным ядром исключаются посредством вышеописанных вариантов осуществления, при том, что могут сохраняться увеличения и уменьшения, которые присутствуют в исходном сигнале (например, вследствие возникновений или смещений шипящих звуков). Кроме того, сглаженная адаптация различных полос пропускания примерно выполняется для того, чтобы обеспечивать возможность выполнения каждого BWE в намеченной оптимальной полосе пропускания, если оно должно быть активным в течение более длительного периода.

За исключением функциональностей декодера при событиях переключения, требующих BWE вслепую, идентичные функциональности также могут приниматься на себя посредством кодера. Кодер, к примеру, 30 по фиг. 3, затем применяет функциональности, описанные выше, к спектру исходного аудиосигнала следующим образом.

Например, если кодер 30 по фиг. 3 имеет возможность предсказывать или выявляет опытным путем немного заранее, что должно происходить событие переключения типа 54, кодер, например, может предварительно в течение временного периода времени, непосредственно перед событием переключения, кодировать аудиосигнал в модифицированной версии, согласно которой, в течение временного периода времени, высокочастотная полоса спектра для спектра аудиосигнала временно формируется с использованием функции постепенного затухания, со стартом, например, в 1 в начале временного периода времени и достижением 0 в конце временного периода времени, причем конец совпадает с событием переключения. Кодирование модифицированной версии, например, может включать в себя кодирование сначала аудиосигнала во временной части перед событием переключения в исходной версии вплоть до уровня синтаксиса, например, затем масштабирование значений на спектральной линии и/или коэффициентов масштабирования относительно высокочастотной полосы 66 спектра в течение временного периода времени с функцией постепенного затухания. Альтернативно, кодер 30 альтернативно может сначала модифицировать аудиосигнал и спектральную область таким образом, чтобы применять функцию масштабирования с постепенным затуханием к спектрально-временному мозаичному фрагменту в высокочастотной полосе 66 спектра, расширяющейся в течение временного периода времени, а затем, во-вторых, кодировать соответствующим образом модифицированный аудиосигнал.

При обнаружении события переключения типа 56, кодер 30 может работать следующим образом. Кодер 30 может, предварительно в течение временного периода времени, непосредственно стартующего при событии переключения, усиливать, т.е. увеличивать аудиосигнал в высокочастотной полосе 66 спектра, с/без функции масштабирования с постепенным затуханием, а затем может кодировать такой модифицированный аудиосигнал.

Альтернативно, кодер 30 может, во-первых, кодировать исходный аудиосигнал с использованием режима кодирования, допустимого непосредственно после события переключения вплоть до некоторого уровня элементов синтаксиса с последующим исправлением последнего таким образом, чтобы усиливать аудиосигнал в высокочастотной полосе спектра в течение временного периода времени. Например, если режим кодирования, на который осуществляется событие переключения, заключает в себе направляемое расширение полосы пропускания до высокочастотной полосы 66 спектра, кодер 30 может надлежащим образом увеличивать информацию относительно спектральной огибающей относительно этой высокочастотной полосы спектра в течение временного периода времени.

Тем не менее, если кодер 30 обнаруживает событие переключения типа 92, кодер 30 может либо кодировать временную часть аудиосигнала после события переключения, немодифицированного до некоторого уровня элементов синтаксиса, а затем исправлять, например, ее, чтобы подвергать высокочастотную полосу спектра аудиосигнала в течение этого временного периода времени действию функции постепенного нарастания, к примеру, посредством надлежащего масштабирования коэффициентов масштабирования и/или значений на спектральной линии в соответствующем спектрально-временном мозаичном фрагменте, либо кодер 30 сначала модифицирует аудиосигнал в высокочастотной полосе 66 спектра в течение временного периода времени, стартующего непосредственно при событии переключения, с последующим кодированием такого модифицированного аудиосигнала.

При обнаружении события переключения типа 94, например, кодер 30 может работать следующим образом: кодер может, в течение временного периода времени, стартующего непосредственно при событии переключения, уменьшать спектр аудиосигнала в высокочастотной полосе 66 спектра, за счет применения (или нет) функции постепенного нарастания. Альтернативно, кодер может кодировать аудиосигнал на временном отрезке после события переключения с использованием режима кодирования, на который осуществляется событие переключения, без модификаций до некоторого уровня элементов синтаксиса, с последующим изменением надлежащих элементов синтаксиса таким образом, чтобы способствовать соответствующему уменьшению спектра аудиосигнала в высокочастотной полосе спектра в течение временного периода времени. Кодер может надлежащим образом уменьшать соответствующие коэффициенты масштабирования и/или значения на спектральной линии.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронно считываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть машиночитаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий машиночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными типично является материальным и/или энергонезависимым.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронным или оптическим способом) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.

Устройство, описанное в данном документе, может реализовываться с использованием аппаратного устройства либо с использованием компьютера, либо с использованием комбинации аппаратного устройства и компьютера.

Способы, описанные в данном документе, могут осуществляться с использованием аппаратного устройства либо с использованием компьютера, либо с использованием комбинации аппаратного устройства и компьютера.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

[1] Recommendation ITU-T G.718 – Amendment 2: "Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s – Amendment 2: New Annex B on superwideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text".

[2] Recommendation ITU-T G.729.1 – Amendment 6: "G.729-based embedded variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729 – Amendment 6: New Annex E on superwideband scalable extension".

[3] B. Geiser, P. Jax, P. Vary, H. Taddei, S. Schandl, M. Gartner, C. Guillaumé, S. Ragot: "Bandwidth Extension for Hierarchical Speech and Audio Coding in ITU-T Rec. G.729.1", IEEE Transactions on Audio, Speech and Language Processing, издание 15, номер 8, 2007 год, стр. 2496-2509.

[4] M. Tammi, L. Laaksonen, A. Rämö, H. Toukomaa: "Scalable Superwideband Extension for Wideband Coding", IEEE ICASSP, 2009 год, стр. 161-164.

[5] B. Geiser, P. Jax, P. Vary, H. Taddei, M. Gartner, S. Schandl: "A Qualified ITU-T G.729 EV Codec Candidate for Hierarchical Speech and Audio Coding", 2006 IEEE 8th Workshop on Multimedia Signal Processing, стр. 114-118.

Изобретение относится к средствам для компенсации переключения режима кодирования. Технический результат заключается в повышении качества аудио при переключении между разными режимами кодирования с разными полосами пропускания, за счет сглаживания и/или смешивания звука при соответствующем переходе. В ответ на событие переключения осуществляют временное сглаживание и/или смешивание при переходе между первой временной частью информационного сигнала перед событием переключения и второй временной частью информационного сигнала после события переключения в высокочастотной полосе спектра. Реагируют на переключение одного или более из следующего: из режима кодирования аудио в полной полосе пропускания на режим BWE-кодирования аудио и из режима BWE-кодирования аудио на режим кодирования аудио в полной полосе пропускания, при этом высокочастотная полоса спектра перекрывается с частью спектра BWE-расширения режима BWE-кодирования аудио и частью спектра преобразования или кодированной с линейным прогнозированием частью спектра режима кодирования аудио в полной полосе пропускания. 7 н. и 9 з.п. ф-лы, 21 ил.

1. Декодер, поддерживающий и переключаемый между по меньшей мере двумя режимами, с тем чтобы декодировать информационный сигнал, при этом декодер выполнен с возможностью, в ответ на событие переключения, осуществлять временное сглаживание и/или смешивание при переходе между первой временной частью (60) информационного сигнала перед событием переключения и второй временной частью (62) информационного сигнала после события переключения в высокочастотной полосе (66) спектра,

при этом декодер реагирует на переключение одного или более из следующего:

- из режима кодирования аудио в полной полосе пропускания на режим BWE-кодирования аудио, и

- из режима BWE-кодирования аудио на режим кодирования аудио в полной полосе пропускания,

при этом высокочастотная полоса (66) спектра перекрывается с

- частью спектра BWE-расширения режима BWE-кодирования аудио, и

- частью спектра преобразования или кодированной с линейным прогнозированием частью спектра режима кодирования аудио в полной полосе пропускания,

при этом декодер выполнен с возможностью осуществлять временное сглаживание и/или смешивание при переходе посредством, во временной части (80; 108) непосредственно после перехода с пересечением перехода или перед переходом, снижения энергии информационного сигнала в течение временной части (80), в которой информационный сигнал кодируется с использованием режима кодирования аудио в полной полосе пропускания, и/или увеличения энергии информационного сигнала в течение временной части (80), в которой информационный сигнал кодируется с использованием режима BWE-кодирования аудио, с тем чтобы компенсировать свойство увеличенного сохранения энергии режима кодирования аудио в полной полосе пропускания относительно режима BWE-кодирования аудио.

2. Декодер по п. 1, при этом декодер выполнен с возможностью осуществлять временное сглаживание и/или смешивание дополнительно в зависимости от анализа (194) информационного сигнала в аналитической полосе (190) спектра, размещаемой спектрально ниже высокочастотной полосы (66) спектра.

3. Декодер, поддерживающий и переключаемый, по меньшей мере, между двумя режимами, с тем чтобы декодировать информационный сигнал, при этом декодер выполнен с возможностью, в ответ на событие переключения, осуществлять временное сглаживание и/или смешивание при переходе между первой временной частью (60) информационного сигнала перед событием переключения и второй временной частью (62) информационного сигнала после события переключения в высокочастотной полосе (66) спектра,

при этом декодер выполнен с возможностью осуществлять временное сглаживание и/или смешивание дополнительно в зависимости от анализа (194) информационного сигнала в аналитической полосе (190) спектра, размещаемой спектрально ниже высокочастотной полосы (66) спектра,

при этом декодер выполнен с возможностью определять меру для флуктуации энергии информационного сигнала в аналитической полосе (190) спектра и задавать степень временного сглаживания и/или смешивания в зависимости от меры.

4. Декодер по п. 3, при этом декодер выполнен с возможностью вычислять меру в качестве максимума первой абсолютной разности между энергиями информационного сигнала в аналитической полосе (190) спектра между временными частями, находящимися на противоположных временных сторонах перехода (204), и второй абсолютной разности между энергиями информационного сигнала в аналитической полосе (190) спектра между последовательными временными частями после перехода (204).

5. Декодер по п. 3, в котором аналитическая полоса (190) спектра примыкает к высокочастотной полосе (66) спектра на более низкой спектральной стороне высокочастотной полосы (66) спектра.

6. Декодер по п. 1 или 3, при этом декодер выполнен с возможностью масштабировать энергию информационного сигнала в высокочастотной полосе (66) спектра во второй временной части (62) с коэффициентом масштабирования, который варьируется между 1 и

, согласно мере.

7. Декодер по п. 1 или 3, при этом декодер выполнен с возможностью осуществлять переключение и/или смешивание посредством применения BWE вслепую для одной из первой и второй временных частей, декодированных с использованием первого режима кодирования, имеющего эффективную кодированную полосу пропускания, меньшую эффективной кодированной полосы пропускания второго режима кодирования, с использованием которого декодируется другая из первой и второй временных частей, с тем чтобы спектрально расширять эффективную кодированную полосу пропускания упомянутой одной из первой и второй временных частей до высокочастотной полосы (66) спектра и временно формировать энергию информационного сигнала в высокочастотной полосе спектра в упомянутой одной из первой и второй временных частей, которая является спектрально расширенной, согласно функции масштабирования с постепенным нарастанием/постепенным затуханием, снижающейся при переходе в направлении дальше от перехода до 0.

8. Декодер по п. 1 или 3, в котором переключение выполняется с первого режима кодирования на второй режим кодирования, причем первый режим кодирования имеет эффективную кодированную полосу пропускания, большую эффективной кодированной полосы пропускания второго режима кодирования, при этом декодер выполнен с возможностью спектрально расширять, с использованием BWE вслепую, эффективную кодированную полосу пропускания второй временной части до высокочастотной полосы (66) спектра и временно формировать энергию информационного сигнала в высокочастотной полосе спектра во второй временной части, спектрально расширенной с использованием BWE вслепую, согласно функции масштабирования с постепенным затуханием, которая снижается при переходе в направлении дальше от перехода до 0.

9. Декодер по п. 1 или 3, в котором переключение выполняется с первого режима кодирования на второй режим кодирования, при этом эффективная кодированная полоса пропускания первого режима кодирования меньше эффективной кодированной полосы пропускания второго режима кодирования, при этом декодер выполнен с возможностью временно формировать энергию информационного сигнала в высокочастотной полосе (66) спектра во второй временной части согласно функции масштабирования с постепенным нарастанием, увеличивающейся при переходе в направлении дальше от перехода до 1.

10. Декодер по п. 1 или 3, при этом декодер выполнен с возможностью осуществлять временное сглаживание и/или смешивание при событии переключения посредством применения функции масштабирования с постепенным нарастанием или постепенным затуханием и, если последующее событие переключения возникает во время функции масштабирования с постепенным нарастанием или постепенным затуханием, применять снова функцию масштабирования с постепенным нарастанием или постепенным затуханием к высокочастотной полосе (66) спектра, с тем чтобы выполнять временное сглаживание и/или смешивание при последующем событии переключения с заданием начальной точки применения функции масштабирования с постепенным нарастанием или постепенным затуханием от последующего события переключения, так что функция масштабирования с постепенным нарастанием или постепенным затуханием, применяемая при последующем событии переключения, в начальной точке имеет значение функции, ближайшее к значению функции, прогнозируемому посредством функции масштабирования с постепенным нарастанием или постепенным затуханием при применении при событии переключения, во время возникновения последующего события переключения.

11. Способ декодирования, поддерживающий и переключаемый, по меньшей мере, между двумя режимами, с тем чтобы декодировать информационный сигнал, при этом способ содержит этап, на котором, в ответ на событие переключения, выполняют временное сглаживание и/или смешивание при переходе между первой временной частью (60) информационного сигнала перед событием переключения и второй временной частью (62) информационного сигнала после события переключения в высокочастотной полосе (66) спектра,

при этом декодирование выполняется в ответ на переключение одного или более из следующего:

- из режима кодирования аудио в полной полосе пропускания на режим BWE-кодирования аудио, и

- из режима BWE-кодирования аудио на режим кодирования аудио в полной полосе пропускания,

при этом высокочастотная полоса (66) спектра перекрывается с

- частью спектра BWE-расширения режима BWE-кодирования аудио, и

- частью спектра преобразования или кодированной с линейным прогнозированием частью спектра режима кодирования аудио в полной полосе пропускания,

при этом временное сглаживание и/или смешивание при переходе выполняется посредством, во временной части (80; 108) непосредственно после перехода с пересечением перехода или перед переходом, снижения энергии информационного сигнала в течение временной части (80), в которой информационный сигнал кодируется с использованием режима кодирования аудио в полной полосе пропускания, и/или увеличения энергии информационного сигнала в течение временной части (80), в которой информационный сигнал кодируется с использованием режима BWE-кодирования аудио, с тем чтобы компенсировать свойство увеличенного сохранения энергии режима кодирования аудио в полной полосе пропускания относительно режима BWE-кодирования аудио.

12. Машиночитаемый носитель, на котором сохранена компьютерная программа, имеющая программный код для осуществления, при выполнении на компьютере, способа по п. 11.

13. Кодер, поддерживающий и переключаемый, по меньшей мере, между двумя режимами с разными свойствами сохранения энергии сигнала в высокочастотной полосе (66) спектра, с тем чтобы кодировать информационный сигнал, при этом кодер выполнен с возможностью, в ответ на событие переключения, кодировать информационный сигнал, временно сглаженный и/или смешанный при переходе между первой временной частью (60) информационного сигнала перед событием переключения и второй временной частью (62) информационного сигнала после события переключения в высокочастотной полосе (66) спектра.

14. Кодер по п. 13, при этом кодер выполнен с возможностью, в ответ на событие переключения из первого режима кодирования, имеющего первое свойство сохранения энергии сигнала в высокочастотной полосе спектра, во второй режим кодирования, имеющий второе свойство сохранения энергии сигнала в высокочастотной полосе спектра, временно кодировать модифицированную версию информационного сигнала, которая модифицируется по сравнению с информационным сигналом в том, что энергия информационного сигнала в высокочастотной полосе спектра во временной части после события переключения временно формируется согласно функции масштабирования с постепенным нарастанием, монотонно увеличивающейся при переходе в направлении дальше от перехода до 1.

15. Способ для кодера, поддерживающего и переключаемого, по меньшей мере, между двумя режимами с разными свойствами сохранения энергии сигнала в высокочастотной полосе (66) спектра, с тем чтобы кодировать информационный сигнал, при этом способ содержит этап, на котором, в ответ на событие переключения, кодируют информационный сигнал, временно сглаженный и/или смешанный при переходе между первой временной частью (60) информационного сигнала перед событием переключения и второй временной частью (62) информационного сигнала после события переключения в высокочастотной полосе (66) спектра.

16. Машиночитаемый носитель, на котором сохранена компьютерная программа, имеющая программный код для осуществления, при выполнении на компьютере, способа по п. 15.