УСОВЕРШЕНСТВОВАННОЕ ГАРМОНИЧЕСКОЕ ПРЕОБРАЗОВАНИЕ НА ОСНОВЕ БЛОКА ПОДДИАПАЗОНОВ Российский патент 2023 года по МПК G10L21/02 

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

Настоящий документ относится к системам кодирования исходного звукового сигнала, которые используют способ гармонического преобразования для высокочастотной реконструкции (HFR), а также к процессорам цифровых эффектов, например, эксайтерам, в которых генерирование гармонического искажения добавляет яркость в обрабатываемый сигнал, и к временным расширителям, в которых длительность сигнала увеличивается при сохранении спектрального состава.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

В документе WO 98/57436 была создана концепция преобразования как способа воссоздания высокочастотной полосы из полосы звукового сигнала с менее высокой частотой. Путем использования этой концепции для кодирования звукового сигнала может быть достигнута значительная экономия битовой скорости передачи данных. В системе кодирования звукового сигнала на основе HFR сигнал с низкочастотной полосой пропускания передается в базовый кодер формы сигнала, и высокие частоты регенерируются с использованием преобразования и с чрезвычайно низкой битовой скоростью передачи данных дополнительной информации, описывающей целевую форму спектра на стороне декодера. Для низких битовых скоростей передачи данных, когда полоса пропускания базового кодированного сигнала является узкой, воссоздание высокочастотной полосы с приятными для восприятия характеристиками приобретает все более возрастающую важность. Гармоническое преобразование, определяемое в документе WO 98/57436, хорошо выполняется для сложного музыкального материала в ситуации с низкой частотой перехода. Документ WO 98/57436 ссылкой включается в настоящее описание. Принцип гармонического преобразования заключается в том, что синусоида с частотой отображается в синусоиду с частотой , где – целое число, определяющее порядок преобразования. В отличие от этого, HFR на основе модуляции с одной боковой полосой (SSB) отображает синусоиду с частотой в синусоиду с частотой , где – фиксированный сдвиг частоты. Для данного сигнала с низкочастотной полосой пропускания в результате SSB-преобразования, как правило, появляется артефакт диссонирующего «звона». По причине указанных артефактов HFR на основе гармонического преобразования, в общем, более предпочтительно, чем HFR на основе SSB.

Для того чтобы добиться улучшенного качества звукового сигнала, способы HFR на основе высококачественного гармонического преобразования, как правило, используют для достижения требуемого качества звукового сигнала сложные блоки комплексных модулированных фильтров с высокой разрешающей способностью по частоте и высокой степенью передискретизации. Высокая разрешающая способность по частоте обычно используется во избежание нежелательного интермодуляционного искажения, возникающего при нелинейной обработке или обработке различных сигналов поддиапазонов, которые могут рассматриваться как суммы ряда синусоид. Для достаточно узких поддиапазонов, т.е. при достаточно высокой разрешающей способности по частоте, способы HFR на основе высококачественного гармонического преобразования стремятся к тому, чтобы в каждом поддиапазоне содержалось не более одной синусоиды. В результате можно избежать интермодуляционного искажения, вызванного нелинейной обработкой. С другой стороны, высокая степень передискретизации по времени может быть полезной для того, чтобы избежать искажения, обусловленного наложением спектров, которое может быть вызвано блоками фильтров и нелинейной обработкой. Кроме того, определенная степень передискретизации по частоте может быть необходима для кратковременных непериодических сигналов во избежание опережающего эха, вызванного нелинейной обработкой сигналов поддиапазонов.

Кроме того, способы HFR на основе гармонического преобразования, в общем, используют обработку на основе двух групп блоков фильтров. Первая часть HFR на основе гармонического преобразования, как правило, использует для генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала блок анализирующих/синтезирующих фильтров с высокой разрешающей способностью по частоте и по времени и/или частотной передискретизацией. Вторая часть HFR на основе гармонического преобразования, как правило, использует блок фильтров с относительно низкой разрешающей способностью по частоте, например блок QMF-фильтров, который используется для применения дополнительной спектральной информации или информации HFR к высокочастотной составляющей, т.е. для выполнения т.н. HFR-обработки, с целью генерирования высокочастотной составляющей, обладающей требуемой формой спектра. Вторая часть блоков фильтров также используется для объединения низкочастотной составляющей сигнала с модифицированной высокочастотной составляющей сигнала с целью создания декодированного звукового сигнала.

В результате использования последовательности из двух групп блоков фильтров и использования блоков анализирующих/синтезирующих фильтров с высокой разрешающей способностью по частоте и по времени и/или частотной передискретизацией, вычислительная сложность HFR на основе гармонического преобразования может быть относительно высокой. Соответственно, существует потребность в обеспечении способов HFR на основе гармонического преобразования сниженной вычислительной сложностью, которая, в то же время, обеспечивала бы хорошее качество звукового сигнала для различных типов звуковых сигналов (например, для коротких непериодических и стационарных звуковых сигналов).

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Согласно одной из особенностей, т.н. гармоническое преобразование на основе блока поддиапазонов может использоваться для подавления комбинационных составляющих, вызванных нелинейной обработкой сигналов поддиапазонов, т.е. комбинационные составляющие в поддиапазонах могут быть подавлены или снижены путем выполнения нелинейной обработки на блочной основе сигналов поддиапазонов гармонического преобразователя. В результате может применяться гармоническое преобразование, которое использует блок анализирующих/синтезирующих фильтров с относительно низкой разрешающей способностью по частоте и/или с относительно низкой степенью передискретизации. Например, может применяться блок QMF-фильтров.

Нелинейная обработка на блочной основе системы гармонического преобразования на основе блока поддиапазонов включает обработку временнόго блока комплексных дискретных значений поддиапазонов. Обработка блока комплексных дискретных значений поддиапазонов может включать общеизвестную модификацию фазы комплексных дискретных значений поддиапазонов и суперпозицию нескольких модифицированных дискретных значений для формирования выходного дискретного значения поддиапазона. Такая обработка на блочной основе дает результирующий эффект подавления или снижения комбинационных составляющих, которые в противном случае возникали бы в случае входных сигналов поддиапазонов, включающих несколько синусоид.

Ввиду того, что для гармонического преобразования на основе блока поддиапазонов могут использоваться блоки анализирующих/синтезирующих фильтров с относительно низкой разрешающей способностью по частоте, а также ввиду того, что может требоваться менее высокая степень передискретизации, гармоническое преобразование, базирующееся на обработке поддиапазонов на блочной основе, может обладать менее высокой вычислительной сложностью по сравнению с высококачественными гармоническими преобразователями, т.е. с гармоническими преобразователями, имеющими высокую разрешающую способность по частоте и использующими обработку на основе дискретного значения. В то же время, экспериментально было показано, что для многих типов звуковых сигналов качество звукового сигнала, которого можно добиться, используя гармоническое преобразование на основе блока поддиапазонов, является почти таким же, как и при использовании гармонического преобразования на основе дискретного значения. Тем не менее, наблюдалось, что качество звукового сигнала, полученного для кратковременных непериодических звуковых сигналов, в общем, снижается по сравнению с качеством звукового сигнала, которое может быть достигнуто высококачественными гармоническими преобразователями, т.е. гармоническими преобразователями, использующими высокую разрешающую способность по частоте. Было установлено, что пониженное качество для кратковременных непериодических сигналов может быть связано с размыванием времени, вызванным обработкой блоков.

В дополнение к поднятым выше вопросам качества, сложность гармонического преобразования на основе блоков поддиапазонов по-прежнему остается более высокой, чем сложность простейших способов HFR на основе SSB. Это так, поскольку для синтеза требуемой полосы пропускания обычно требуется несколько сигналов с различными порядками преобразования. Как правило, каждый порядок преобразования гармонического преобразования на блочной основе требует отличающейся структуры блоков анализирующих и синтезирующих фильтров.

Ввиду проведенного выше анализа, существует особенная необходимость в улучшении качества гармонического преобразования на основе блока поддиапазонов для кратковременных непериодических и голосовых сигналов при условии сохранения качества стационарных сигналов. Как будет описываться ниже, улучшение качества может быть достигнуто путем фиксированной, или адаптирующейся к сигналу, модификации нелинейной обработки блоков. Кроме того, существует потребность в дополнительном снижении сложности гармонического преобразования на основе блока поддиапазонов. Как будет описываться ниже, снижение вычислительной сложности может быть достигнуто путем эффективной реализации преобразования нескольких порядков на основе блока поддиапазонов в рамках единственной пары блоков анализирующих и синтезирующих фильтров. В результате для гармонического преобразования нескольких порядков может использоваться один блок анализирующих/синтезирующих фильтров, например, блок QMF-фильтров. Кроме того, для гармонического преобразования (т.е. для первой части HFR на основе гармонического преобразования) и для HFR-обработки (т.е. для второй части HFR на основе гармонического преобразования) может применяться одна и та же пара блоков анализирующих/синтезирующих фильтров, и, таким образом, полная HFR на основе гармонического преобразования может возлагаться на один единственный блок анализирующих/синтезирующих фильтров. Иными словами, на стороне ввода для генерирования ряда сигналов анализируемых поддиапазонов, которые затем поддаются обработке посредством гармонического преобразования и HFR-обработке, может использоваться лишь один единственный блок анализирующих фильтров. В конечном итоге, для генерирования декодированного сигнала на стороне вывода может использоваться лишь один единственный блок синтезирующих фильтров.

Согласно одной из особенностей, описывается система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Система может включать блок анализирующих фильтров, сконфигурированный для создания сигнала анализируемого поддиапазона из входного сигнала. Анализируемый поддиапазон может быть связан с одной из частотных полос входного сигнала. Сигнал анализируемого поддиапазона может включать ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду. Блок анализирующих фильтров может представлять собой блок квадратурных зеркальных фильтров, оконное дискретное преобразование Фурье или вейвлетное преобразование. В частности, блок анализирующих фильтров может представлять собой 64-точечный блок квадратурных зеркальных фильтров. Таким образом, блок анализирующих фильтров может иметь низкую разрешающую способность по частоте.

Блок анализирующих фильтров может применять к входному сигналу шаг анализа по времени, и/или блок анализирующих фильтров может иметь разнос анализируемых частот так, чтобы полоса частот, связанная с сигналом анализируемого поддиапазона имела номинальную ширину , и/или блок анализирующих фильтров мог содержать количество N анализируемых поддиапазонов, N>1, где n – индекс анализируемого поддиапазона, . Следует отметить, что из-за наложения смежных частотных полос фактическая спектральная ширина анализируемого поддиапазона может быть больше . Однако разнос частот между смежными анализируемыми поддиапазонами, как правило, имеет вид разноса анализируемых частот.

Система может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента преобразования поддиапазона и коэффициента S растягивания поддиапазона. По меньшей мере, один из коэффициентов, Q или S, может быть больше единицы. Модуль обработки поддиапазонов может включать экстрактор блоков, сконфигурированный для извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений. Длина L кадра может быть больше единицы, однако, в некоторых вариантах осуществления изобретения длина L кадра может быть равна единице. В альтернативном варианте или в дополнение, экстрактор блоков может быть сконфигурирован для применения величины скачка блока из р дискретных значений к ряду анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L входных дискретных значений. В результате многократного применения величины скачка блока к ряду анализируемых дискретных значений может генерироваться набор кадров, состоящих из входных дискретных значений.

Следует отметить, что длина L кадра и/или величина скачка блока р могут представлять собой произвольно выбранные числа и необязательно являются целыми числами. В этом или других случаях, экстрактор блоков может конфигурироваться для интерполяции двух или большего количества анализируемых дискретных значений для получения входного дискретного значения кадра, состоящего из L входных дискретных значений. Например, если длина кадра и/или величина скачка блока являются дробными числами, входное дискретное значение кадра, состоящего из входных дискретных значений, может быть получено путем интерполяции двух или большего количества смежных анализируемых дискретных значений.

В альтернативном варианте или в дополнение, экстрактор блоков может конфигурироваться для понижающей дискретизации ряда анализируемых дискретных значений для получения входного дискретного значения кадра, состоящего из L входных дискретных значений. В частности, экстрактор блоков может конфигурироваться для понижающей дискретизации ряда анализируемых дискретных значений с коэффициентом Q преобразования поддиапазона. Таким образом, экстрактор блоков может вносить вклад в гармоническое преобразование и/или растягивание во времени путем выполнения операции понижающей дискретизации.

Система, и, в частности, модуль обработки поддиапазонов, может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, на основе кадра, состоящего из входных дискретных значений. Определение может повторяться для набора кадров, состоящих из входных дискретных значений, и, таким образом, генерируется набор кадров, состоящих из обрабатываемых дискретных значений. Определение может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения – путем сдвига фазы соответствующего входного дискретного значения. В частности, блок нелинейной обработки кадров может конфигурироваться для определения фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения на величину сдвига фазы, которая основывается на предварительно определяемом входном дискретном значении из кадра, состоящего из входных дискретных значений, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона. Величина сдвига фазы может основываться на предварительно определяемом входном дискретном значении, умноженном на . В частности, величина сдвига фазы может задаваться предварительно определяемым входным дискретным значением, умноженным на , плюс параметр коррекции фазы. Параметр коррекции фазы может определяться экспериментально для ряда входных сигналов, имеющих конкретные акустические свойства.

В одном из предпочтительных вариантов осуществления изобретения предварительно определяемое входное дискретное значение одинаково для каждого обрабатываемого дискретного значения кадра. В частности, предварительно определяемым входным дискретным значением может являться центральное дискретное значение кадра, состоящего из входных дискретных значений.

В альтернативном варианте или в дополнение, определение может выполняться путем определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. В частности, блок нелинейной обработки кадров может конфигурироваться для определения амплитуды обрабатываемого дискретного значения как среднего значения амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. Амплитуда обрабатываемого дискретного значения может определяться как геометрическое среднее значение амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. Конкретнее, геометрическое среднее значение может определяться как амплитуда соответствующего входного дискретного значения, возведенная в степень , умноженная на амплитуду предварительно определяемого входного дискретного значения, возведенную в степень . Как правило, параметром геометрического взвешивания амплитуды является . Кроме того, параметр геометрического взвешивания амплитуды может являться функцией коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона. В частности, параметром геометрического взвешивания амплитуды может являться , что в результате приводит к снижению вычислительной сложности.

Следует отметить, что предварительно определяемое входное дискретное значение, используемое для определения амплитуды обрабатываемого дискретного значения, может отличаться от предварительно определяемого входного дискретного значения, используемого для определения фазы обрабатываемого дискретного значения. Однако в предпочтительном варианте осуществления изобретения оба предварительно определяемых входных дискретных значения одинаковы.

В целом, модуль нелинейной обработки кадров может использоваться в системе для управления степенью гармонического преобразования и/или растягивания во времени. Можно показать, что в результате определения амплитуды обрабатываемого дискретного значения из амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения, может быть улучшена эффективность системы в отношении кратковременных непериодических и/или голосовых сигналов.

Система, и, в частности модуль нелинейной обработки поддиапазонов, может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров обрабатываемых дискретных значений. Блок наложения и сложения может применять величину скачка к последовательным кадрам обрабатываемых дискретных значений. Указанная величина скачка может быть равна величине р скачка блока, умноженной на коэффициент S растягивания поддиапазона. Таким образом, модуль наложения и сложения может использоваться в системе для управления степенью растягивания во времени и/или гармонического преобразования.

Система, и, в частности, модуль обработки поддиапазонов, может включать модуль обработки методом окна, расположенный в восходящем направлении относительно модуля наложения и сложения. Модуль обработки методом окна может конфигурироваться для применения оконной функции к кадру, состоящему из обрабатываемых дискретных значений. Таким образом, оконная функция может применяться к набору кадров, состоящих из обрабатываемых дискретных значений, перед операцией наложения и сложения. Оконная функция может иметь длину, которая соответствует длине L кадра. Оконная функция может представлять собой окно Гаусса, косинусное окно, окно вида приподнятый косинус, окно Хэмминга, окно Ханна, прямоугольное окно, окно Бартлетта и/или окно Блекмана. Как правило, оконная функция включает ряд дискретных значений оконной функции, и наложенные и сложенные дискретные значения оконной функции из ряда оконных функций, сдвинутых на величину скачка, могут предусматривать набор дискретных значений, имеющих, в значительной мере, постоянную величину К.

Система может включать блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона. Синтезируемый поддиапазон может быть связан с полосой частот растянутого во времени и/или преобразованного по частоте сигнала. Блок синтезирующих фильтров может представлять собой соответствующий блок фильтров, или преобразование, обратное блоку фильтров, или преобразованию, блока анализирующих фильтров. В частности, блок синтезирующих фильтров может представлять собой 64-точечный блок обратных квадратурных зеркальных фильтров. В одном из вариантов осуществления изобретения блок синтезирующих фильтров применяет к сигналу синтезируемого поддиапазона шаг синтеза по времени, и/или блок синтезирующих фильтров имеет разнос синтезируемых частот, и/или блок синтезирующих фильтров содержит количество М синтезируемых поддиапазонов, , где m – индекс синтезируемого поддиапазона, .

Следует отметить, что, как правило, блок анализирующих фильтров конфигурируется для генерирования ряда сигналов анализируемых поддиапазонов; модуль обработки поддиапазонов конфигурируется для определения ряда сигналов синтезируемых поддиапазонов из ряда сигналов анализируемых поддиапазонов; и блок синтезирующих фильтров конфигурируется для генерирования растянутого во времени и/или преобразованного по частоте сигнала из ряда сигналов синтезируемых поддиапазонов.

В одном из вариантов осуществления изобретения система может конфигурироваться для генерирования сигнала, который является растянутым во времени с коэффициентом физического растягивания во времени и/или преобразованным по частоте с коэффициентом физического преобразования по частоте. В этом случае коэффициент растягивания поддиапазона может иметь вид , коэффициент преобразования поддиапазона может иметь вид ; и/или индекс n анализируемого поддиапазона, связанный с сигналом анализируемого поддиапазона, и индекс m синтезируемого поддиапазона, связанный с сигналом синтезируемого поддиапазона, могут быть связаны соотношением . Если выражение не является целым числом, n может выбираться как ближайшее, т.е. ближайшее меньшее или большее, целое число к члену .

Система может включать модуль приема управляющих данных, сконфигурированный для приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Указанные мгновенные акустически свойства могут, например, отражаться классификацией входного сигнала по различным классам акустических свойств. Указанные классы могут включать класс переходных свойств для кратковременного непериодического сигнала, и/или класс стационарных свойств – для стационарного сигнала. Система может включать классификатор сигналов или может принимать управляющие данные из классификатора сигналов. Классификатор сигналов может конфигурироваться для анализа мгновенных акустических свойств входного сигнала и/или конфигурироваться для задания управляющих данных, отражающих мгновенные акустические свойства.

Модуль обработки поддиапазонов может конфигурироваться для определения сигнала синтезируемого поддиапазона с учетом управляющих данных. В частности, экстрактор блоков может конфигурироваться для задания длины L кадра в соответствии с управляющими данными. В одном из вариантов осуществления изобретения малая длина L кадра устанавливается, если управляющие данные отражают кратковременный непериодический сигнал; и/или большая длина L кадра устанавливается, если управляющие данные отражают стационарный сигнал. Иными словами, длина L кадра может уменьшаться для коротких непериодических частей сигнала по сравнению с длиной L кадра, используемой для стационарных частей сигнала. Таким образом, в модуле обработки поддиапазонов могут учитываться мгновенные акустические свойства входного сигнала. В результате может быть увеличена эффективность системы в отношении коротких непериодических и/или голосовых сигналов.

Как описывалось выше, блок анализирующих фильтров, как правило, конфигурируется для создания ряда сигналов анализируемых поддиапазонов. В частности, блок анализирующих фильтров может конфигурироваться для создания второго сигнала анализируемого поддиапазона из входного сигнала. Указанный второй сигнал анализируемого поддиапазона, как правило, связан с иной частотной полосой входного сигнала, чем сигнал анализируемого поддиапазона. Сигнал второго анализируемого поддиапазона может включать ряд комплекснозначных вторых анализируемых дискретных значений.

Модуль обработки поддиапазонов может включать второй экстрактор блоков, сконфигурированный для извлечения набора вторых входных дискретных значений путем применения величины р скачка блока к ряду вторых анализируемых дискретных значений, т.е. в одном из предпочтительных вариантов осуществления изобретения второй экстрактор блоков применяет длину L=1 кадра. Как правило, каждое второе входное дискретное значение соответствует кадру, состоящему из входных дискретных значений. Это соответствие может относиться к особенностям распределения во времени и/или дискретизации. В частности, второе входное дискретное значение и соответствующий кадр, состоящий из входных дискретных значений, могут относиться к одним и тем же моментам времени входного сигнала.

Модуль обработки поддиапазонов может включать второй модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из вторых обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений, и соответствующего второго входного дискретного значения. Определение кадра, состоящего из вторых обрабатываемых дискретных значений, может выполняться путем определения для каждого второго обрабатываемого дискретного значения кадра фазы второго обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения на величину сдвига фазы, которая основывается на соответствующем втором входном дискретном значении, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона. В частности, сдвиг фазы может выполняться так, как это описывается в настоящем документе, где второе обрабатываемое дискретное значение берется вместо предварительно определяемого входного дискретного значения. Кроме того, определение кадра, состоящего из вторых обрабатываемых дискретных значений, может выполняться путем определения для каждого второго обрабатываемого дискретного значения кадра амплитуды второго обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды соответствующего второго входного дискретного значения. В частности, амплитуда может определяться так, как это описывается в настоящем документе, где второе обрабатываемое дискретное значение берется вместо предварительно определяемого входного дискретного значения.

Таким образом, для извлечения кадра, или набора кадров, состоящих из обрабатываемых дискретных значений, из кадров, взятых из двух различных сигналов анализируемых поддиапазонов, может использоваться второй модуль нелинейной обработки кадров. Иными словами, отдельный сигнал синтезируемого поддиапазона может быть выведен из двух или большего количества различных сигналов анализируемых поддиапазонов. Как описывается в настоящем документе, это может быть полезно в случае, когда для ряда порядков гармонического преобразования и/или степеней растягивания во времени используется единственная пара блоков анализирующих и синтезирующих фильтров.

С целью определения одного или двух анализируемых поддиапазонов, которые должны вносить вклад в синтезируемый поддиапазон с индексом m, можно учесть соотношение между разрешающей способности по частоте для блоков анализирующих и синтезирующих фильтров. В частности, можно оговорить, что если член является целым числом n, то сигнал синтезируемого поддиапазона может определяться на основе кадра, состоящего из обрабатываемых дискретных значений, т.е. сигнал синтезируемого поддиапазона может определяться из единичного сигнала анализируемого поддиапазона, соответствующего целочисленному индексу n. В альтернативном варианте или в дополнение, можно оговорить, что если член не является целым числом, где n является ближайшим целым числом, то сигнал синтезируемого поддиапазона может определяться на основе кадра, состоящего из вторых обрабатываемых дискретных значений, т.е. сигнал синтезируемого поддиапазона может определяться из двух сигналов анализируемых поддиапазонов, соответствующих ближайшему целочисленному значению индекса n и смежному целочисленному значению индекса. В частности, сигнал второго анализируемого поддиапазона может соответствовать индексу анализируемого поддиапазона n+1 или n–1.

Согласно следующей особенности, описана система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Эта система особо адаптирована для генерирования растянутого во времени и/или преобразованного по частоте сигнала под действием управляющего сигнала и, таким образом, для учета мгновенных акустических свойств входного сигнала. Это может особенно хорошо подходить для улучшения переходной характеристики системы.

Система может включать модуль приема управляющих данных, сконфигурированный для приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Кроме того, система может включать блок анализирующих фильтров, сконфигурированный для создания сигнала анализируемого поддиапазона из входного сигнала; где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду. Кроме того, система может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования поддиапазона, коэффициента S растягивания поддиапазона и управляющих данных. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы.

Модуль обработки поддиапазонов может включать экстрактор блоков, сконфигурированный для извлечения кадра, содержащего L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений. Длина L кадра может быть больше единицы. Кроме того, экстрактор блоков может конфигурироваться для задания длины L кадра в соответствии с управляющими данными. Экстрактор блоков также может конфигурироваться для применения величины скачка блока из р дискретных значений к ряду анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L входных дискретных значений; таким образом, генерируется набор кадров, состоящих входных дискретных значений.

Как описано выше, модуль обработки поддиапазонов может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения; и путем определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения.

Кроме того, как описывалось выше, система может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений; и блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона.

Согласно другой особенности, описана система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Система может быть особенно хорошо адаптированной для выполнения ряда операций растягивания во времени и/или преобразования по частоте в единственной паре блоков анализирующих и синтезирующих фильтров. Система может включать блок анализирующих фильтров, сконфигурированный для создания первого и второго сигналов анализируемых поддиапазонов из входного сигнала, где каждый из сигналов поддиапазонов, первого и второго, включает ряд комплекснозначных анализируемых дискретных значений, именуемых, соответственно, первым и вторым анализируемыми дискретными значениями, и каждое анализируемое дискретное значение имеет фазу и амплитуду. Как правило, первый и второй сигналы анализируемых поддиапазонов соответствуют различным полосам частот входного сигнала.

Система также может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов с использованием коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. Модуль обработки поддиапазонов может включать первый экстрактор блоков, сконфигурированный для извлечения кадра, состоящего из L первых входных дискретных значений, из ряда первых анализируемых дискретных значений; длина кадра L больше единицы. Первый экстрактор блоков может конфигурироваться для применения величины скачка блока из р дискретных значений к ряду первых анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L первых входных дискретных значений; и, таким образом, генерируется набор кадров, состоящих из L первых входных дискретных значений. Кроме того, модуль обработки поддиапазонов может включать второй экстрактор блоков, сконфигурированный для извлечения набора вторых входных дискретных значений путем применения величины скачка блока р к ряду вторых анализируемых дискретных значений; где каждое второе входное дискретное значение соответствует кадру, состоящему из первых входных дискретных значений. Первый и второй экстракторы блоков могут обладать любым из их характерных признаков, описываемых в настоящем документе.

Модуль обработки поддиапазонов может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из первых входных дискретных значений, и из соответствующего второго входного дискретного значения. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения – путем сдвига фазы соответствующего первого входного дискретного значения; и/или определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего первого входного дискретного значения и амплитуды соответствующего второго входного дискретного значения. В частности, модуль нелинейной обработки кадров может конфигурироваться для определения фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего первого входного дискретного значения на величину сдвига фазы, которая основывается на соответствующем втором входном дискретном значении, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона.

Кроме того, модуль обработки поддиапазонов может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, где модуль наложения и сложения может применять величину скачка к последовательным кадрам, состоящим из обрабатываемых дискретных значений. Величина скачка может быть равна величине скачка блока р, умноженной на коэффициент растягивания поддиапазона S. Наконец, система может включать блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона.

Следует отметить, что различные компоненты систем, описываемых в настоящем документе, могут включать любой или все характерные признаки, описываемые в настоящем документе в отношении этих компонентов. Это, в частности, применимо к блокам анализирующих и синтезирующих фильтров, модулю обработки поддиапазонов, модулю нелинейной обработки, экстракторам блоков, модулю наложения и сложения и/или к модулю обработки методом окна, описываемым в различных частях настоящего документа.

Системы, описываемые в настоящем документе, могут включать ряд модулей обработки поддиапазонов. Каждый модуль обработки поддиапазонов может быть сконфигурирован для определения промежуточного сигнала синтезируемого поддиапазона с использования различных коэффициентов Q преобразования поддиапазона и/или различных коэффициентов S растягивания поддиапазона. Системы также могут включать, в нисходящем направлении относительно ряда модулей обработки поддиапазонов и в восходящем направлении относительно блока синтезирующих фильтров, модуль слияния, сконфигурированный для слияния соответствующих промежуточных сигналов синтезируемых поддиапазонов в сигнал синтезируемого поддиапазона. Таким образом, системы могут использоваться для выполнения ряда операций растягивания во времени и/или гармонического преобразования, несмотря на использование лишь единственной пары блоков анализирующих и синтезирующих фильтров.

Системы могут включать, в восходящем направлении относительно блока анализирующих фильтров, базовый декодер, сконфигурированный для декодирования битового потока во входной сигнал. Системы также могут включать модуль HFR-обработки в нисходящем направлении относительно модуля слияния (если этот модуль слияния присутствует) и в восходящем направлении относительно блока синтезирующих фильтров. Модуль HFR-обработки может конфигурироваться для применения к сигналу синтезируемого поддиапазона информации спектральных полос, извлекаемой из битового потока.

Согласно другой особенности, описано внешнее устройство, предназначенное для декодирования принимаемого сигнала, включающего, по меньшей мере, низкочастотную составляющую звукового сигнала. Внешнее устройство может включать систему согласно любым особенностям и характерным признакам, описанным в настоящем документе, для генерирования высокочастотной составляющей звукового сигнала из низкочастотной составляющей звукового сигнала.

Согласно следующей особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Данный способ особенно хорошо адаптирован к улучшению переходной характеристики операций растягивания во времени и/или преобразования частоты. Способ может включать этап создания сигнала анализируемого поддиапазона из входного сигнала, где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду.

Способ в целом может включать этап определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования и коэффициента S растягивания поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. В частности, способ может включать этап извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений, где длина кадра L, как правило, больше единицы. Кроме того, к ряду анализируемых дискретных значений перед извлечением следующего кадра, содержащего L входных дискретных значений, может применяться величина скачка блока из р дискретных значений; таким образом, генерируется набор кадров, состоящих из входных дискретных значений. Кроме того, способ может включать этап определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений. Это может выполняться путем определения для каждого последовательного дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения.

В альтернативном варианте или в дополнение, для каждого обрабатываемого дискретного значения кадра амплитуда обрабатываемого дискретного значения может определяться на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения.

Способ также может включать этап определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящий из их обрабатываемых дискретных значений.

В конечном итоге, из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.

Согласно другой особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Этот способ особенно хорошо адаптирован для улучшения эффективности операций растягивания во времени и/или преобразования по частоте в сочетании с кратковременными непериодическими входными сигналами. Способ может включать этап приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Способ может также включать этап создания сигнала анализируемого поддиапазона из входного сигнала, где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду.

На следующем этапе из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования поддиапазона, коэффициента S растягивания поддиапазона и управляющих данных может определяться сигнал синтезируемого поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. В частности, способ может включать этап извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений, где длина L кадра, как правило, больше единицы, и где длина L кадра устанавливается в соответствии с управляющими данными. Кроме того, способ может включать этап применения величины скачка блока из р дискретных значений к ряду анализируемых поддиапазонов перед извлечением следующего кадра, состоящего из L входных дискретных значений, с целью генерирования таким образом набора кадров, состоящих из входных дискретных значений. Затем из кадра, состоящего из входных дискретных значений, может определяться кадр, состоящий из обрабатываемых дискретных значений, путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения, и амплитуды обрабатываемого дискретного значения – на основе амплитуды соответствующего входного дискретного значения.

Сигнал синтезируемого поддиапазона может определяться путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, и из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.

Согласно следующей особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Данный метод может являться особенно хорошо адаптированным для выполнения ряда операций растягивания во времени и/или преобразования частоты с использованием единственной пары блоков анализирующих/синтезирующих фильтров. В то же время, способ хорошо адаптирован для обработки кратковременных непериодических входных сигналов. Способ может включать этап создания первого и второго сигналов анализируемых поддиапазонов из входного сигнала, где каждый из сигналов анализируемых поддиапазонов, первый и второй, включает ряд комплекснозначных анализируемых дискретных значений, именуемых, соответственно, первым и вторым анализируемыми дискретными значениями, где каждое анализируемое дискретное значение имеет фазу и амплитуду.

Кроме того, способ может включать этап определения сигнала синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов с использованием коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона, где, по меньшей мере, один из коэффициентов, Q или S, как правило, больше единицы. В частности способ может включать этап извлечения кадра, состоящего из L первых входных дискретных значений, из ряда первых анализируемых дискретных значений, где длина кадра L, как правило, больше единицы. К ряду первых анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L первых входных дискретных значений, может применяться величина скачка блока из р дискретных значений с целью генерирования таким образом набора кадров, состоящих из первых входных дискретных значений. Способ может также включать этап извлечения набора вторых входных дискретных значений путем применения величины скачка блока р к ряду вторых анализируемых дискретных значений, где каждое второе исходное дискретное значение соответствует кадру, состоящему из первых входных дискретных значений.

Способ продолжается определением кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из первых входных дискретных значений, и из соответствующего второго входного дискретного значения. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения – путем сдвига фазы соответствующего первого входного дискретного значения, и амплитуды обрабатываемого дискретного значения – на основе амплитуды соответствующего первого входного дискретного значения и амплитуды соответствующего второго входного дискретного значения.

Затем путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, может определяться сигнал синтезируемого поддиапазона. В конечном итоге, из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.

Согласно другой особенности, описана программа, реализованная программно. Программа, реализованная программно, может быть адаптирована для исполнения на процессоре и для выполнения этапов способа и/или реализации особенностей и характерных признаков, описываемых в настоящем документе, при осуществлении на вычислительном устройстве.

Согласно другой особенности, описан носитель данных. Носитель данных может включать программу, реализованную программно, адаптированную для исполнения на процессоре и для выполнения этапов способа и/или реализации особенностей и характерных признаков, описываемых в настоящем документе, при осуществлении на вычислительном устройстве.

Согласно другой особенности, описан компьютерный программный продукт. Компьютерный программный продукт может включать исполняемые команды для выполнения этапов способа и/или для реализации особенностей и характерных признаков, описываемых в настоящем документе, при исполнении на компьютере.

Следует отметить, что способы и системы, включая предпочтительные варианты их осуществления, в том виде, как они описаны в настоящей патентной заявке, могут использоваться по отдельности или в сочетании с другими способами и системами, раскрытыми в данном документе. Кроме того, все особенности способов и систем, описанных в настоящей патентной заявке, могут произвольно комбинироваться. В частности, характерные признаки формулы изобретения могут произвольным образом комбинироваться друг с другом.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Настоящее изобретение будет описано ниже посредством иллюстративных примеров, не ограничивающих объем или дух изобретения, с отсылкой к сопроводительным графическим материалам, где:

фиг. 1 иллюстрирует принцип примера гармонического преобразования на основе блока поддиапазонов;

фиг. 2 иллюстрирует принцип работы примера нелинейной обработки блока поддиапазонов с одним входным поддиапазоном;

фиг. 3 иллюстрирует принцип работы примера нелинейной обработки блока поддиапазонов с двумя входными поддиапазонами;

фиг. 4 иллюстрирует пример сценария применения преобразования на основе блока поддиапазонов с использованием нескольких порядков преобразования в аудиокодеке, усиленном HFR;

фиг. 5 иллюстрирует пример сценария работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего отдельный блок анализирующих фильтров для каждого порядка преобразования;

фиг. 6 иллюстрирует пример сценария эффективной работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего единственный 64-полосный блок QMF-фильтров; и

фиг. 7 иллюстрирует переходную характеристику для растягивания примера звукового сигнала во времени в два раза на основе блока поддиапазонов.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Описываемые ниже варианты осуществления изобретения являются единственно иллюстрациями принципов настоящего изобретения для улучшенного гармонического преобразования на основе блока поддиапазонов. Следует понимать, что модификации и изменения расположений и деталей, описанных в настоящем документе, будут понятны специалистам в данной области. Поэтому намерение заключается в том, чтобы ограничиваться только объемом предстоящей формулы изобретения, а не конкретными деталями, представленными в настоящем документе с целью описания и разъяснения вариантов осуществления изобретения.

Фиг. 1 иллюстрирует принцип примера преобразования, растягивания во времени или комбинации преобразования и растягивания во времени на основе блока поддиапазонов. Входной сигнал во временной области подается в блок 101 анализирующих фильтров, который создает несколько, или ряд, комплекснозначных сигналов поддиапазонов. Указанный ряд сигналов поддиапазонов подается в блок 102 обработки поддиапазонов, на работу которого оказывают влияние управляющие данные 104. Каждый выходной поддиапазон блока 102 обработки поддиапазонов может быть получен как путем обработки одного, так и путем обработки двух входных поддиапазонов, или даже путем суперпозиции результата для нескольких указанных обрабатываемых поддиапазонов. Несколько, или ряд, комплекснозначных выходных поддиапазонов подается в блок 103 синтезирующих фильтров, который, в свою очередь, выводит модифицированный сигнал во временной области. Управляющие данные 104 способствуют улучшению качества модифицированного сигнала во временной области для некоторых типов сигналов. Управляющие данные 104 могут быть связаны с сигналом во временной области. В частности, управляющие данные 104 могут быть связаны с типом сигнала во временной области, или зависеть от типа сигнала во временной области, подаваемого в блок 101 анализирующих фильтров. Например, управляющие данные 104 могут указывать на то, является ли сигнал во временной области, или мгновенный отрывок сигнала во временной области, стационарным сигналом, или сигнал во временной области представляет собой кратковременный непериодический сигнал.

Фиг. 2 иллюстрирует принцип работы примера нелинейной обработки 102 блока поддиапазонов с одним входным поддиапазоном. При заданных целевых значениях физического растягивания во времени и/или преобразования, и физических параметрах блоков 101 и 103 анализирующих и синтезирующих фильтров, можно вывести время растягивания поддиапазона и параметры преобразования, а также индекс исходного поддиапазона, который также может именоваться индексом анализируемого поддиапазона, для каждого индекса целевого поддиапазона, который также может именоваться индексом синтезируемого поддиапазона. Целью обработки блока поддиапазонов является реализация соответствующего преобразования, растягивания во времени или комбинации преобразования и растягивания во времени комплекснозначного сигнала исходного поддиапазона с целью генерирования сигнала целевого поддиапазона.

При нелинейной обработке 102 блока поддиапазонов экстрактор 201 блока дискретизирует состоящий из дискретных значений кадр конечного размера из комплекснозначного входного сигнала. Кадр может определяться положением входного указателя и коэффициентом преобразования поддиапазона. Указанный кадр подвергается нелинейной обработке в модуле 202 нелинейной обработки, а затем обрабатывается методом окна конечной длины в модуле 203. Окно 203 может представлять собой окно Гаусса, косинусное окно, окно Хэмминга, окно Ханна, прямоугольное окно, окно Бартлетта, окно Блекмана и т.д. Результирующие дискретные значения складываются с предыдущими выходными дискретными значениями в модуле 204 наложения и сложения, где положение выходного кадра может определяться положением выходного указателя. Входной указатель имеет фиксированную величину приращения, также называемую величиной скачка блока, и выходной указатель имеет приращение, равное приращению исходного указателя, с коэффициентом, соответствующим коэффициенту растягивания поддиапазона, т.е. величина скачка блока умножается на коэффициент растягивания поддиапазона. Повторение этой цепочки операций будет генерировать выходной сигнал с длительностью, равной длительности входного сигнала поддиапазона, с коэффициентом, соответствующим коэффициенту растягивания поддиапазона (вплоть до длины окна синтеза), и с комплексными частотами, преобразованными с коэффициентом преобразования поддиапазона.

Управляющие данные 104 могут оказывать воздействие на нелинейную обработку 102 на блочной основе любого из обрабатываемых блоков 201, 202, 203, 204. В частности, управляющие данные 104 могут управлять длиной блоков, извлекаемых экстрактором 201 блоков. В одном из вариантов осуществления изобретения длина блока уменьшается, если управляющие данные 104 указывают на то, что сигнал во временной области представляет собой кратковременный непериодический сигнал, в то время как длина блока увеличивается или поддерживается на более высоком уровне, если управляющие данные 104 указывают на то, что сигнал во временной области является стационарным сигналом. В альтернативном варианте или в дополнение, управляющие данные 104 могут воздействовать на модуль 202 нелинейной обработки, например, на параметры, используемые в модуле 202 нелинейной обработки, и/или на модуль 203 обработки методом окна, например, на окно, используемое блоком 203 обработки методом окна.

Фиг. 3 иллюстрирует принцип работы примера нелинейной обработки 102 блока поддиапазонов с двумя входными поддиапазонами. При заданных целевых значениях физического растягивания во времени и преобразования, и физических параметрах блоков 102 и 103 анализирующих и синтезирующих фильтров выводятся параметры растягивания во времени и преобразования поддиапазона, а также два индекса исходных поддиапазонов – для каждого индекса целевого поддиапазона. Целью обработки блока поддиапазонов является реализация соответствующего преобразования, растягивания во времени или сочетания преобразования и растягивания во времени для комбинации двух комплекснозначных сигналов исходных поддиапазонов с целью генерирования сигнала целевого поддиапазона. Экстрактор 301-1 блоков дискретизирует кадр конечного размера, состоящий из дискретных значений из первого комплекснозначного исходного поддиапазона, и экстрактор 301-2 блоков дискретизирует кадр конечного размера, состоящий из дискретных значений из второго комплекснозначного исходного поддиапазона. В одном из вариантов осуществления изобретения один из экстракторов 301-1 и 301-2 блоков может генерировать единственное дискретное значение поддиапазона, т.е. один из экстракторов 301-1 и 301-2 блоков может применять длину блока, равную одному дискретному значению. Кадры могут определяться общим положением входного указателя и коэффициентом преобразования поддиапазона. Два кадра, извлекаемые, соответственно, экстракторами 301-1 и 301-2 блоков подвергаются нелинейной обработке в модуле 302. Модуль 302 нелинейной обработки, как правило, генерирует из двух входных кадров единственный выходной кадр. Затем выходной кадр обрабатывается методом окна конечной длины в модуле 203. Описанный выше процесс повторяется для набора кадров, которые генерируются из набора кадров, извлекаемых из двух сигналов поддиапазонов с использованием величины скачка блока. Набор выходных кадров накладывается и складывается в модуле 204 наложения и сложения. Повторение этой цепочки операций будет генерировать выходной сигнал с длительностью, которая равна длительности самого длинного из двух сигналов входных поддиапазонов с коэффициентом растягивания поддиапазона (вплоть до длины окна синтеза). В случае если два сигнала входных поддиапазонов несут одинаковые частоты, выходной сигнал будет иметь комплексные частоты, преобразованные c коэффициентом преобразования поддиапазона.

Как описывалось в контексте фиг. 2, управляющие данные 104 могут использоваться для модификации работы различных блоков нелинейной обработки 102, например, работы экстракторов 301-1 и 301-2 блоков. Кроме того, следует отметить, что описанные выше операции, как правило, выполняются для всех сигналов анализируемых поддиапазонов, создаваемых блоком 101 анализирующих фильтров, и для всех сигналов синтезируемых поддиапазонов, которые являются входными в блок 103 синтезирующих фильтров.

В нижеследующем описании с отсылками к фиг. 1 - 3 и путем добавления соответствующей математической терминологии будет дано описание принципов растягивания во времени и преобразования на основе блока поддиапазонов.

Двумя главными параметрами конфигурации гармонического преобразователя и/или устройства растягивания во времени в целом являются:

• – требуемый коэффициент физического растягивания во времени; и

• – требуемый коэффициент физического преобразования.

Блоки фильтров 101 и 103 могут относиться к любому модулированному типу с комплексной экспонентой, такому как, например, QMF или оконное DFT, или вейвлетное преобразование. Блок 101 анализирующих фильтров и блок 103 синтезирующих фильтров в модуляции могут быть скомпонованы равномерно или неравномерно и могут определяться из широкого диапазона фильтров-прототипов и/или окон. Несмотря на то, что все указанные вторые порядки выбора оказывают влияние на такие детали последующего проектирования, как коррекции фаз и управление отображением поддиапазонов, главные параметры проектирования системы для обработки поддиапазонов, как правило, могут быть выведены из знания двух отношений – и – для приводимых ниже четырех параметров блока фильтров, каждый из которых измеряется в физических единицах измерения. В приведенных выше отношениях:

• –шаг по времени дискретного значения поддиапазона, или шаг по времени блока 101 анализирующих фильтров (например, измеряемый в секундах [c]);

• – разнос частот поддиапазонов блока 101 анализирующих фильтров (например, измеряемый в Герцах [1/c]);

• –шаг по времени дискретного значения поддиапазона, или шаг по времени блока 103 синтезирующих фильтров (например, измеряемый в секундах [c]); и

• – разнос частот поддиапазонов блока 103 синтезирующих фильтров (например, измеряемый в Герцах [1/c]).

Для конфигурирования модуля 102 обработки поддиапазонов необходимо вычислить следующие параметры:

• S – коэффициент растягивания поддиапазона, т.е. коэффициент растягивания, который применяется в модуле 102 обработки поддиапазонов с целью достижение общего физического растягивания во времени сигнала во временной области с коэффициентом ;

• Q – коэффициент преобразования поддиапазона, т.е. коэффициент преобразования, который применяется в модуле 102 обработки поддиапазонов с целью достижения общего физического преобразования сигнала во временной области с коэффициентом ; и

• соответствие между индексами исходных и целевых поддиапазонов, где n обозначает индекс анализируемого поддиапазона, входящего в модуль 102 обработки поддиапазонов, и m обозначает соответствующий синтезируемый поддиапазон на выходе модуля 102 обработки поддиапазонов.

При определении коэффициента S растягивания поддиапазонов наблюдалось, что входной сигнал в блок 101 синтезирующих фильтров с физической длительностью D соответствует количеству дискретных значений анализируемых поддиапазонов на входе в модуль 102 обработки поддиапазонов. Эти дискретных значений будут растягиваться в дискретных значений модулем 102 обработки поддиапазонов, который применяет коэффициент S растягивания поддиапазона. На выходе блока 102 синтезирующих фильтров эти дискретных значений приводят к выходному сигналу, имеющему физическую длительность . Поскольку последняя указанная длительность должна совпадать с заданной величиной , т.е. поскольку длительность выходного сигнала во временной области должна быть растянута во времени по сравнению с входным сигналом во временной области c коэффициентом физического растягивания во времени , получается следующее правило проектирования:

. (1)

Для того чтобы определить коэффициент преобразования поддиапазона Q, который применяется в модуле 102 обработки поддиапазонов с целью достижения физического преобразования , наблюдается, что входная синусоида в блок 101 анализирующих фильтров с физической частотой будет приводить к комплексному сигналу анализируемого поддиапазона с зависящей от дискретного времени частотой , и главный вклад вносится в анализируемый поддиапазон с индексом . Выходная синусоида на выходе блока 103 синтезирующих фильтров с требуемой преобразованной физической частотой будет генерироваться путем снабжения синтезируемого поддиапазона индексом c комплексным сигналом поддиапазона с дискретной частотой . В данном контексте следует проявлять осторожность во избежание синтеза ступенчатых выходных частот, отличающихся от . Как правило, этого можно избежать путем создания соответствующих вторых порядков выбора так, как это обсуждалось выше, например, путем выбора соответствующих блоков анализирующих/синтезирующих фильтров. Дискретная частота на выходе модуля 102 обработки поддиапазонов должна соответствовать зависящей от дискретного времени частоте на входе модуля 102 обработки поддиапазонов, умноженной на коэффициент Q преобразования поддиапазона. Т.е. путем приравнивания и можно определить соотношение между коэффициентом физического преобразования и коэффициентом Q преобразования поддиапазона:

. (2)

Аналогично, соответствующий индекс исходного, или анализируемого, поддиапазона n модуля 102 обработки поддиапазонов для индекса заданного целевого, или синтезируемого, поддиапазона m должен подчиняться соотношению:

. (3)

В одном из вариантов осуществления изобретения принимается, что , т.е. разнос частот блока 103 синтезирующих фильтров соответствует разносу частот блока 101 анализирующих фильтров, умноженному на коэффициент физического преобразования, и может применяться взаимно однозначное отображение индекса анализируемого поддиапазона в индекс синтезируемого поддиапазона, n=m. В других вариантах осуществления изобретения отображение индекса поддиапазона может зависеть от деталей параметров блока фильтров. В частности, если отношение разносов частот блока 103 синтезирующих фильтров и блока 101 анализирующих фильтров отличается от коэффициента физического преобразования, для данного целевого поддиапазона могут быть заданы один или два исходных поддиапазона. В случае двух исходных поддиапазонов может оказаться более предпочтительным использование двух смежных исходных поддиапазонов, соответственно, с индексами n и n+1. То есть первый и второй исходные поддиапазоны задаются как , или .

Обработка поддиапазонов по фиг. 2 с единичным исходным поддиапазоном будет описана ниже как функция параметров обработки поддиапазона S и Q. Пусть – входной сигнал в экстрактор 201, блоков и пусть р – входной шаг блока. Т.е. – это комплекснозначный сигнал поддиапазона для анализируемого поддиапазона с индексом n. Блок, извлекаемый экстрактором 201 блоков, можно без потери общности рассматривать как определяемый L=2R+1 дискретных значений:

, (4)

где целое число l – счетный индекс блока, L – длина блока, и R – целое число, R>0. Отметим, что при блок извлекается из последовательных дискретных значений, а при понижающая дискретизация выполняется так, чтобы входные адреса растягивались с коэффициентом Q. Если Q – целое число, эта операция, как правило, является простой для выполнения, в то время как для нецелочисленных значений Q может потребоваться интерполяция. Данное утверждение также справедливо и для нецелочисленных значений приращения р, т.е. входного шага блока. В одном из вариантов осуществления изобретения к комплекснозначному сигналу поддиапазона могут применяться короткие интерполирующие фильтры, например, фильтры, содержащие два отвода фильтра. Например, если требуется дискретное значение с дробным временным индексом k+0,5, к достаточному качеству может приводить интерполяция с двумя отводами в форме .

Интересным частным случаем формулы (4) является случай R=0, где извлекаемый блок состоит из единственного дискретного значения, т.е. длина блока L=1.

В полярном представлении комплексного числа , где – амплитуда комплексного числа, и – фаза комплексного числа, блок 202 нелинейной обработки, генерирующий выходной кадр из входного кадра , преимущественно определяется с коэффициентом модификации фазы через

, , (5)

где – параметр геометрического взвешивания амплитуды. Случай соответствует чистой модификации фазы извлеченного блока. Параметр коррекции фазы зависит от деталей блока фильтров и индексов исходного и целевого поддиапазонов. В одном из вариантов осуществления изобретения параметр коррекции фазы может определяться экспериментально путем развертки набора входных синусоид. Кроме того, параметр коррекции фазы может быть выведен путем изучения разности фаз смежных комплексных синусоид целевых поддиапазонов или путем оптимизации эффективности для входного сигнала, относящегося к типу импульса Дирака. Коэффициент Т модификации фазы должен быть целым числом так, чтобы коэффициенты Т–1 и 1 в линейной комбинации фаз в первой строке формулы (5) были целыми числами. При таком допущении, т.е. при допущении того, что коэффициент Т модификации фазы является целым числом, результат нелинейной модификации хорошо определяется даже тогда, кода фазы являются неоднозначными за счет добавления произвольных целочисленных множителей .

Таким образом, формула (5) определяет, что фаза дискретного значения выходного кадра определяется путем сдвига фазы соответствующего дискретного значения входного кадра на постоянную величину сдвига. Эта постоянная величина сдвига может зависеть от коэффициента Т модификации, который, в свою очередь, зависит от коэффициента растягивания поддиапазона и/или коэффициента преобразования поддиапазона.

Кроме того, постоянная величина сдвига может зависеть от фазы особого дискретного значения входного кадра из входного кадра. Данное особое дискретное значение входного кадра поддерживается фиксированным для определения фазы всех дискретных значений выходного кадра данного блока. В случае формулы (5) в качестве фазы особого дискретного значения входного кадра используется фаза центрального дискретного значения входного кадра. Кроме того, постоянная величина сдвига может зависеть от параметра коррекции фазы, который может определяться экспериментально.

Вторая строка формулы (5) определяет, что амплитуда дискретного значения выходного кадра может зависеть от амплитуды соответствующего дискретного значения входного кадра. Кроме того, амплитуда дискретного значения выходного кадра может зависеть от амплитуды особого дискретного значения входного кадра. Данное особое дискретное значение входного кадра может использоваться при определении амплитуды для всех выходных дискретных значений кадра. В случае формулы (5) в качестве особого дискретного значения входного кадра используется центральное дискретное значение входного кадра. В одном из вариантов осуществления изобретения амплитуда дискретного значения выходного кадра может соответствовать геометрическому среднему амплитуд соответствующего дискретного значения входного кадра и особого дискретного значения входного кадра.

В модуле 203 обработки методом окна к выходному кадру применяется окно длиной L, приводя к выходному кадру, обработанному методом окна:

. (6)

Наконец, предполагается, что кадры продолжаются нулями, и операция наложения и сложения определяется уравнением:

, (7)

где следует отметить, что модуль 204 наложения и сложения применяет шаг блока Sp, т.е. шаг по времени, который в S раз больше, чем входной шаг блока р. По причине указанной разности в шагах по времени в формулах (4) и (7) длительность выходного сигнала в S раз больше длительности входного сигнала , т.е. сигнал синтезируемого поддиапазона является растянутым с коэффициентом S растягивания поддиапазона по сравнению с сигналом анализируемого поддиапазона. Следует отметить, что данное наблюдение, как правило, предполагает, что длина L окна пренебрежимо мала по сравнению с длительностью сигнала.

В случае, когда в качестве входного сигнала в обработку 102 поддиапазонов используется комплексная синусоида, т.е. сигнал анализируемого поддиапазона соответствует комплексной синусоиде

, (8)

путем применения формул (4) - (7) можно определить, что выходной сигнал обработки 102 поддиапазонов, т.е. соответствующий сигнал синтезируемого поддиапазона, имеет вид:

. (9)

Таким образом, комплексная синусоида с зависящей от дискретного времени частотой будет трансформироваться в комплексную синусоиду с зависящей от дискретного времени частотой при условии, что сдвиги окна с шагом Sp суммируются в одну и ту же постоянную величину K для всех k:

(10)

Для иллюстрации можно рассмотреть частный случай чистого преобразования, где и . Если входной шаг блока р=1 и R=0, все вышеприведенное, т.е., в особенности, формула (5), сокращается до точечного правила модификации фазы, или правила модификации фазы на основе дискретного значения:

. (11)

Преимущество использования размера блока становится очевидным, когда в пределах сигнала анализируемого поддиапазона рассматривается сумма синусоид. Трудность, связанная с точечным правилом (11) для суммы синусоид с частотами заключается в том, что в выходном сигнале обработки 102, т.е. в сигнале синтезируемого поддиапазона, будут присутствовать не только желательные частоты , но и частоты комбинационных составляющих в форме . Использование блока и удовлетворяющей окну формулы (10), как правило, приводит к подавлению этих комбинационных составляющих. С другой стороны, длинный блок будет приводить к большей степени нежелательного размывания времени для кратковременных непериодических сигналов. Кроме того, для сигналов в форме последовательности импульсов, например, человеческого голоса в случае гласных звуков или однотонного инструмента, с относительно низким основным тоном, комбинационные составляющие могут оказаться желательными, как это описано в документе WO 2002/052545. Данный документ ссылкой включен в настоящее описание.

Для решения проблемы относительно низкой эффективности обработки 102 на основе блока поддиапазонов для кратковременных непериодических сигналов предлагается использовать в формуле (5) ненулевое значение параметра геометрического взвешивания амплитуды . Наблюдалось (см., например, фиг. 7), что выбор параметра геометрического взвешивания амплитуды улучшает переходную характеристику обработки 102 на основе блока поддиапазонов по сравнению с использованием чистой модификации фазы с , в то же время, c сохранением достаточной мощности подавления интермодуляционного искажения для стационарных сигналов. Наиболее привлекательно значение параметра взвешивания амплитуды , для которого формула (5) нелинейной обработки сокращается до следующих этапов вычислений:

. (12)

Указанные этапы вычислений представляют объем вычислительной сложности, эквивалентный по сравнению с работой чистой модуляции фазы в случае в формуле (5). Иными словами, определение амплитуды дискретных значений выходного кадра на основе формулы (5) геометрических средних с использованием параметра взвешивания амплитуды может реализовываться без каких-либо дополнительных затрат на вычислительную сложность. В то же время, эффективность гармонического преобразователя для кратковременных непериодических сигналов увеличивается при сохранении эффективности для стационарных сигналов.

Как было описано в контексте фиг. 1, 2 и 3, обработка 102 поддиапазонов может быть дополнительно усовершенствована путем применения управляющих данных 104. В одном из вариантов осуществления изобретения для реализации обработки поддиапазонов, адаптирующейся к сигналу, могут использоваться две конфигурации обработки 102 поддиапазонов, которые совместно используют одну и ту же величину К в формуле (11) и могут задействовать различные длины блоков. Концептуальным отправным пунктом в проектировании модуля обработки поддиапазонов с адартирующимся к сигналу переключением конфигурации может быть представление о двух конфигурациях, запускаемых параллельно, с селекторным переключателем на их выходах, где положение селекторного переключателя зависит от управляющих данных 104. Совместное использование величины К будет гарантировать то, что переключение будет происходить без резких переходов в случае единственной выходной комплексной синусоиды. Для обобщенных сигналов жесткое переключение на уровне сигнала поддиапазона будет автоматически обрабатываться методом окна окружающей конструкцией 101, 103 блоков фильтров так, чтобы в конечные выходные сигналы не вносились какие-либо артефакты переключения. Можно показать, что, когда размеры блоков значительно различаются, и скорость обновления управляющих данных не очень высока, в результате процесса наложения и сложения по формуле (7) может воспроизводиться выходной сигнал, аналогичный сигналу вышеописанной концептуальной переключаемой системы, при вычислительных затратах системы, имеющей конфигурацию с наиболее длинным блоком. Таким образом, проигрыш в вычислительной сложности, связанной с работой адаптации к сигналу, отсутствует. Согласно приведенному выше обсуждению, конфигурация с меньшей длиной блока больше подходит для кратковременных непериодических сигналов и периодических сигналов с низким основным тоном, в то время как конфигурация с большей длиной блоков больше подходит для стационарных сигналов. Таким образом, для классификации отрывков звукового сигнала на класс кратковременных непериодических сигналов и класс непереходных сигналов и прохождения этой информации классификации качестве управляющих данных 104 в модуль 102 обработки поддиапазонов с адаптирующимся к сигналу переключением конфигурации может использоваться классификатор сигналов. Модуль 102 обработки поддиапазонов может использовать управляющие данные 104 для задания определенных параметров обработки, например, длины блока в экстракторах блоков.

Ниже описание обработки поддиапазонов будет распространено на случай по фиг. 3 с двумя входными сигналами поддиапазонов. Описаны будут только изменения, внесенные в случай единичного входного сигнала. Иными словами, делается отсылка к предоставленной выше информации. Пусть – входной сигнал поддиапазона в первый экстрактор 301-1 блоков, и пусть – входной сигнал поддиапазона во второй экстрактор 301-2 блоков. Блок, извлекаемый экстрактором 301-1 блоков определяется формулой (4), и блок, извлекаемый экстрактором 301-2 состоит из единственного дискретного значения:

. (13)

Т.е. в описываемом варианте осуществления изобретения первый экстрактор 301-1 блоков использует длину блока L, в то время как второй экстрактор 301-2 блоков использует блок длиной 1. В этом случае нелинейная обработка 302 генерирует выходной кадр , который может определяться формулой

, (14)

и остальная обработка в модулях 203 и 204 аналогична обработке, описанной в контексте случая единственного входного сигнала. Иными словами, предлагается заменить особое дискретное значение кадра в формуле (5) единичным дискретным значением поддиапазона, извлекаемым из соответствующего второго сигнала анализируемого поддиапазона.

В одном из вариантов осуществления изобретения, где отношение разноса частот блока 103 синтезирующих фильтров к разносу частот блока 101 анализирующих фильтров отличается от требуемого коэффициента физического преобразования, может оказаться полезным определение дискретных значений синтезируемого поддиапазона с индексом m из двух анализируемых поддиапазонов, соответственно, с индексами n и n+1. При заданном индексе m соответствующий индекс n может даваться целочисленным значением, полученным путем усечения индекса анализируемого поддиапазона, заданного формулой (3). Один из сигналов анализируемых поддиапазонов, например, сигнал анализируемого поддиапазона, соответствующий индексу n, подается в первый экстрактор 301-1 блоков, и второй сигнал анализируемого поддиапазона, например, сигнал, соответствующий индексу n+1, подается во второй экстрактор 301-2 блоков. На основе этих двух сигналов анализируемых поддиапазонов в соответствии с описанной выше обработкой определяется сигнал синтезируемого поддиапазона, соответствующий индексу m. Направление смежных сигналов анализируемых поддиапазонов в два экстрактора 301-1 и 302-1 блоков может основываться на остатке, получаемом при усечении значения индекса по формуле (3), т.е. на разности точного значения индекса, данного по формуле (3), и усеченного целочисленного значения n, полученного из формулы (3). Если остаток больше 0,5, то сигнал анализируемого поддиапазона, соответствующий индексу n, может направляться во второй экстрактор 301-2 блоков, в противном случае этот сигнал анализируемого поддиапазона может направляться в первый 301-1 экстрактор блоков.

Фиг. 4 иллюстрирует пример сценария для применения преобразования на основе блока поддиапазонов с использованием нескольких порядков преобразования в аудиокодеке, усиленном HFR. Передаваемый битовый поток принимается базовым декодером 401, который создает декодированный базовый сигнал с низкой полосой пропускания с частотой дискретизации . Этот базовый сигнал с низкой полосой пропускания также может именоваться низкочастотной составляющей звукового сигнала. Сигнал с низкой частотой дискретизации может подвергаться повторной дискретизации до выходной частоты дискретизации посредством 32-полосного блока 402 комплексных модулированных QMF-фильтров, а затем – 64-полосного блока 405 синтезирующих QMF-фильтров (обратных QMF-фильтров). Оба блока 402 и 405 фильтров имеют одинаковые физические параметры и , и блок 404 HFR-обработки, как правило, пропускает немодифицированные более низкие поддиапазоны, соответствующие базовому сигналу с низкочастотной полосой пропускания. Высокочастотное информационное наполнение выходного сигнала получается путем снабжения более высоких поддиапазонов 64-полосного блока 405 синтезирующих QMF-фильтров выходными полосами из модуля 403 многократного преобразователя, подвергнутыми формированию и модификации спектра, выполняемыми модулем 404 HFR-обработки. Многократный преобразователь 403 в качестве входного сигнала принимает декодированный базовый сигнал и выводит множество сигналов поддиапазонов, которые представляют 64-полосный анализ суперпозиции, или комбинации, нескольких преобразованных составляющих сигнала. Иными словами, сигнал на выходе многократного преобразователя 403 должен соответствовать преобразованным сигналам синтезируемых поддиапазонов, которые могут подаваться в блок 103 синтезирующих фильтров, который в случае фиг. 4 представлен блоком 405 обратных QMF-фильтров.

Возможные реализации многократного преобразователя 403 описываются в контексте фиг. 5 и 6. Цель многократного преобразователя 403 заключается в том, чтобы, если HFR-обработка 404 обходится, каждая составляющая соответствовала целочисленному физическому преобразованию без растягивания во времени базового сигнала (, и ). Для кратковременных непериодических составляющих базового сигнала HFR-обработка иногда может компенсировать плохую переходную характеристику многократного преобразователя 403, но последовательно высокое качество, как правило, может достигаться только в том случае, если является удовлетворительной переходная характеристика самого многократного преобразователя. Как описывается в настоящем документе, управляющий сигнал 104 преобразователя может влиять на работу многократного преобразователя 403 и, таким образом, обеспечивать удовлетворительную переходную характеристику многократного преобразователя 403. В альтернативном варианте или в дополнение, приведенная выше схема геометрического взвешивания (см., например, формулу (5) и/или формулу (4)) может вносить вклад в улучшение переходной характеристики гармонического преобразователя 403.

Фиг. 5 иллюстрирует пример сценария работы модуля 403 преобразования нескольких порядков на основе блока поддиапазонов, применяющего отдельный блок 502-2, 502-3, 502-4 фильтров для каждого порядка преобразования. В иллюстрируемом примере в области 64-полосного блока QMF-фильтров, функционирующего на выходной частоте дискретизации , генерируются и доставляются три порядка преобразования . Модуль 504 слияния выбирает и комбинирует соответствующие поддиапазоны из каждой ветви коэффициентов преобразования в единое множество QMF-поддиапазонов, подаваемых в модуль HFR-обработки.

Рассмотрим первый случай . Цель непосредственно заключается в том, чтобы последовательность обработки из 64-полосного QMF-анализа 502-2, модуля 503-2 обработки поддипазонов и 64-полосного QMF-синтеза 405 приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации указанных трех блоков как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что и , таким образом, формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-2 обработки поддиапазонов. Модуль 503-2 обработки поддиапазонов должен выполнить растягивание поддиапазона до , преобразование поддиапазона до (т.е. отсутствует) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид n=m (см. формулу (3)).

Для случая пример системы включает преобразователь 501-3 частоты дискретизации, который понижает входную частоту дискретизации с коэффициентом 3/2 – от до . Цель непосредственно заключается в том, чтобы последовательность обработки, состоящей из 64-полосного QMF-анализа 502-3, модуля 503-3 обработки поддипазонов и 64-полосного QMF-синтеза 405, приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации приведенных выше трех блоков, соответственно, как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что из-за повторной дискретизации и , таким образом, формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-3 обработки поддиапазонов. Модуль 503-3 обработки поддиапазонов должен выполнить растягивание поддиапазона до , преобразование поддиапазона до (т.е. не выполнять) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид n=m (см. формулу (3)).

Для случая пример системы включает преобразователь 501-4 частоты дискретизации, который понижает входную частоту дискретизации в два раза – от до . Цель непосредственно заключается в том, чтобы последовательность обработки, состоящей из 64-полосного QMF-анализа 502-4, модуля 503-4 обработки поддипазонов и 64-полосного QMF-синтеза 405, приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации приведенных выше трех блоков, соответственно, как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что из-за повторной дискретизации и , формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-4 обработки поддиапазонов. Модуль 503-4 обработки поддиапазонов должен выполнить растягивание поддиапазона до S=4, преобразование поддиапазона до (т.е. не выполнять) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид условия n=m.

В качестве заключения для примера сценария по фиг. 5, все модули от 504-2 до 503-4 выполняют чистые растягивания сигналов поддиапазонов и задействуют единую нелинейную обработку входных блоков поддиапазонов, описанную в контексте фиг. 2. Управляющий сигнал 104, в случае его присутствия, может одновременно влиять на работу всех трех модулей обработки поддиапазонов. В частности, управляющий сигнал 104 может использоваться для одновременного переключения между обработкой длинных блоков и обработкой коротких блоков в зависимости от типа (кратковременный непериодический или непереходной) отрывка входного сигнала. В альтернативном варианте или в дополнение, если три модуля 504-2–504-4 используют ненулевой параметр геометрического взвешивания амплитуды , то переходная характеристика многократного преобразователя будет улучшена по сравнению со случаем .

Фиг. 6 иллюстрирует пример сценария для эффективной работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего единственный 64-полосный блок анализирующих QMF-фильтров. На самом деле, использование трех отдельных блоков QMF-анализа и двух преобразователей частоты дискретизации по фиг. 5 приводит к довольно высокой вычислительной сложности, а также к некоторым неудобствам реализации обработки на основе кадра из-за преобразования частоты дискретизации в модуле 501-3, т.е. из-за дробного преобразования частоты дискретизации. Поэтому предлагается заменить две ветви преобразования, включающие модули 501-3→502-3→503-3 и 501-4→502-4→503-4, модулями 603-3 и 603-4 соответственно, тогда как ветвь 502-2→503-2 в сравнении с фиг. 5 остается неизменной. Все три порядка преобразования выполняются в области блока фильтров с отсылкой к фиг. 1, где и . Иными словами, используется только один блок 502-2 анализирующих фильтров и один блок 405 синтезирующих фильтров, что, таким образом, снижает общую вычислительную сложность многократного преобразователя.

В случае технические условия для модуля 603-3 обработки поддиапазонов, имеющие вид формул (1) - (3), заключаются в том, что модуль 603-3 обработки поддиапазонов должен выполнять растягивание поддиапазона с S=2 и преобразование поддиапазона с Q=3/2, так, чтобы соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m имело вид . Для случая технические условия для модуля 603-4 обработки поддиапазонов, имеющие вид формул (1) - (3), заключаются в том, что модуль 603-4 обработки поддиапазонов должен выполнять растягивание поддиапазона с S=2 и преобразование поддиапазона с Q=2, так, чтобы соответствие между исходными диапазонами с индексом n целевыми поддиапазонами с индексом m имело вид .

Как видно, формула (3) необязательно предусматривает целочисленный индекс n для целевого поддиапазона с индексом m. Поэтому для удобства при определении целевого поддиапазона можно рассматривать два смежных исходных поддиапазона, как описано выше (с использованием формулы (14)). В частности, это может быть удобно для целевых поддиапазонов с индексом m, для которых формула (3) предусматривает нецелочисленное значение n. С другой стороны, целевые поддиапазоны с индексом m, для которых формула (3) предусматривает целочисленное значение индекса n, могут определяться из единичного исходного поддиапазона с индексом n (с использованием формулы (5)). Иными словами, предлагается, чтобы можно было добиваться достаточно высокого качества гармонического преобразования путем использования модулей 603-3 и 603-4 обработки поддиапазонов, которые оба используют нелинейную обработку блока поддиапазонов с двумя входными поддиапазонами, как это описано в контексте фиг. 3. Кроме того, управляющий сигнал 104, в случае его присутствия, может одновременно влиять на работу всех трех модулей обработки поддиапазонов. В альтернативном варианте или в дополнение, если все три модуля 503-2, 603-3, 603-4 используют ненулевой параметр геометрического взвешивания амплитуды , то переходная характеристика многократного преобразователя может быть улучшена по сравнению со случаем .

Фиг. 7 иллюстрирует пример переходной характеристики для растягивания во времени в два раза на основе блока поддиапазонов. Верхняя панель изображает входной сигнал, который представляет собой атаку кастаньет, дискретизированную на частоте 16 кГц. Система на основе конструкции по фиг. 1 спроектирована с 64-полосным блоком 101 анализирующих QMF-фильтров и 64-полосным блоком 103 синтезирующих QMF-фильтров. Модуль 102 обработки поддиапазонов сконфигурирован для реализации растягивания поддиапазонов с коэффициентом S=2, без преобразования поддиапазонов (Q=1) и с прямым взаимно однозначным отображением исходных поддиапазонов в целевые поддиапазоны. Шаг анализа блоков р=1, и радиус размера блоков R=7, то есть длина блока L=15 дискретных значений поддиапазонов, что соответствует 15∙64=960 дискретных значений в области сигнала (временной области). Окно w представляет собой степенное косинусное окно, т.е. косинус, возведенный во вторую степень. Средняя панель фиг. 7 изображает выходной сигнал растягивания во времени тогда, когда модулем 102 применяется чистая модификация фазы, т.е. для нелинейной обработки блоков по формуле (5) используется параметр взвешивания . Нижняя панель изображает выходной сигнал растягивания во времени тогда, когда для нелинейной обработки блоков по формуле (5) используется параметр геометрического взвешивания амплитуды . Как видно, переходная характеристика в последнем случае значительно улучшена. В частности, видно, что обработка поддиапазонов с использованием параметра взвешивания приводит к артефактам 701, которые существенно уменьшаются (см. ссылочную позицию 702) при обработке поддиапазонов с использованием параметра взвешивания .

В настоящем документе описаны способ и система для HFR на основе гармонического преобразования и/или растягивания во времени. Способ и система могут реализовываться со значительно сниженной вычислительной сложностью по сравнению с традиционной HFR на основе гармонического преобразования, но при этом они обеспечивают высококачественное гармоническое преобразование как для стационарных, так и для кратковременных непериодических сигналов. Описанная HFR на основе гармонического преобразования использует нелинейную обработку поддиапазонов на блочной основе. Для адаптации нелинейной обработки поддиапазонов к типу сигнала, например, к кратковременному непериодическому или непереходному сигналу, предлагается использование зависящих от сигнала управляющих данных. Кроме того, с целью улучшения переходной характеристики гармонического преобразования с использованием нелинейной обработки поддиапазонов на блочной основе предлагается использование параметра геометрического взвешивания. Наконец, для HFR на основе гармонического преобразования описаны способ и система с низкой сложностью, которые используют для гармонического преобразования и HFR-обработки единственную пару блоков анализирующих/синтезирующих фильтров. Описанные способы и системы могут использоваться в различных декодирующих устройствах, например, мультимедийных приемниках, внешних видео-/аудиоустройствах, мобильных устройствах, аудиопроигрывателях, видеопроигрывателях и т.д.

Способы и системы для преобразования и/или высокочастотной реконструкции, и/или растягивания во времени, описанные в настоящем документе, могут реализовываться как программное обеспечение, встроенное программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут быть реализованы, например, как программное обеспечение, запускаемое в процессоре цифровой обработки сигналов или микропроцессоре. Другие компоненты могут быть реализованы, например, как аппаратное обеспечение или как интегральные микросхемы специального назначения. Сигналы, встречающиеся в описанных способах и системах могут храниться на носителях, таких как память с произвольным доступом или оптические носители данных. Они могут передаваться по сетям, таким как радиосети, спутниковые сети, беспроводные сети или проводные сети, например, интернет. Типичными устройствами, использующими способы и системы, описанные в настоящем документе, являются переносные электронные устройства или другая бытовая аппаратура, которая используется для хранения в памяти и/или воспроизведения звуковых сигналов. Способы и система также могут использоваться в компьютерных системах, например, для веб-серверов интернет, которые хранят в памяти и предоставляют для скачивания звуковые сигналы, например, музыкальные сигналы.

Изобретение относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в снижении вычислительной сложности гармонического преобразования для повышения качества звукового сигнала. Технический результат достигается за счет создания сигнала анализируемого поддиапазона, связанного с полосой частот входного звукового сигнала; извлечения кадра L входных дискретных значений из ряда комплекснозначных анализируемых дискретных значений; применения входного шага блока к ряду комплекснозначных анализируемых дискретных значений перед извлечением следующего кадра L входных дискретных значений; определения кадра обрабатываемых дискретных значений из кадра входных дискретных значений путем определения для каждого обрабатываемого дискретного значения кадра: фазы обрабатываемого дискретного значения за счет смещения фазы соответствующего входного дискретного значения; и амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определенного входного дискретного значения; и определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений набора кадров обрабатываемых дискретных значений. 3 н. и 16 з.п. ф-лы, 7 ил.

1. Устройство обработки звука, содержащее модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона; при этом сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений в разные моменты времени, каждое из которых имеет фазу и амплитуду; при этом сигнал анализируемого поддиапазона связан с полосой частот входного звукового сигнала; при этом модуль обработки поддиапазонов содержит

экстрактор блоков, сконфигурированный для повторного извлечения кадра L входных дискретных значений из ряда комплекснозначных анализируемых дискретных значений; причем длина L кадра больше единицы; и

применения входного шага блока к ряду комплекснозначных анализируемых дискретных значений, перед извлечением следующего кадра L входных дискретных значений;

таким образом генерируя набор кадров L входных дискретных значений;

модуль нелинейной обработки кадров, сконфигурированный для определения кадра обрабатываемых дискретных значений, из кадра входных дискретных значений, путем определения для каждого обрабатываемого дискретного значения кадра:

фазы обрабатываемого дискретного значения за счет смещения фазы соответствующего входного дискретного значения; и

амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определенного входного дискретного значения;

и модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров обрабатываемых дискретных значений;

при этом входной шаг блока равен одному дискретному значению, и

при этом сигнал синтезируемого поддиапазона связан с полосой частот сигнала, растянутого во времени и/или преобразованного по частоте относительно входного звукового сигнала, при этом один или более из экстрактора блоков, модуля нелинейной обработки кадров и модуля наложения и сложения реализован, по меньшей мере частично, одним или более устройствами аппаратного обеспечения.

2. Устройство обработки звука по п. 1, отличающееся тем, что экстрактор блоков сконфигурирован для понижающей дискретизации ряда комплекснозначных анализируемых дискретных значений с коэффициентом преобразования поддиапазона.

3. Устройство обработки звука по п. 1, отличающееся тем, что экстрактор блоков сконфигурирован для интерполяции двух или большего количества комплекснозначных анализируемых дискретных значений для извлечения входного дискретного значения.

4. Устройство обработки звука по п. 1, отличающееся тем, что модуль нелинейной обработки кадров сконфигурирован для определения амплитуды обрабатываемого дискретного значения как среднего значения амплитуды, соответствующего входного дискретного значения и амплитуды предварительно определенного входного дискретного значения.

5. Устройство обработки звука по п. 4, отличающееся тем, что модуль нелинейной обработки кадров сконфигурирован для определения амплитуды обрабатываемого дискретного значения как геометрического среднего значения амплитуды, соответствующего входного дискретного значения и амплитуды предварительно определенного входного дискретного значения.

6. Устройство обработки звука по п. 5, отличающееся тем, что геометрическое среднее значение определено как амплитуда соответствующего входного дискретного значения, возведенного в степень , умноженного на амплитуду предварительно определенного входного дискретного значения, возведенного в степень , при этом параметр геометрического взвешивания амплитуды является .

7. Устройство обработки звука по п. 6, отличающееся тем, что параметр геометрического взвешивания амплитуды представляет собой функцию коэффициента преобразования поддиапазона и коэффициента растягивания поддиапазона.

8. Устройство обработки звука по п. 7, отличающееся тем, что параметр геометрического взвешивания амплитуды выражается как .

9. Устройство обработки звука по п. 1, отличающееся тем, что модуль (202) нелинейной обработки кадров сконфигурирован для определения фазы обрабатываемого дискретного значения за счет смещения фазы соответствующего входного дискретного значения на величину смещения фазы, которая основана на предварительно определенном входном дискретном значении из кадра входных дискретных значений, коэффициенте преобразования и коэффициенте растягивания поддиапазона.

10. Устройство обработки звука по п. 9, отличающееся тем, что значение смещения фазы основано на предварительно определенном входном дискретном значении, умноженном на .

11. Устройство обработки звука по п. 10, отличающееся тем, что значение смещения фазы задается предварительно определенным входным дискретным значением, умноженным на , плюс параметр коррекции фазы.

12. Устройство обработки звука по п. 11, отличающееся тем, что параметр коррекции фазы определен экспериментально для ряда входных сигналов, имеющих определенные акустические свойства.

13. Устройство обработки звука по п. 1, отличающееся тем, что предварительно определенное входное дискретное значение является одинаковым для каждого обрабатываемого дискретного значения кадра.

14. Устройство обработки звука по п. 1, отличающееся тем, что предварительно определенное входное дискретное значение является центральным дискретным значением кадра входных дискретных значений.

15. Устройство обработки звука по п. 1, отличающееся тем, что модуль наложения и сложения применяет шаг блока к очередным кадрам обрабатываемых дискретных значений, причем шаг блока равен входному шагу блока, умноженному на коэффициент растягивания поддиапазона.

16. Устройство обработки звука по п. 1, отличающееся тем, что модуль обработки поддиапазонов дополнительно содержит модуль оконной обработки, который находится перед модулем наложения и сложения, и сконфигурирован для применения оконной функции к кадру обрабатываемых дискретных значений.

17. Устройство обработки звука по п. 1, отличающееся тем, что

модуль обработки поддиапазонов сконфигурирован для определения ряда сигналов синтезируемого поддиапазона из ряда сигналов анализируемого поддиапазона;

ряд сигналов анализируемого поддиапазона связан с рядом полос частот входного звукового сигнала; и

ряд сигналов синтезируемого поддиапазона связан с рядом полос частот сигнала, растянутого во времени и/или преобразованного по частоте относительно входного звукового сигнала.

18. Способ, выполняемый устройством обработки звука, для генерирования сигнала синтезируемого поддиапазона, связанного с полосой частот сигнала, растянутого во времени и/или преобразованного по частоте относительно входного звукового сигнала, при этом способ включает:

создание сигнала анализируемого поддиапазона, связанного с полосой частот входного звукового сигнала; при этом сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений в разные моменты времени, каждое из которых имеет фазу и амплитуду;

извлечение кадра L входных дискретных значений из ряда комплекснозначных анализируемых дискретных значений; причем длина L кадра больше единицы;

применение входного шага блока к ряду комплекснозначных анализируемых дискретных значений перед извлечением следующего кадра L входных дискретных значений; таким образом генерируя набор кадров входных дискретных значений;

определение кадра обрабатываемых дискретных значений из кадра входных дискретных значений путем определения для каждого обрабатываемого дискретного значения кадра:

фазы обрабатываемого дискретного значения за счет смещения фазы соответствующего входного дискретного значения; и

амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определенного входного дискретного значения; и

определение сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений набора кадров обрабатываемых дискретных значений;

при этом входной шаг блока равен одному дискретному значению, и

при этом одно или более из создания сигнала анализируемого поддиапазона, извлечения кадра, применения входного шага блока, определения кадра обрабатываемых дискретных значений и определения сигнала синтезируемого поддиапазона реализовано, по меньшей мере частично, одним или более устройствами аппаратного обеспечения.

19. Энергонезависимый носитель информации, содержащий программу, реализованную программно адаптированную для исполнения на процессоре и для выполнения этапов способа по п. 18 при осуществлении на устройстве обработки звука.