Область техники, к которой относится изобретение
Настоящее изобретение относится к способу расширения ширины полосы для расширения ширины полосы частот аудиосигнала.
Уровень техники
Технология расширения полосы частот (BWE) аудиосигнала типично используется в современных аудиокодеках для того, чтобы эффективно кодировать широкополосный аудиосигнал на низкой скорости передачи битов. Ее принцип состоит в том, чтобы использовать параметрическое представление исходного высокочастотного (HF) содержимого для того, чтобы синтезировать аппроксимацию HF из низкочастотных (LF) данных.
Фиг. 1 является схемой, показывающей такой аудиокодек на основе BWE-технологии. В его кодере широкополосный аудиосигнал сначала разделяется (101 и 103) на LF- и HF-часть; LF-часть кодируется (104) с сохранением формы сигнала; между тем, взаимосвязь между LF-частью и HF-частью анализируется (102) (типично, в частотной области) и описывается посредством набора HF-параметров. Вследствие описания параметров HF-части, мультиплексированные (105) данные формы сигнала и HF-параметры могут быть переданы в декодер на низкой скорости передачи в битах.
В декодере LF-часть сначала декодируется (107). Чтобы аппроксимировать исходную HF-часть, декодированная LF-часть преобразуется (108) в частотную область, результирующий LF-спектр модифицируется (109), чтобы сформировать HF-спектр, согласно некоторым декодированным HF-параметрам. HF-спектр дополнительно уточняется (110) посредством постобработки, также согласно некоторым декодированным HF-параметрам. Уточненный HF-спектр преобразуется (111) во временную область и комбинируется с задержанной (112) LF-частью. Как результат, конечный восстановленный широкополосный аудиосигнал выводится.
Следует отметить, что в BWE-технологии один важный этап заключается в том, чтобы формировать HF-спектр из LF-спектра (109). Существует несколько способов реализовывать это, к примеру, копирование LF-части в HF-местоположение, нелинейная обработка или повышающая дискретизация.
Наиболее известным аудиокодеком, который использует такую BWE-технологию, является MPEG-4 HE-AAC, в котором BWE-технология указывается как SBR (репликация полос спектра) или SBR-технология, при этом HF-часть формируется посредством простого копирования LF-части в QMF-представлении в спектральное HF-местоположение.
Такая операция спектрального копирования, также называемая наложением, является простой и, как оказалось, эффективной для большинства случаев. Тем не менее, на очень низких скоростях передачи битов (например, <20 кбит/с в монорежиме), когда только небольшие ширины полосы LF-части являются достижимыми, такая SBR-технология может приводить к ощущениям нежелательных акустических артефактов, таких как неразборчивость и неприятный тембр (например, см. непатентный документ (NPL) 1).
Следовательно, чтобы не допускать таких артефактов, являющихся следствием операции зеркального отображения или копирования, представленной в сценарии кодирования с низкой скоростью передачи битов, стандартная SBR-технология совершенствуется и дополняется следующими основными изменениями (например, см. NPL 2):
(1) модификация алгоритма наложения с шаблона копирования на управляемый фазовым вокодером шаблон наложения;
(2) повышение адаптивного временного разрешения для параметров постобработки.
Как результат первой модификации (вышеуказанный документ (1)), посредством разброса LF-спектра с несколькими целочисленными множителями по существу обеспечивается непрерывность гармоник в HF. В частности, нежелательное ощущение неразборчивости вследствие эффектов биения не возникает на границе между низкой частотой и высокой частотой и между различными высокочастотными частями (например, см. NPL 1).
Так же, вторая модификация (вышеуказанный документ (2)) упрощает уточненный HF-спектр так, что он является более адаптивным к колебаниям сигнала в реплицированных полосах частот.
Поскольку новое наложение сохраняет гармоническое отношение, оно называется гармоническим расширением ширины полосы (HBE). Преимущества HBE предшествующего уровня техники по сравнению со стандартной SBR также экспериментально подтверждены для кодирования аудио с низкой скоростью передачи битов (например, см. NPL 1).
Следует отметить, что вышеуказанные две модификации влияют только на формирователь (109) HF-спектра, остальные процессы в HBE являются идентичными процессам в SBR.
Фиг. 2 является схемой, показывающей формирователь HF-спектра в HBE предшествующего уровня техники. Следует отметить, что формирователь HF-спектра включает в себя T-F-преобразование 108 и HF-восстановление 109. При условии LF-части сигнала, предположим, что его HF-спектр составляет (T-1) наложений HF-гармоник (каждый процесс наложения формирует одно HF-наложение), от второго порядка (HF-наложение с наименьшей частотой) до T-того порядка (HF-наложение с наибольшей частотой). В HBE предшествующего уровня техники все эти HF-наложения формируются независимо, путем параллельного извлечения из фазовых вокодеров.
Как показано на фиг. 2, (T-1) фазовых вокодеров (201-203) с различными коэффициентами растягивания (от 2 до k) используются для того, чтобы растягивать входную LF-часть. Растянутые выводы, с различными длинами, подвергаются полосовой фильтрации (204-206) и повторно дискретизируются (207-209), чтобы сформировать HF-наложения посредством преобразования растяжения времени в расширение диапазона частот. Посредством задания коэффициента растягивания в два раза превышающим коэффициент повторной дискретизации HF-наложения поддерживают гармоническую структуру сигнала и имеют двойную длину LF-части. Затем все HF-наложения совмещаются по задержке (210-212) так, что они компенсируют потенциальные различные вносимые задержки от операции повторной дискретизации. На последнем этапе все совмещенные по задержке HF-наложения суммируются и преобразуются (213) в QMF-область, чтобы сформировать HF-спектр.
При наблюдении вышеуказанного формирователя HF-спектра, он имеет большой объем вычислений. Объем вычислений, главным образом, является следствием операции растягивания во времени, реализованной посредством последовательности кратковременных преобразований Фурье (STFT) и обратных кратковременных преобразований Фурье (ISTFT), принятых в синфазных вокодерах, и последующей QMF-операции, применяемой к растянутой во времени HF-части.
Общее введение по фазовому вокодеру и QMF-преобразованию описывается ниже.
Фазовый вокодер является известной технологией, которая использует преобразования в частотной области, чтобы реализовывать эффект растягивания во времени. Т.е. чтобы модифицировать временное развитие сигнала, в то время как его локальные спектральные характеристики сохраняются неизменными. Ее основной принцип описывается ниже.
Фиг. 3A и фиг. 3B являются схемами, показывающими основной принцип растягивания во времени, выполняемого посредством фазового вокодера.
Разделение аудио на перекрывающиеся блоки и переразмещение этих блоков, при этом размер перескока (временной интервал между последовательными блоками) не является одинаковым при вводе и выводе, как проиллюстрировано на фиг. 3A. Таким образом, входной размер Ra перескока меньше выходного размера Rs перескока, как результат, исходный сигнал растягивается со скоростью r, показанной в нижеприведенном уравнении 1.
Математическое выражение 1
(уравнение 1)
Как показано на фиг. 3B, переразмещенные блоки перекрываются в когерентном шаблоне, что требует преобразования в частотной области. Типично, входные блоки преобразуются в частоту, после надлежащей модификации фаз новые блоки преобразуются обратно в выходные блоки.
Согласно вышеуказанному принципу, большинство классических фазовых вокодеров приспосабливают кратковременное преобразование Фурье (STFT) в качестве преобразования в частотной области и заключают в себе явную последовательность из анализа, модификации и повторного синтеза для растягивания во времени.
QMF-гребенки преобразуют представления во временной области в совместные представления в частотно-временной области (и наоборот), которые типично используются в схемах параметрического кодирования, таких как репликация полос спектра (SBR), параметрическое стереокодирование (PS) и пространственное кодирование аудио (SAC) и т.д. Характеристика этих гребенок фильтров заключается в том, что комплексные сигналы частотной (подполосной) области эффективно избыточно дискретизируются на коэффициент два. Это обеспечивает операции постобработки сигналов подполосной области без ввода искажения от наложения спектров.
Подробнее, при условии действительного дискретного временного сигнала x(n), с помощью QMF-гребенки анализа, комплексные сигналы sk(n) подполосной области получаются с помощью нижеприведенного уравнения 2.
(уравнение 2)
В уравнении 2, p(n) представляет импульсную характеристику прототипного фильтра нижних частот порядка L-1, α представляет фазовый параметр, M представляет число полос частот, и k является индексом подполосы, где k=0, 1, ..., M-1.
Следует отметить, что аналогично STFT QMF-преобразование также является совместным частотно-временным преобразованием. Это означает, что оно предоставляет как частотный спектр сигнала, так и изменение в частотном спектре со временем, при этом частотный спектр представляется посредством подполосы, а временная шкала представляется посредством временного кванта, соответственно.
На фиг.4 показана диаграмма схемы QMF-анализа и синтеза.
Подробно, как проиллюстрировано на фиг. 4, данный реальный аудиоввод разделяется на последовательные перекрывающиеся блоки с длиной L и размером перескока M (фиг. 4(a)), процесс QMF-анализа преобразует каждый блок в один временной квант, состоящий из M комплексных подполосных сигналов. Посредством этого, L входных выборок временной области преобразуются в L комплексных QMF-коэффициентов, состоящих из L/M временных квантов и M подполос частот (фиг. 4(b)). Каждый временной квант, комбинированный с предыдущими (L/M-1) временных квантов, синтезируется посредством процесса QMF-синтеза, чтобы восстанавливать M реальных выборок временной области (фиг. 4(c)) с практически идеальным восстановлением.
Список библиографических ссылок
Непатентные документы
NPL 1. Frederik Nagel и Sascha Disch "A harmonic bandwidth extension method for audio codecs", IEEE Int. Conf. on Acoustics, Speech and Signal Proc., 2009.
NPL 2. Max Neuendorf и др. "A novel scheme for low bitrate unified speech and audio coding - MPEG RM0", 126 съезд AES, Мюнхен, Германия, май 2009 года.
Раскрытие изобретения
Техническая проблема
Проблемой, ассоциированной с HBE-технологией предшествующего уровня техники, является большой объем вычислений. Традиционный фазовый вокодер, принятый в HBE для растягивания сигнала, имеет больший объем вычислений вследствие применения последовательных FFT и IFFT, т.е. последовательных FFT (быстрых преобразований Фурье) и IFFT (обратных быстрых преобразования Фурье); и последующее QMF-преобразование увеличивает объем вычислений за счет применения к растянутому во времени сигналу. Кроме того, в общем, попытка уменьшать объем вычислений приводит к потенциальной проблеме ухудшения качества.
Таким образом, настоящее изобретение создано с учетом вышеуказанной проблемы и имеет целью предоставить способ расширения ширины полосы, обеспечивающий уменьшение объема вычислений при расширении ширины полосы, а также подавление ухудшения качества в расширенной ширине полосы.
Решение проблемы
Для достижения вышеуказанной цели, способ расширения ширины полосы согласно аспекту настоящего изобретения является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап сдвига основного тона для формирования сигналов со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот; этап формирования высоких частот для формирования высокочастотного QMF-спектра посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
Соответственно, высокочастотный QMF-спектр формируется посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области. Следовательно, можно избегать традиционной комплексной обработки (последовательно повторяемых FFT и IFFT и последующего QMF-преобразования) для формирования высокочастотного QMF-спектра, и тем самым объем вычислений может быть уменьшен. Следует отметить, что аналогично STFT, само QMF-преобразование предоставляет совместное частотно-временное разрешение, таким образом, QMF-преобразование заменяет последовательность STFT и ISTFT. Помимо этого, в способе расширения ширины полосы согласно аспекту настоящего изобретения, сигналы со сдвинутым основным тоном формируются посредством применения взаимно различных коэффициентов сдвига вместо только одного коэффициента сдвига, и растягивание во времени выполняется для этих сигналов, можно подавлять ухудшение качества высокочастотного QMF-спектра.
Кроме того, этап формирования высоких частот включает в себя второй этап преобразования для преобразования сигналов со сдвинутым основным тоном в QMF-область, чтобы сформировать QMF-спектры; этап формирования наложений гармоник для растягивания QMF-спектров вдоль временного измерения с различными коэффициентами растягивания, чтобы сформировать наложения гармоник; этап совмещения для совмещения по времени наложений гармоник; и этап суммирования для суммирования совмещенных по времени наложений гармоник.
Кроме того, этап формирования наложений гармоник включает в себя этап вычисления для вычисления амплитуды и фазы QMF-спектра из QMF-спектров; этап фазовой манипуляции для манипуляции фазы, чтобы сформировать новую фазу; и этап формирования QMF-коэффициентов для комбинирования амплитуды с новой фазой, чтобы сформировать новый набор QMF-коэффициентов.
Кроме того, на этапе фазовой манипуляции, новая фаза формируется на основе исходной фазы всего набора QMF-коэффициентов.
Кроме того, на этапе фазовой манипуляции, манипуляция выполняется многократно для наборов QMF-коэффициентов, и на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов формируются.
Кроме того, на этапе фазовой манипуляции, различная манипуляция выполняется в зависимости от индекса QMF-подполосы.
Кроме того, на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов суммируются с перекрытием, чтобы сформировать QMF-коэффициенты, соответствующие расширенному во времени аудиосигналу.
В частности, растягивание во времени в способе расширения ширины полосы согласно аспекту настоящего изобретения имитирует способ растягивания на основе STFT посредством модификации фаз входных QMF-блоков и суммирования с перекрытием модифицированных QMF-блоков с различным размером перескока. С точки зрения объема вычислений, по сравнению с последовательными FFT и IFFT в способе на основе STFT, такое растягивание во времени имеет меньший объем вычислений посредством заключения в себе только одного преобразования на основе QMF-анализа. Следовательно, можно дополнительно уменьшить объем вычислений при расширении ширины полосы.
Кроме того, для достижения вышеуказанной цели, способ расширения ширины полосы в другом аспекте настоящего изобретения является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап формирования наложения гармоник низшего порядка для формирования наложения гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области; этап формирования высоких частот для (i) формирования сигналов, подвергнутые сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формирования высокочастотного QMF-спектра из сигналов; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
Соответственно, высокочастотный QMF-спектр формируется посредством растягивания во времени и сдвига основного тона сигнала ширины полосы низких частот в QMF-области. Следовательно, можно избегать традиционной комплексной обработки (последовательно повторяемых FFT и IFFT и последующего QMF-преобразования) для формирования высокочастотного QMF-спектра, и тем самым объем вычислений может быть уменьшен. Помимо этого, поскольку сигналы со сдвинутым основным тоном формируются посредством применения взаимно различных коэффициентов сдвига вместо только одного коэффициента сдвига, и высокочастотный QMF-спектр формируется из этих сигналов, можно подавлять ухудшение качества высокочастотного QMF-спектра. Кроме того, поскольку высокочастотный QMF-спектр формируется из наложения гармоник низшего порядка, можно дополнительно подавлять ухудшение качества высокочастотного QMF-спектра.
Следует отметить, что в способе расширения ширины полосы согласно другому аспекту настоящего изобретения сдвиг основного тона также работает в QMF-области. Это служит для разложения LF QMF-подполосы в наложении низшего порядка на несколько подподполос для более высокого частотного разрешения, затем преобразовывать эти под-подполосы в QMF-подполосу высоких частот, чтобы сформировать спектр наложения высшего порядка.
Кроме того, этап формирования наложения гармоник низшего порядка включает в себя второй этап преобразования для преобразования сигнала ширины полосы низких частот во второй низкочастотный QMF-спектр; этап полосовой фильтрации для полосовой фильтрации второго низкочастотного QMF-спектра; и этап растягивания для растягивания второго низкочастотного QMF-спектра после полосовой фильтрации вдоль временного измерения.
Кроме того, второй низкочастотный QMF-спектр имеет более точное частотное разрешение, чем первый низкочастотный QMF-спектр.
Кроме того, этап формирования высоких частот включает в себя: этап формирования наложения для полосовой фильтрации наложения гармоник низшего порядка, чтобы сформировать наложения после полосовой фильтрации; этап формирования высшего порядка для преобразования каждого из наложений после полосовой фильтрации в высокую частоту, чтобы сформировать наложения гармоник высшего порядка; и этап суммирования для суммирования наложений гармоник высшего порядка с наложением гармоник низшего порядка.
Кроме того, этап формирования высшего порядка включает в себя этап разбиения для разбиения каждой QMF-подполосы в каждом из наложений после полосовой фильтрации на несколько под-подполос; этап преобразования для преобразования под-подполос в QMF-подполосы высоких частот; и этап комбинирования для комбинирования результатов преобразования под-подполос.
Кроме того, этап преобразования включает в себя этап разделения для разделения под-подполос каждой из QMF-подполос на часть полосы задерживания и часть полосы пропускания; этап вычисления частот для вычисления транспонированных центральных частот под-подполос для части полосы пропускания с помощью зависимого от порядка наложения коэффициента; первый этап преобразования для преобразования под-подполос для части полосы пропускания в QMF-подполосы высоких частот согласно центральным частотам; и второй этап преобразования для преобразования под-подполос для части полосы задерживания в QMF-подполосы высоких частот согласно под-подполосам частот части полосы пропускания.
Следует отметить, что в способе расширения ширины полосы согласно настоящему изобретению операции (этапы) процесса, описанные выше, могут комбинироваться любым образом.
Такой способ расширения ширины полосы, аналогично способу согласно настоящему изобретению, является HBE-технологией с небольшим объемом вычислений, которая использует формирователь HF-спектра с уменьшенным объемом вычислений, который вносит наибольший объем вычислений в HBE. Чтобы уменьшить объем вычислений, в способе расширения ширины полосы согласно аспекту настоящего изобретения, используется новый фазовый вокодер на основе QMF, который выполняет растягивание во времени в QMF-области с небольшим объемом вычислений. Кроме того, в способе расширения ширины полосы согласно другому аспекту настоящего изобретения, чтобы не допускать возможных проблем качества, ассоциированных с решением, используется новый алгоритм сдвига основного тона, который формирует наложения гармоник высшего порядка из наложения низшего порядка в QMF-области.
Цель этого изобретения состоит в создании наложения на основе QMF, при котором растягивание во времени, или растягивание во времени и расширение диапазона частот могут выполняться в QMF-области, чтобы далее создать HBE-технологию с небольшим объемом вычислений, управляемую посредством фазового вокодера на основе QMF.
Следует отметить, что настоящее изобретение может быть реализовано не только как такой способ расширения ширины полосы, но также и как устройство расширения ширины полосы и интегральная схема, которые расширяют полосу частот аудиосигнала с использованием способа расширения ширины полосы, как программа, инструктирующая компьютер расширять ширину полосы частот с использованием способа расширения ширины полосы, и как носитель записи, на котором записывается программа.
Преимущества изобретения
Способ расширения ширины полосы в настоящем изобретении разрабатывает новую технологию гармонического расширения ширины полосы (HBE). Суть технологии заключается в том, чтобы выполнять растягивание во времени или растягивание во времени и сдвиг основного тона в QMF-области, а не в традиционной FFT-области и временной области, соответственно. По сравнению с HBE-технологией предшествующего уровня техники, способ расширения ширины полосы в настоящем изобретении может предоставлять хорошее качество звука и значительно уменьшать объем вычислений.
Краткое описание чертежей
Фиг. 1 показывает схему аудиокодека с использованием обычной BWE-технологии.
Фиг. 2 показывает формирователь HF-спектра с сохранением гармонической структуры.
Фиг. 3A является диаграммой, показывающей принцип растягивания во времени посредством переразмещения аудиоблоков.
Фиг. 3B является диаграммой, показывающей принцип растягивания во времени посредством переразмещения аудиоблоков.
Фиг. 4 является диаграммой, показывающей схему QMF-анализа и синтеза.
Фиг. 5 является блок-схемой способа расширения ширины полосы в первом варианте осуществления настоящего изобретения.
Фиг. 6 является схемой формирователя HF-спектра в первом варианте осуществления настоящего изобретения.
Фиг. 7 является схемой аудиодекодера в первом варианте осуществления настоящего изобретения.
Фиг. 8 является схемой изменения временной шкалы сигнала на основе QMF-преобразования в первом варианте осуществления настоящего изобретения.
Фиг. 9 является диаграммой, показывающей способ растягивания во времени в QMF-области в первом варианте осуществления настоящего изобретения.
Фиг. 10 является диаграммой, показывающей сравнение эффектов растягивания для синусоидального тонального сигнала с различными коэффициентами растягивания.
Фиг. 11 является схемой, показывающей эффект рассогласования и разброса по энергии в HBE-схеме.
Фиг. 12 является блок-схемой способа расширения ширины полосы во втором варианте осуществления настоящего изобретения.
Фиг. 13 является схемой формирователя HF-спектра во втором варианте осуществления настоящего изобретения.
Фиг. 14 является схемой аудиодекодера во втором варианте осуществления настоящего изобретения.
Фиг. 15 является схемой, показывающей способ расширения диапазона частот в QMF-области во втором варианте осуществления настоящего изобретения.
Фиг. 16 является графиком, показывающим распределение спектра под-подполосы во втором варианте осуществления настоящего изобретения.
Фиг. 17 является диаграммой, показывающей взаимосвязь между компонентом ширины полосы и компонентом полосы задерживания для синусоиды в комплексной QMF-области во втором варианте осуществления настоящего изобретения.
Осуществление изобретения
Следующие варианты осуществления являются просто иллюстративными для принципов различных изобретательских уровней. Следует понимать, что изменения сведений, описанных в данном документе, должны быть очевидными для специалистов в данной области техники.
Первый вариант осуществления
В дальнейшем в этом документе описываются HBE-схема (способ гармонического расширения ширины полосы) и декодер (аудиодекодер или устройство декодирования аудио) с ее использованием в настоящем изобретении.
Фиг. 5 является блок-схемой последовательности операций, показывающей способ расширения ширины полосы в настоящем варианте осуществления.
Этот способ расширения ширины полосы является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап сдвига основного тона для формирования сигналов со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот; этап формирования высоких частот для формирования высокочастотного QMF-спектра посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
Следует отметить, что первый этап (S11) преобразования выполняется посредством модуля 1406 T-F-преобразования, который должен быть описан ниже, этап сдвига основного тона (S12) выполняется посредством модулей 504-506 дискретизации и модуля 1403 временной повторной дискретизации, которые должны быть описаны ниже. Помимо этого, этап (S13) формирования высоких частот выполняется посредством модулей 507-509 QMF-преобразования, фазовых вокодеров 510-512, модуля 404 QMF-преобразования и модуля 1405 растягивания во времени, которые должны быть описаны ниже. Кроме того, этап (S15) формирования полной ширины полосы выполняется посредством модуля 1410 сложения, который должен быть описан ниже.
Кроме того, этап формирования высоких частот включает в себя второй этап преобразования для преобразования сигналов со сдвинутым основным тоном в QMF-область, чтобы сформировать QMF-спектры; этап формирования наложений гармоник для растягивания QMF-спектров вдоль временного измерения с различными коэффициентами растягивания, чтобы сформировать наложения гармоник; этап совмещения для совмещения по времени наложений гармоник; и этап суммирования для суммирования совмещенных по времени наложений гармоник.
Следует отметить, что второй этап преобразования выполняется посредством модулей 507-509 QMF-преобразования и модуля 1404 QMF-преобразования, а этап формирования наложений гармоник выполняется посредством фазовых вокодеров 510-512 и модуля 1405 растягивания во времени. Кроме того, этап совмещения выполняется посредством модулей 513-515 совмещения по задержке, которые должны быть описаны, а этап суммирования выполняется посредством модуля 516 сложения, который должен быть описан ниже.
В HBE-схеме в настоящем варианте осуществления, формирователь HF-спектра в HBE-технологии разрабатывается с процессами сдвига основного тона во временной области, после которых выполняются управляемые вокодером процессы растягивания во времени в QMF-области.
Фиг. 6 является схемой, показывающей формирователь HF-спектра, используемый в HBE-схеме в настоящем варианте осуществления. Формирователь HF-спектра включает в себя: модули 501, 502, ..., и 503 полосовой фильтрации; модули 504, 505, ..., и 506 дискретизации; модули 507, 508, ..., и 509 QMF-преобразования; фазовые вокодеры 510, 511, ..., и 512; модули 513, 514, ..., и 515 совмещения по задержке; и модуль 516 сложения.
Данный ввод LF-ширины полосы сначала подвергается полосовой фильтрации (501-503) и повторно дискретизируется (504-506), чтобы сформировать части HF-ширины полосы. Эти части HF-ширины полосы преобразуются (507-509) в QMF-область, результирующие выводы QMF растягиваются во времени (510-512) с коэффициентами растягивания, в два раза превышающими соответствующие коэффициенты повторной дискретизации. Растянутые HF-спектры совмещаются по задержке (513-515) так, что они компенсируют потенциальные различные вносимые задержки от процесса повторной дискретизации, и суммируются (516), чтобы сформировать конечный HF-спектр. Следует отметить, что каждый из вышеприведенных номеров 501-516 в круглых скобках обозначает составляющий элемент формирователя HF-спектра.
При сравнении схемы в настоящем варианте осуществления со схемой предшествующего уровня техники (фиг. 2) можно видеть, что основные отличия состоят в том, что 1) большее число QMF-преобразований применяется; и 2) операция растягивания во времени выполняется в QMF-области, а не в FFT-области. Подробная операция растягивания во времени в QMF-области описывается ниже с дополнительными сведениями.
Фиг. 7 является схемой, показывающей декодер, приспосабливающий формирователь HF-спектра в настоящем варианте осуществления. Декодер (устройство декодирования аудио) включает в себя модуль 1401 демультиплексирования, модуль 1402 декодирования, модуль 1403 временной повторной дискретизации, модуль 1404 QMF-преобразования и модуль 1405 растягивания во времени, Следует отметить, что, в настоящем варианте осуществления, модуль 1401 демультиплексирования соответствует модулю отделения, который отделяет кодированный сигнал ширины полосы низких частот от кодированной информации (потока битов). Кроме того, модуль 1409 обратного T-F-преобразования соответствует модулю обратного преобразования, который преобразует сигнал полной ширины полосы из сигнала области гребенки квадратурных зеркальных фильтров (QMF) в сигнал временной области.
С помощью декодера, поток битов демультиплексируется (1401) сначала, LF-часть сигнала затем декодируется (1402). Чтобы аппроксимировать исходную HF-часть, декодированная LF-часть (сигнал ширины полосы низких частот) повторно дискретизируется (1403) во временной области, чтобы сформировать HF-часть, результирующая HF-часть преобразуется (1404) в QMF-область, результирующий HF QMF-спектр растягивается (1405) вдоль временного направления, растянутый HF-спектр дополнительно уточняется (1408) посредством постобработки согласно некоторым декодированным HF-параметрам. Между тем, декодированная LF-часть также преобразуется (1406) в QMF-область. В конечном счете, уточненный HF-спектр комбинируется (1410) с задержанным (1407) LF-спектром, чтобы сформировать QMF-спектр полной ширины полосы. Результирующий QMF-спектр полной ширины полосы преобразуется (1409) обратно во временную область, чтобы выводить декодированный широкополосный аудиосигнал. Следует отметить, что каждый из вышеприведенных номеров 1401-1410 в круглых скобках обозначает составляющий элемент декодера.
Способ растягивания во времени
Процесс растягивания во времени HBE-схемы в настоящем варианте осуществления служит для аудиосигнала, его растянутый во времени сигнал может формироваться посредством QMF-преобразования, фазовых манипуляций и обратного QMF-преобразования. В частности, этап формирования наложений гармоник включает в себя: этап вычисления для вычисления амплитуды и фазы QMF-спектра из QMF-спектров; этап фазовой манипуляции для манипуляции фазы, чтобы сформировать новую фазу; и этап формирования QMF-коэффициентов для комбинирования амплитуды с новой фазой, чтобы сформировать новый набор QMF-коэффициентов. Следует отметить, что каждый из этапа вычисления, этапа фазовой манипуляции и этапа формирования QMF-коэффициентов выполняется посредством модуля 702, который должен быть описан ниже.
Фиг. 8 является схемой, показывающей процесс растягивания во времени на основе QMF, выполняемый посредством модуля 1404 QMF-преобразования и модуля 1405 растягивания во времени. Во-первых, аудиосигнал преобразуется в набор QMF-коэффициентов, X(m,n), посредством преобразования на основе QMF-анализа (701). Эти QMF-коэффициенты модифицируются в модуле 702. При этом для каждого QMF-коэффициента вычисляются его амплитуда r и фаза a, X(m,n)=r(m,n)·exp(j·a(m,n)). Фазы a(m,n) модифицируются (манипулируются) в a˜(m,n). Модифицированные фазы a˜ и исходные амплитуды r составляют новый набор QMF-коэффициентов. Например, новый набор QMF-коэффициентов показывается в нижеприведенном уравнении 3.
(уравнение 3)
В завершение, новый набор QMF-коэффициентов преобразуется (703) в новый аудиосигнал, соответствующий исходному аудиосигналу с модифицированной временной шкалой.
Алгоритм растягивания во времени на основе QMF в HBE-схеме в настоящем варианте осуществления имитирует алгоритм растягивания на основе STFT: 1) стадия модификации использует принцип мгновенной частоты, чтобы модифицировать фазы; 2), чтобы уменьшать объем вычислений, суммирование с перекрытием выполняется в QMF-области с использованием свойства аддитивности QMF-преобразования.
Ниже приводится подробное описание алгоритма растягивания во времени в HBE-схеме в настоящем варианте осуществления.
При условии, что имеется 2L действительных сигналов временной области, x(n), которые должны быть растянуты с коэффициентом s растягивания, после стадии QMF-анализа имеется 2L комплексных QMF-коэффициентов, состоящих из 2L/M временных квантов и M подполос частот.
Следует отметить, что аналогично способу растягивания на основе STFT, преобразованные QMF-коэффициенты являются необязательными согласно аналитическому кодированию с взвешиванием перед фазовой манипуляцией. В этом изобретении, это может быть реализовано либо во временной области, либо в QMF-области.
Во временной области, сигнал временной области, разумеется, может быть кодирован с взвешиванием, как показано в нижеприведенном уравнении 4.
(уравнение 4)
Mod(.) в уравнении 4 означает операцию модуляции.
В QMF-области, эквивалентная операция может быть реализована посредством:
1) Преобразования аналитического окна кодирования h(n) (с длиной L) в QMF-область, чтобы сформировать H(v,k) с L/M временных квантов и M подполос частот.
2) Упрощения QMF-представления окна кодирования, как показано в нижеприведенном уравнении 5.
(уравнение 5)
Здесь, v=0, ..., L/M-1.
3) Выполнения аналитического кодирования со взвешиванием в QMF-области посредством X(m,k)=X(m,k)∙H0(w), где w=mod(m,L/M). (Следует отметить, что mod(.) означает операцию модуляции).
Кроме того, в HBE-схеме в настоящем варианте осуществления, на этапе фазовой манипуляции, новая фаза формируется на основе исходной фазы всего набора QMF-коэффициентов. В частности, в настоящем варианте осуществления, в качестве подробной реализации растягивания во времени, фазовая манипуляция выполняется на основе QMF-блока.
Фиг. 9 является схемой способа растягивания во времени в QMF-области.
Эти исходные QMF-коэффициенты могут обрабатываться как L+1 перекрывающихся QMF-блоков с размером перескока в 1 временной квант и длиной блока в L/M временных квантов, как проиллюстрировано на (a) на фиг. 9.
Чтобы обеспечивать отсутствие эффекта скачка фазы, каждый исходный QMF-блок модифицируется, чтобы сформировать новый QMF-блок с модифицированными фазами, и фазы новых QMF-блоков должны быть непрерывными в точке µ·s для перекрывающих (µ)-го и (µ+1)-го нового QMF-блока, что эквивалентно непрерывности в объединенных точках µ·M·s (µЄN) во временной области.
Кроме того, в HBE-схеме в настоящем варианте осуществления, на этапе фазовой манипуляции, манипуляция выполняется многократно для наборов QMF-коэффициентов, и на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов формируются. В этом случае, фазы модифицируются на основе блоков согласно нижеприведенным критериям.
Допустим, что исходные фазы являются φu(k) для данных QMF-коэффициентов X(u,k), для u=0, ..., 2L/M-1 и k=0, ..., M-1. Каждый исходный QMF-блок последовательно модифицируется в новый QMF-блок, как проиллюстрировано на (b) на фиг. 9, на котором новые QMF-блоки проиллюстрированы с различными шаблонами заполнения.
Далее, Ψu (n)(k) представляет информацию фазы n-го нового QMF-блока для n=1, ..., L/M, u=0, ..., L/M-1 и k=0, 1, ..., M-1. Эти новые фазы, в зависимости от того, переразмещается или нет новый блок, разрабатываются следующим образом.
Допустим, что первый новый QMF-блок X(1)(u,k) (u=0, ..., L/M-1) не переразмещается. Таким образом, информация Ψu (1)(k) новой фазы является идентичной φu(k). Т.е. Ψu (1)(k)=φu(k) для u=0, ..., L/M-1 и k=0, 1, ..., M-1.
Для второго нового QMF-блока X (2)(u,k) (u=0, ..., L/M-1), он переразмещается с размером перескока в s временных квантов (например, в 2 временных кванта, как проиллюстрировано на фиг. 9). В этом случае, мгновенные частоты в начале блока должны быть согласованы с мгновенными частотами в s-этом временном кванте в первом новом QMF-блоке X(1)(u,k). Таким образом, мгновенные частоты для первого временного кванта X(2)(u,k) должны являться идентичными мгновенным частотам для второго временного кванта в исходном QMF-блоке. Т.е. Ψ0 (2)(k)=Ψ0 (1)(k)+s Δφ1(k).
Кроме того, поскольку фазы для первого временного кванта изменяются, оставшиеся фазы регулируются соответствующим образом так, что они сохраняют исходные мгновенные частоты. Т.е. Ψu (2)(k)=Ψu-1 (2)(k)+Δφu+1(k) для u=1, ..., L/M-1, где Δφu(k)=φu(k)-φu-1(k) представляет исходные мгновенные частоты для исходного QMF-блока.
Для последующих блоков для синтеза применяются идентичные правила фазовой модификации. Т.е. для m-го нового QMF-блока (m=3, ..., L/M), его фазы Ψu (m)(k) определяются, как показано ниже.
Ψ0 (m)(k)=Ψ0 (m-1)(k)+s Δφm-1(k)
Ψu (m)(k)=Ψu-1 (m)(k)+Δφm+u-1(k) для u=1, ..., L/M-1.
При объединении с информацией амплитуды исходных блоков, вышеуказанные новые фазы приводят к новым L/M блоков.
Здесь, в HBE-схеме в настоящем варианте осуществления, на этапе фазовой манипуляции, различная манипуляция выполняется в зависимости от индекса QMF-подполосы. В частности, вышеуказанный способ фазовой модификации может проектироваться по-разному для нечетных подполос частот и четных подполос частот QMF, соответственно.
Это основано на этом, что для тонального сигнала его мгновенная частота в QMF-области ассоциируется с разностью фаз, Δφ(n,k)=φ(n,k)-φ(n-1,k), по-разному.
Более конкретно, найдено, что мгновенная частота ω(n,k) может быть определена посредством нижеприведенного уравнения 6.
(уравнение 6)
В уравнении 6 princ arg(α) означает главный угол α, заданный посредством нижеприведенного уравнения 7.
(уравнение 7)
В этом уравнении mod(a, b) обозначает модуляцию a по b.
Как результат, например, в вышеуказанном способе фазовой модификации, разность фаз может быть выведена так, как показано в нижеприведенном уравнении 8.
(уравнение 8)
Кроме того, в HBE-схеме в настоящем варианте осуществления, на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов суммируются с перекрытием, чтобы сформировать QMF-коэффициенты, соответствующие расширенному во времени аудиосигналу. В частности, чтобы уменьшить объем вычислений, операция QMF-синтеза не применяется непосредственно для каждого отдельного нового QMF-блока. Вместо этого она применяется к результатам суммирования с перекрытием этих новых QMF-блоков.
Следует отметить, что аналогично способу растягивания на основе STFT, новые QMF-коэффициенты являются необязательными согласно синтетическому кодированию со взвешиванием перед суммированием с перекрытием. В настоящем варианте осуществления, аналогично процессу аналитического кодирования с взвешиванием, синтетическое кодирование со взвешиванием может быть реализовано, как показано ниже.
X(n+1)(u,k)=X(n+1)(u,k)·H0(w), где w=mod(u, L/M)
Затем, вследствие аддитивности QMF-преобразования, все новые L/M блоков могут суммироваться с перекрытием с размером перескока в s временных квантов до QMF-синтеза. Результаты суммирования с перекрытием Y(u,k) могут получаться посредством нижеприведенного уравнения.
(уравнение 9)
Здесь, n=0, ..., L/M-1, u=1, ..., L/M и k=0, ..., M-1.
Конечный аудиосигнал может формироваться посредством применения QMF-синтеза к Y(u,k), который соответствует исходному сигналу с модифицированной временной шкалой.
При сравнении способа растягивания на основе QMF в HBE-схеме в настоящем варианте осуществления со способом растягивания на основе STFT предшествующего уровня техники необходимо отметить, что внутренне присущее временное разрешение QMF-преобразования помогает значительно уменьшать объем вычислений, который может только получаться с последовательностью преобразований STFT в способе растягивания на основе STFT предшествующего уровня техники.
Следующий анализ объема вычислений показывает результат приблизительного сравнения объема вычислений посредством учета только объема вычислений, внесенного от преобразований.
При условии, что объем вычислений STFT размера L составляет log2 (L)·L, и объем вычислений преобразования на основе QMF-анализа приблизительно в два раза превышает объем вычислений FFT-преобразования, объем вычислений при преобразовании, полученный в формирователе HF-спектра предшествующего уровня техники, аппроксимируется, как показано ниже.
(уравнение 10)
В качестве сравнения, объем вычислений при преобразовании, полученный в формирователе HF-спектра в настоящем варианте осуществления, аппроксимируется, как показано в нижеприведенном уравнении 11.
(уравнение 11)
Например, при условии L=1024 и Ra=128, вышеуказанное сравнение объема вычислений может быть конкретизировано в таблице 1.
Таблица 1. Сравнение объема вычислений между HBE предшествующего уровня техники и предложенным HBE с приспособлением растягивания во времени на основе QMF в настоящем варианте осуществления
Второй вариант осуществления
В дальнейшем в этом документе подробно описывается второй вариант осуществления HBE-схемы (способа гармонического расширения ширины полосы) и декодера (аудиодекодера или устройства декодирования аудио) с ее использованием.
Следует отметить, что с принятием способа растягивания во времени на основе QMF, HBE-технология, использующая способ растягивания во времени на основе QMF, имеет гораздо меньший объем вычислений. Тем не менее, с другой стороны, принятие способа растягивания во времени на основе QMF также приводит к двум возможным проблемам, которые имеют риск ухудшения качества звука.
Во-первых, существует проблема ухудшения качества для наложения высшего порядка. Допустим, что HF-спектр состоит из (T-1) наложений с соответствующими коэффициентами растягивания в 2, 3, ..., T. Поскольку растягивание во времени на основе QMF выполняется на основе блоков, сокращенное число операций суммирования с перекрытием в наложении высшего порядка приводит к ухудшению эффекта растягивания.
Фиг. 10 является схемой, показывающей синусоидальный тональный сигнал. Верхняя секция (a) показывает эффект растягивания наложения второго порядка для чистого синусоидального тонального сигнала, растянутый вывод является в основном чистым только с несколькими другими частотными компонентами, представленными в небольших амплитудах. При этом нижняя секция (b) показывает эффект растягивания наложения четвертого порядка для идентичного синусоидального тонального сигнала.
При сравнении с (a), можно видеть то, что хотя центральная частота корректно сдвигается на (b), результирующий вывод также включает в себя некоторые другие частотные компоненты с неигнорируемой амплитудой. Это может приводить к нежелательным шумам, представленным в растянутом выводе.
Во-вторых, возможна проблема ухудшения качества для переходных сигналов. Такая проблема ухудшения качества может иметь 3 потенциальных влияющих источника.
Первый влияющий источник заключается в том, что переходный компонент может быть потерян во время повторной дискретизации. При условии переходного сигнала с импульсом Дирака, расположенным в четной выборке, для наложения четвертого порядка с прореживанием с коэффициентом 2 такой импульс Дирака исчезает в повторно дискретизированном сигнале. Как результат, результирующий HF-спектр имеет неполные переходные компоненты.
Вторым влияющим источником являются рассогласованные переходные компоненты для различных наложений. Поскольку наложения имеют различный коэффициент повторной дискретизации, импульс Дирака, расположенный в указанной позиции, может иметь несколько компонентов, расположенных в различных временных квантах в QMF-области.
Фиг. 11 является схемой, показывающей эффект рассогласования и разброса по энергии. Для ввода с импульсом Дирака (например, на фиг. 11, представленным как третья выборка, проиллюстрированная серым), после повторной дискретизации с различными коэффициентами его позиция изменяется на другие позиции. Как результат, растянутый вывод показывает перцепционно ослабленный переходный эффект.
Третий влияющий источник заключается в том, что энергии переходных компонентов неравномерно распространяются по различным наложениям. Как показано на фиг. 11, при наложении второго порядка ассоциированный переходный компонент распространяется на пятую и шестую выборки; при наложении третьего порядка - на четвертую-шестую выборки; а при наложении четвертого порядка - на пятую-восьмую выборки. Как результат, растянутый вывод имеет более слабый переходный эффект на более высокой частоте. Для некоторых критических переходных сигналов растянутый вывод даже показывает некоторые раздражающие артефакты опережающего и запаздывающего эхо.
Чтобы преодолевать вышеуказанную проблему ухудшения качества, требуется усовершенствованная HBE-технология. Тем не менее, слишком сложное решение также увеличивает объем вычислений. В настоящем варианте осуществления, способ сдвига основного тона на основе QMF используется, чтобы не допускать возможной проблемы ухудшения качества и сохранять преимущество небольшого объема вычислений.
Как подробно поясняется ниже, в HBE-схеме (способе гармонического расширения ширины полосы) в настоящем варианте осуществления, формирователь HF-спектра в HBE-технологии в настоящем варианте осуществления разрабатывается как с процессом растягивания во времени, так и сдвига основного тона в QMF-области. Кроме того, декодер (аудиодекодер или устройство декодирования аудио) с использованием HBE в настоящем варианте осуществления также должен быть описан ниже.
Фиг. 12 является блок-схемой последовательности операций, показывающей способ расширения ширины полосы в настоящем варианте осуществления.
Этот способ расширения ширины полосы является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап формирования наложения гармоник низшего порядка для формирования наложения гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области; этап формирования высоких частот для (i) формирования сигналов, подвергнутых сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формирования высокочастотного QMF-спектра из сигналов; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
Следует отметить, что первый этап преобразования выполняется посредством модуля 1508 T-F-преобразования, который должен быть описан ниже, этап формирования наложения гармоник низшего порядка выполняется посредством 1503 QMF-преобразования, модуля 1504 растягивания во времени, модуля 601 QMF-преобразования и фазового вокодера 603, которые должны быть описаны ниже. Помимо этого, этап формирования высоких частот выполняется посредством модуля 1506 сдвига основного тона, модулей 604 и 605 полосовой фильтрации, модулей 606 и 607 расширения диапазона частот и модулей 608-610 совмещения по задержке, которые должны быть описаны ниже. Кроме того, этап модификации спектра выполняется посредством модуля 1507 HF-постобработки, который должен быть описан ниже, и этап формирования полной ширины полосы выполняется посредством модуля 1512 сложения.
Кроме того, этап формирования наложения гармоник низшего порядка включает в себя второй этап преобразования для преобразования сигнала ширины полосы низких частот во второй низкочастотный QMF-спектр; этап полосовой фильтрации для полосовой фильтрации второго низкочастотного QMF-спектра; и этап растягивания для растягивания второго низкочастотного QMF-спектра после полосовой фильтрации вдоль временного измерения.
Следует отметить, что второй этап преобразования выполняется посредством модуля 601 QMF-преобразования и модуля 1503 QMF-преобразования, этап полосовой фильтрации выполняется посредством модуля 602 полосовой фильтрации, который должен поясняться ниже, а этап растягивания выполняется посредством фазового вокодера 603 и модуля 1504 растягивания во времени.
Кроме того, второй низкочастотный QMF-спектр имеет более точное частотное разрешение, чем первый низкочастотный QMF-спектр.
Кроме того, этап формирования высоких частот включает в себя: этап формирования наложения для полосовой фильтрации наложения гармоник низшего порядка, чтобы сформировать наложения после полосовой фильтрации; этап формирования высшего порядка для преобразования каждого из наложений после полосовой фильтрации в высокую частоту, чтобы сформировать наложения гармоник высшего порядка; и этап суммирования для суммирования наложений гармоник высшего порядка с наложением гармоник низшего порядка.
Следует отметить, что этап формирования наложения выполняется посредством модулей 604 и 605 полосовой фильтрации, этап формирования высшего порядка выполняется посредством модулей 606 и 607 расширения диапазона частот, а этап суммирования выполняется посредством модуля 611 сложения, который должен поясняться ниже.
Фиг. 13 является схемой, показывающей формирователь HF-спектра в HBE-схеме в настоящем варианте осуществления. Формирователь HF-спектра включает в себя модуль 601 QMF-преобразования, модули 602, 604, ..., и 605 полосовой фильтрации, фазовый вокодер 603, модуль 606, ..., и 607 расширения диапазона частот, модули 608, 609, ..., и 610 совмещения по задержке и модуль 611 сложения.
Данный ввод LF-ширины полосы сначала преобразуется (601) в QMF-область, ее QMF-спектр после полосовой фильтрации (602) растягивается во времени (603), так что длина удваивается. Растянутый QMF-спектр подвергается полосовой фильтрации (604-605), чтобы сформировать (T-2) спектров с ограниченной полосой частот. Результирующие спектры с ограниченной полосой частот переводятся (606-607) в спектры ширины полосы более высоких частот. Эти HF-спектры совмещаются по задержке (608-610) так, что они компенсируют потенциальные различные вносимые задержки от процесса перевода спектра, и суммируются (611), чтобы сформировать конечный HF-спектр. Следует отметить, что каждый из вышеприведенных номеров 601-611 в круглых скобках обозначает составляющий элемент формирователя HF-спектра.
Следует отметить, что по сравнению с QMF-преобразованием (108 на фиг. 1), QMF-преобразование в HBE-схеме в настоящем варианте осуществления (модуле 601 QMF-преобразования) имеет более точное частотное разрешение, и снижение временного разрешения должно компенсироваться посредством последующей операции растягивания.
При сравнении HBE-схемы в настоящем варианте осуществления со схемой предшествующего уровня техники (фиг. 2), можно видеть то, что основные отличия следующие: 1) аналогично первому варианту осуществления, процесс растягивания во времени осуществляется в QMF-области, а не в FFT-области; 2) наложения высшего порядка формируются на основе наложения второго порядка; 3) процесс сдвига основного тона также осуществляется в QMF-области, не во временной области.
Фиг. 14 является схемой, показывающей декодер, приспосабливающий формирователь HF-спектра в HBE-схеме в настоящем варианте осуществления. Декодер (устройство декодирования аудио) включает в себя модуль 1501 демультиплексирования, модуль 1502 декодирования, модуль 1503 QMF-преобразования, модуль 1504 растягивания во времени, модуль 1505 совмещения по задержке, модуль 1506 сдвига основного тона, модуль 1507 HF-постобработки, модуль 1508 T-F-преобразования, модуль 1509 совмещения по задержке, модуль 1510 обратного T-F-преобразования и модуль 1511 сложения. Следует отметить, что, в настоящем варианте осуществления, модуль 1501 демультиплексирования соответствует модулю отделения, который отделяет кодированный сигнал ширины полосы низких частот от кодированной информации (потока битов). Кроме того, модуль 1510 обратного T-F-преобразования соответствует модулю обратного преобразования, который преобразует сигнал полной ширины полосы из сигнала области гребенки квадратурных зеркальных фильтров (QMF) в сигнал временной области.
С помощью декодера, поток битов сначала демультиплексируется (1501), затем LF-часть сигнала декодируется (1502). Чтобы аппроксимировать исходную HF-часть, декодированная LF-часть (сигнал ширины полосы низких частот) преобразуется (1503) в QMF-области, чтобы сформировать LF QMF-спектр. Результирующий LF QMF-спектр растягивается (1504) вдоль временного направления, чтобы сформировать HF-наложение низшего порядка. HF-наложение низшего порядка подвергается сдвигу основного тона (1506), чтобы сформировать наложения высшего порядка. Результирующие наложения высшего порядка комбинируются с задержанным (1505) HF-наложением низшего порядка, чтобы сформировать HF-спектр, HF-спектр дополнительно уточняется (1507) посредством постобработки согласно некоторым декодированным HF-параметрам. Декодированная LF-часть также преобразуется (1508) в QMF-область. В конечном счете, уточненный HF-спектр комбинируется с задержанным (1509) LF-спектром, чтобы сформировать (1512) QMF-спектр полной ширины полосы. Результирующий QMF-спектр полной ширины полосы преобразуется (1510) обратно во временную область, чтобы выводить декодированный широкополосный аудиосигнал. Следует отметить, что каждый из номеров 1501-1512 обозначает составляющий элемент декодера.
Способ сдвига основного тона
Алгоритм сдвига основного тона на основе QMF (способ расширения диапазона частот в QMF-области) для модуля 1506 сдвига основного тона в HBE-схеме в настоящем варианте осуществления разрабатывается посредством разложения LF QMF-подполос на несколько под-подполос, транспонирования этих под-подполос в HF-подполосы и комбинирования результирующих HF-подполос, чтобы сформировать HF-спектр. В частности, этап формирования высшего порядка включает в себя этап разбиения для разбиения каждой QMF-подполосы в каждом из наложений после полосовой фильтрации на несколько под-подполос; этап преобразования для преобразования под-подполос в QMF-подполосы высоких частот; и этап комбинирования для комбинирования результатов преобразования под-подполос.
Следует отметить, что этап разбиения соответствует этапу 1 (901-903), который должен быть описан ниже, этап преобразования соответствует этапам 2 и 3 (904-909), которые должны быть описаны ниже, а этап комбинирования соответствует этапу 4 (910), который должен быть описан ниже.
Фиг. 15 является схемой, показывающей такой алгоритм сдвига основного тона на основе QMF. При условии спектра после полосовой фильтрации наложения второго порядка, HF-спектр наложения t-ого (t>2) порядка может быть восстановлен посредством: 1) разложения (этап 1: 901-903) данного LF-спектра, т.е. каждая QMF-подполоса частот в LF-спектре раскладывается на несколько QMF-под-подполос; 2) масштабирования (этап 2: 904-906) центральных частот этих под-подполос с коэффициентом t/2; 3) преобразования (этап 3: 907-909) этих под-подполос в HF-подполосы; 4) суммирование всех преобразованных под-подполос, чтобы сформировать HF-подполосы (этап 4: 910).
Для этапа 1 несколько способов доступны для разложения QMF-подполосы на несколько под-подполос, чтобы получить лучшее частотное разрешение. Например, так называемые M-ые полосовые фильтры приняты в кодеке по стандарту объемного звучания MPEG. В этом предпочтительном варианте осуществления изобретения разложение на подполосы реализуется посредством применения дополнительного набора экспоненциально модулированной гребенки фильтров, заданной посредством нижеприведенного уравнения 12.
(уравнение 12)
Здесь, q=-Q, -Q+1, ..., 0, 1, ..., Q-1 и n=0, 1, ..., N (где n0 является целочисленной константой, N является порядком гребенки фильтров).
С применением вышеуказанной гребенки фильтров, данный подполосный сигнал, например, k-тый подполосный сигнал x(n,k), разлагается на 2Q подподполосных сигналов согласно нижеприведенному уравнению 13.
(уравнение 13)
Здесь, q=-Q, -Q+1, ..., 0, 1, ..., Q-1. В уравнении 'conv(.)' обозначает функцию свертки.
При таком дополнительном комплексном преобразовании частотный спектр одной подполосы дополнительно разбивается на 2Q субгармонических частотных спектров. С точки зрения частотного разрешения, если QMF-преобразование имеет полосу частот M, его ассоциированное подполосное частотное разрешение составляет Π/M, и его подподполосное частотное разрешение уточняется до Π/(2Q·M). Помимо этого, общая система, показанная в уравнении 14, является независимой от времени, т.е. свободной от наложения спектров, несмотря на использование понижающей дискретизации и повышающей дискретизации.
(уравнение 14)
Следует отметить, что вышеуказанная дополнительная гребенка фильтров объединяется в нечетный стек (коэффициент q+0,5), т.е. под-подполосы, центрированные вокруг DC-значения, отсутствуют. Наоборот, для четного числа Q центральные частоты под-подполос являются симметричными вокруг нуля.
Фиг. 16 является графиком, показывающим распределение спектра под-подполосы. В частности, фиг. 16 показывает такое распределение спектра гребенки фильтров для случая Q=6. Назначение нечетного стека состоит в упрощении последующего комбинирования под-подполос.
Для этапа 2 масштабирование на основе центральных частот может упрощаться посредством рассмотрения характеристик избыточной дискретизации комплексного QMF-преобразования.
Следует отметить, что в комплексной QMF-области, поскольку ширины полосы смежных подполос частот перекрывают друг друга, частотный компонент в зоне перекрытия должен возникать в обеих подполосах частот (см. WO 2006048814).
Как результат, частотное масштабирование может упрощаться до половины объема вычислений посредством вычисления только частот для под-подполос, размещающихся в ширине полосы, т.е. части положительных частот для четной подполосы или части отрицательных частот для нечетной подполосы.
Подробнее, kLF-ая подполоса частот разделяется на 2Q под-подполос. Другими словами, x(n,kLF) разделяется, как показано в нижеприведенном уравнении 15.
(уравнение 15)
Затем, чтобы формировать наложение t-того порядка, центральные частоты этих под-подполос масштабируются с использованием нижеприведенного уравнения 16.
(уравнение 16)
Здесь, q=-Q, -Q+1, ..., -1, когда kLF является нечетным, или q=0, 1, ..., Q-1, когда kLF является четным.
Для этапа 3 преобразование под-подполос в HF-подполосу также должно учитывать характеристики комплексного QMF-преобразования. В настоящем варианте осуществления, такой процесс преобразования выполняется на двух этапах, сначала следует прямо преобразовывать все подподполосы в ширине полосы в HF-подполосу; во-вторых, на основе вышеуказанного результата преобразования следует преобразовывать все подподполосы в полосе задерживания в HF-подполосу. В частности, этап преобразования включает в себя этап разделения для разделения под-подполос каждой из QMF-подполос на часть полосы задерживания и часть полосы пропускания; этап вычисления частот для вычисления транспонированных центральных частот под-подполос для части полосы пропускания с помощью зависимого от порядка наложения коэффициента; первый этап преобразования для преобразования под-подполос для части полосы пропускания в QMF-подполосы высоких частот согласно центральным частотам; и второй этап преобразования для преобразования под-подполос для части полосы задерживания в QMF-подполосы высоких частот согласно под-подполосам частот части полосы пропускания.
Для пояснения вышеуказанного, предпочтительно проанализировать, какая взаимосвязь существует для пары положительной частоты и отрицательной частоты для идентичного компонента сигнала и их ассоциированных индексов подполос частот.
Как упомянуто выше, в комплексной QMF-области синусоидальный спектр имеет положительную и отрицательную частоту. В частности, синусоидальный спектр имеет одну из этих частот в ширине полосы одной QMF-подполосы, а другую из частот - в полосе задерживания смежной подполосы. С учетом того, что QMF-преобразование является преобразованием с объединением в нечетный стек, такая пара компонентов сигнала может быть проиллюстрирована на фиг. 17.
Фиг. 17 показывает взаимосвязь между компонентом ширины полосы и компонентом полосы задерживания для синусоиды в комплексной QMF-области.
Здесь серая область обозначает полосу задерживания подполосы. Для произвольного синусоидального сигнала (сплошной линией) в ширине полосы подполосы, ее часть с наложением спектров (пунктирной линией) находится в полосе задерживания смежной подполосы (два спаренных частотных компонента ассоциированы посредством линии с двойными стрелками).
Синусоидальный сигнал с частотой f0 показан в нижеприведенном уравнении 17.
(уравнение 17)
Компонент ширины полосы синусоидального сигнала с вышеописанной частотой f0 размещается в k-той подполосе частот, если нижеприведенное уравнение 18 удовлетворяется.
(уравнение 18)
Помимо этого, его компонент полосы задерживания размещается в k˜-той подполосе частот, если нижеприведенное уравнение 19 удовлетворяется.
(уравнение 19)
Если подполоса частот раскладывается на 2Q под-подполос, вышеуказанное отношение разрабатывается с более высоким частотным разрешением, как показано на фиг. 20 ниже.
(уравнение 20)
Следовательно, в настоящем варианте осуществления, чтобы преобразовать подподполосы в полосе задерживания в HF-подполосу, необходимо ассоциировать их с результатами преобразования для этих под-подполос в ширине полосы. Такая операция обосновывается тем, чтобы удостовериться, что пары частот для компонентов LF сохраняются при их сдвиге с повышением до компонентов HF.
С этой целью сначала проще всего преобразовать под-подполосы в ширине полосы в HF-подполосу. Посредством рассмотрения центральных частот частотно-масштабированных подподполос и частотного разрешения QMF-преобразования, функция преобразования может быть описана посредством m(k,q), как показано в нижеприведенном уравнении 21.
(уравнение 21)
Здесь, q=-Q, -Q+1, ..., -1, если kLF является нечетным, или q=0, 1, ..., Q-1, если kLF является четным. Здесь коэффициент, показанный в нижеприведенном уравнении 22, обозначает операцию округления, чтобы получать ближайшие целые числа в x в направлении минус бесконечности.
(уравнение 22)
Помимо этого, вследствие повышающего масштабирования (t/2>1), возможно, что одна HF-подполоса частот имеет несколько источников преобразования под-подполос. Т.е. возможно то, что m(k,q1)=m(k,q2) или m(k1,q1)=m(k2,q2). Следовательно, HF-подполоса частот может быть комбинацией нескольких под-подполос LF-подполос, как показано в уравнении 23.
(уравнение 23)
Здесь, q=-Q, -Q+1, ..., -1, если kLF является нечетным, или q=0, 1, ..., Q-1, если kLF является четным.
Во-вторых, согласно вышеуказанной взаимосвязи между парами частоты и индексами подполос частот, функция преобразования для этих подподполос в полосе задерживания может устанавливаться следующим образом.
При рассмотрении LF-подполосы kLF, функции преобразования под-подполос в ширине полосы уже определены посредством первого этапа следующим образом: m(kLF,-Q), m(kLF,-Q+1), ..., m(kLF,-1) для нечетного kLF, и m(kLF,0), m(kLF,1), ..., m(kLF,Q-1) для четного kLF, затем ассоциированная часть полосы задерживания ширины полосы может преобразовываться согласно нижеприведенному уравнению 24.
(уравнение 24)
Здесь, "condition a" означает, когда kLF является четным, и нижеприведенное уравнение 25 является четным, или когда kLF является нечетным, и нижеприведенное уравнение 26 является четным.
(уравнение 25)
(уравнение 26)
Помимо этого, как описано выше, нижеприведенное уравнение 27 обозначает операцию округления, чтобы получать ближайшие целые числа в x в направлении минус бесконечности.
(уравнение 27)
Результирующая HF-подполоса частот является комбинацией всех ассоциированных LF-под-подполос, как показано в нижеприведенном уравнении 28.
(уравнение 28)
Здесь, q=-Q, -Q+1, ..., -1, если kLF является четным, или q=0, 1, ..., Q-1, если kLF является нечетным.
В конечном счете, все результаты преобразования в ширине полосы и полосе задерживания комбинируются так, что они формирует HF-подполосу, как показано в нижеприведенном уравнении 29.
(уравнение 29)
Следует отметить, что вышеуказанный способ сдвига основного тона в QMF-области является выгодным как в отношении ухудшения качества на высоких частотах, так и в отношении возможной проблемы обработки в переходном режиме.
Во-первых, все наложения теперь имеют идентичный коэффициент растягивания (наименьший), который значительно уменьшает высокочастотные шумы (являющиеся результатом этих некорректных компонентов сигнала, сформированных во время растягивания во времени). Во-вторых, все влияющие источники для ухудшения в переходном режиме исключатся. Т.е. отсутствует процесс повторной дискретизации во временной области; идентичные коэффициенты растягивания используются для всех наложений, что, по сути, исключает возможность рассогласования.
Помимо этого, следует отметить, что настоящий вариант осуществления имеет определенный недостаток в частотном разрешении. Следует отметить, что вследствие приспособления под-подполосной фильтрации, частотное разрешение увеличивается с Π/M до Π/(2Q·M), но оно по-прежнему является более приблизительным, чем точное частотное разрешение повторной дискретизации во временной области (Π/L). Однако с учетом того, что человеческое ухо имеет меньшую чувствительность к компоненту высокочастотного сигнала, оказывается, что результат сдвига основного тона, сформированный посредством настоящего варианта осуществления, перцепционно не отличается от результата, сформированного посредством способа повторной дискретизации.
Помимо вышеуказанного, по сравнению с HBE-схемой в первом варианте осуществления, HBE-схема в настоящем варианте осуществления также предоставляет бонус в виде еще меньшего объема вычислений, поскольку только одно наложение низшего порядка требует операции растягивания во времени.
С другой стороны, такое уменьшение объема вычислений может быть примерно анализировано посредством рассмотрения только объема вычислений, внесенного от преобразований.
Согласно допущениям при вышеуказанном анализе объема вычислений, объем вычислений при преобразовании, полученный в формирователе HF-спектра в настоящем варианте осуществления, аппроксимируется, как показано ниже.
(уравнение 30)
Следовательно, таблица 1 может быть обновлена следующим образом.
Таблица 2. Сравнение объема вычислений между HBE в настоящем варианте осуществления и HBE-схемой в первом варианте осуществления
Настоящее изобретение является новой HBE-технологией для кодирования аудио с низкой скоростью передачи битов. С использованием этой технологии широкополосный сигнал может быть восстановлен на основе сигнала ширины полосы низких частот посредством формирования его высокочастотной (HF) части через растягивание во времени и расширение диапазона частот низкочастотной (LF) части в QMF-области. По сравнению с HBE-технологией предшествующего уровня техники, настоящее изобретение предоставляет сравнимое качество звука и гораздо меньший объем вычислений. Эта технология может быть развернута в таких вариантах применения, как мобильные телефоны, телеконференцсвязь и т.д., в которых аудиокодек работает на низкой скорости передачи в битах с небольшим объемом вычислений.
Следует отметить, что каждый из функциональных блоков в блок-схемах (фиг. 6, 7, 13, 14 и т.д.) типично реализуется как LSI, которая является интегральной схемой. Функциональные блоки могут быть реализованы как отдельные независимые кристаллы или как однокристальная схема, которая включает в себя часть или все из них.
Хотя LSI упоминается в данном документе, существуют случаи, когда обозначения "IC", "системная LSI", "супер-LSI", "ультра-LSI" используются согласно отличиям в степени интеграции.
Помимо этого, средство для интеграции схемы не ограничено LSI, и реализация со специализированной схемой или процессором общего назначения также доступна. Также допустимо использовать программируемую пользователем вентильную матрицу (FPGA), которая дает возможность программирования после того, как LSI изготовлена, и реконфигурируемый процессор, в котором соединения и настройки схемных элементов в LSI являются реконфигурируемыми.
Кроме того, если технология изготовления интегральных схем, которая заменяет LSI, появляется в ходе совершенствования полупроводниковой технологии или другой производной технологии, эта технология, разумеется, может быть использована для того, чтобы выполнять интеграцию функциональных блоков.
Кроме того, из соответствующих функциональных блоков, модуль, который сохраняет данные, которые должны кодироваться или декодироваться, может быть осуществлен в отдельной структуре без включения в однокристальную схему.
Промышленная применимость
Настоящее изобретение относится к новой технологии гармонического расширения ширины полосы (HBE) для кодирования аудио с низкой скоростью передачи битов. С помощью этой технологии, широкополосный сигнал может быть восстановлен на основе сигнала ширины полосы низких частот посредством формирования его высокочастотной (HF) части через растягивание во времени и расширение диапазона частот низкочастотной (LF) части в QMF-области. По сравнению с HBE-технологией уровня техники, настоящее изобретение предоставляет сравнимое качество звука и гораздо меньший объем вычислений. Эта технология может быть развернута в таких вариантах применения, как мобильные телефоны, телеконференцсвязь и т.д., в которых аудиокодек работает на низкой скорости передачи в битах при небольшом объеме вычислений.
Список условных обозначений
501-503, 602, 604, 605 - модуль полосовой фильтрации
504-506 - модуль дискретизации
507-509, 601, 1404, 1505 - модуль QMF-преобразования
510-512, 603 - фазовый вокодер
513-515, 608-610, 1407, 1505, 1509 - модуль совмещения по задержке
516, 611, 1410, 1511, 1512 - модуль сложения
606, 607 - модуль расширения диапазона частот
1401, 1501 - модуль демультиплексирования
1402, 1502 - модуль декодирования
1403 - модуль временной повторной дискретизации
1405, 1504 - модуль растягивания во времени
1406, 1508 - модуль T-F-преобразования
1409, 1510 - модуль обратного T-F-преобразования
1506 - модуль сдвига основного тона
Изобретение относится к средствам расширения ширины полосы. Технический результат заключается в обеспечении возможности уменьшения объема вычислений при расширении ширины полосы и подавления ухудшения качества в ширине полосы, которая должна быть расширена. Согласно способу расширения ширины полосы сигнал ширины полосы низких частот преобразуется в QMF-область, чтобы сформировать первый низкочастотный QMF-спектр; сигналы со сдвинутым основным тоном формируются посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот; формируется высокочастотный QMF-спектр посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области; высокочастотный QMF-спектр модифицируется и модифицированный высокочастотный QMF-спектр комбинируется с первым низкочастотным QMF-спектром. 8 н. и 11 з.п. ф-лы, 2 табл., 18 ил.
1. Способ расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутый способ содержит:
первый этап преобразования, на котором преобразуют сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
этап сдвига основного тона, на котором формируют сигналы со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот;
этап формирования высоких частот, на котором формируют высокочастотный QMF-спектр посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области;
этап модификации спектра, на котором модифицируют высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
этап формирования полной ширины полосы, на котором формируют сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
2. Способ расширения ширины полосы по п. 1,
в котором упомянутый этап формирования высоких частот включает в себя:
второй этап преобразования, на котором преобразуют сигналы со сдвинутым основным тоном в QMF-область, чтобы сформировать QMF-спектры;
этап формирования наложений гармоник, на котором растягивают QMF-спектры вдоль временного измерения с различными коэффициентами растягивания, чтобы сформировать наложения гармоник;
этап совмещения, на котором совмещают по времени наложения гармоник; и
этап суммирования, на котором суммируют совмещенные по времени наложения гармоник.
3. Способ расширения ширины полосы по п. 2,
в котором упомянутый этап формирования наложений гармоник включает в себя:
этап вычисления, на котором вычисляют амплитуду и фазу QMF-спектра из QMF-спектров;
этап фазовой манипуляции, на котором выполняют манипуляцию фазы, чтобы сформировать новую фазу; и
этап формирования QMF-коэффициентов, на котором комбинируют амплитуду с новой фазой, чтобы сформировать новый набор QMF-коэффициентов.
4. Способ расширения ширины полосы по п. 3,
в котором на упомянутом этапе фазовой манипуляции новая фаза формируется на основе исходной фазы всего набора QMF-коэффициентов.
5. Способ расширения ширины полосы по одному из пп. 3 и 4,
в котором на упомянутом этапе фазовой манипуляции манипуляция выполняется многократно для наборов QMF-коэффициентов, и
на упомянутом этапе формирования QMF-коэффициентов формируются новые наборы QMF-коэффициентов.
6. Способ расширения ширины полосы по п. 3,
в котором на упомянутом этапе фазовой манипуляции выполняется различная манипуляция в зависимости от индекса QMF-подполосы.
7. Способ расширения ширины полосы по п. 5,
в котором на упомянутом этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов суммируются с перекрытием, чтобы сформировать QMF-коэффициенты, соответствующие расширенному во времени аудиосигналу.
8. Способ расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутый способ содержит:
первый этап преобразования, на котором преобразуют сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
этап формирования наложения гармоник низшего порядка, на котором формируют наложение гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области;
этап формирования высоких частот, на котором (i) формируют сигналы, подвергнутые сдвигу основного тона посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формируют высокочастотный QMF-спектр из этих сигналов;
этап модификации спектра, на котором модифицируют высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
этап формирования полной ширины полосы, на котором формируют сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
9. Способ расширения ширины полосы по п. 8,
в котором упомянутый этап формирования наложения гармоник низшего порядка включает в себя:
второй этап преобразования, на котором преобразуют сигнал ширины полосы низких частот во второй низкочастотный QMF-спектр;
этап полосовой фильтрации, на котором выполняют полосовую фильтрацию второго низкочастотного QMF-спектра; и
этап растягивания, на котором растягивают второй низкочастотный QMF-спектр после полосовой фильтрации вдоль временного измерения.
10. Способ расширения ширины полосы по п. 9,
в котором второй низкочастотный QMF-спектр имеет более точное частотное разрешение, чем первый низкочастотный QMF-спектр.
11. Способ расширения ширины полосы по любому из пп. 8, 9 и 10,
в котором упомянутый этап формирования высоких частот включает в себя:
этап формирования наложения, на котором выполняют полосовую фильтрацию наложения гармоник низшего порядка, чтобы сформировать наложения после полосовой фильтрации;
этап формирования высшего порядка, на котором отображают каждое из наложений после полосовой фильтрации в высокую частоту, чтобы сформировать наложения гармоник высшего порядка; и
этап суммирования, на котором суммируют наложения гармоник высшего порядка с наложением гармоник низшего порядка.
12. Способ расширения ширины полосы по п. 11,
в котором упомянутый этап формирования высшего порядка включает в себя:
этап разбиения, на котором разбивают каждую QMF-подполосу в каждом из наложений после полосовой фильтрации на несколько подподполос;
этап отображения, на котором отображают подподполосы в QMF-подполосы высоких частот; и
этап комбинирования, на котором комбинируют результаты отображения подподполос.
13. Способ расширения ширины полосы по п. 12,
в котором упомянутый этап отображения включает в себя:
этап разделения, на котором разделяют подподполосы каждой из QMF-подполос на часть полосы задерживания и часть полосы пропускания;
этап вычисления частот, на котором вычисляют транспонированные центральные частоты подподполос для части полосы пропускания с помощью зависимого от порядка наложения коэффициента;
первый этап отображения, на котором отображают подподполосы для части полосы пропускания в QMF-подполосы высоких частот согласно центральным частотам; и
второй этап отображения, на котором отображают подподполосы для части полосы задерживания в QMF-подполосы высоких частот согласно подподполосам части полосы пропускания.
14. Устройство расширения ширины полосы, которое формирует сигнал полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутое устройство расширения ширины полосы содержит:
первый модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
модуль сдвига основного тона, выполненный с возможностью формировать сигналы со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот;
модуль формирования высоких частот, выполненный с возможностью формировать высокочастотный QMF-спектр посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
15. Устройство расширения ширины полосы, которое формирует сигнал полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутое устройство расширения ширины полосы содержит:
первый модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
модуль формирования наложения гармоник низшего порядка, выполненный с возможностью формировать наложение гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области;
модуль формирования высоких частот, выполненный с возможностью (i) формировать сигналы, подвергнутые сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формировать высокочастотный QMF-спектр из этих сигналов;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
16. Интегральная схема, которая формирует сигнал полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутая интегральная схема содержит:
первый модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
модуль сдвига основного тона, выполненный с возможностью формировать сигналы со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот;
модуль формирования высоких частот, выполненный с возможностью формировать высокочастотный QMF-спектр посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
17. Интегральная схема, которая формирует сигнал полной ширины полосы из сигнала ширины полосы низких частот, причем упомянутая интегральная схема содержит:
первый модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр;
модуль формирования наложения гармоник низшего порядка, выполненный с возможностью формировать наложение гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области;
модуль формирования высоких частот, выполненный с возможностью (i) формировать сигналы, подвергнутые сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формировать высокочастотный QMF-спектр из этих сигналов;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности; и
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.
18. Устройство декодирования аудио, содержащее:
модуль отделения, выполненный с возможностью отделять кодированный сигнал ширины полосы низких частот от кодированной информации;
модуль декодирования, выполненный с возможностью декодировать кодированный сигнал ширины полосы низких частот;
модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот, сформированный посредством декодирования упомянутым модулем декодирования, в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать низкочастотный QMF-спектр;
модуль сдвига основного тона, выполненный с возможностью формировать сигналы со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сформированному сигналу ширины полосы низких частот;
модуль формирования высоких частот, выполненный с возможностью формировать высокочастотный QMF-спектр посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности;
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с низкочастотным QMF-спектром; и
модуль обратного преобразования, выполненный с возможностью преобразовывать сигнал полной ширины полосы из сигнала области гребенки квадратурных зеркальных фильтров (QMF) в сигнал временной области.
19. Устройство декодирования аудио, содержащее:
модуль отделения, выполненный с возможностью отделять кодированный сигнал ширины полосы низких частот от кодированной информации;
модуль декодирования, выполненный с возможностью декодировать кодированный сигнал ширины полосы низких частот;
модуль преобразования, выполненный с возможностью преобразовывать сигнал ширины полосы низких частот, сформированный посредством декодирования упомянутым модулем декодирования, в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать низкочастотный QMF-спектр;
модуль формирования наложения гармоник низшего порядка, выполненный с возможностью формировать наложение гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области;
модуль формирования высоких частот, выполненный с возможностью (i) формировать сигналы, подвергнутые сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формировать высокочастотный QMF-спектр из этих сигналов;
модуль модификации спектра, выполненный с возможностью модифицировать высокочастотный QMF-спектр, чтобы удовлетворить условиям высокочастотной энергии и тональности;
модуль формирования полной ширины полосы, выполненный с возможностью формировать сигнал полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с низкочастотным QMF-спектром; и
модуль обратного преобразования, выполненный с возможностью преобразовывать сигнал полной ширины полосы из сигнала области гребенки квадратурных зеркальных фильтров (QMF) в сигнал временной области.
| WO 2006048814 A1, 11.05.2006 | |||
| JP 2001521648 A, 06.11.2001 | |||
| JP 2009163257 A, 23.07.2009 | |||
| JPS 63273898 A, 10.11.1988 | |||
| WO 2009070387 A1, 04.06.2009 | |||
| US 2009271204 A1, 29.10.2009 | |||
| СПОСОБЫ И УСТРОЙСТВО ДЛЯ ПЕРЕДАЧИ С ИСПОЛЬЗОВАНИЕМ МНОЖЕСТВА НЕСУЩИХ | 2004 |
|
RU2372748C2 |
