ГАРМОНИЧЕСКОЕ ПРЕОБРАЗОВАНИЕ, УСОВЕРШЕНСТВОВАННОЕ ПЕРЕКРЕСТНЫМ ПРОИЗВЕДЕНИЕМ Российский патент 2013 года по МПК G10L21/02 

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

Данное изобретение относится к системам звукового кодирования, использующим способ гармонического преобразования для высокочастотной реконструкции (HFR).

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Технологии высокочастотной реконструкции, такие как технология репликации спектральных полос (SBR), позволяют значительно улучшить эффективность кодирования традиционных кодеков воспринимаемых цифровых аудиосигналов. В сочетании с перспективным звуковым кодированием MPEG-4 (ААС) она образует чрезвычайно эффективный аудиокодек, который уже используется в системах ХМ Satellite Radio и Digital Radio Mondiale. Комбинация ААС и SBR называется aacPlus. Она является частью стандарта MPEG-4, где именуется High Efficiency ААС Profile. В общем, технология HFR может сочетаться с любым кодеком воспринимаемых цифровых звуковых сигналов в порядке совместимости сверху вниз и снизу вверх, что, таким образом, предоставляет возможность осуществления модернизации уже установленных систем вещания, таких как система MPEG Layer-2, используемая в системе Eureka DAB. Способы HFR-преобразования также могут объединяться с вокодерами, допуская широкополосные речевые сигналы при сверхнизких скоростях цифрового потока.

Основополагающей идеей, лежащей в основе HRF, является наблюдение, что между характеристиками высокочастотного диапазона сигнала и характеристиками низкочастотного диапазона того же сигнала, как правило, существует сильная корреляция. Таким образом, хорошее приближение к представлению высокочастотного диапазона оригинального входного сигнала может достигаться путем преобразования сигнала из низкочастотного диапазона в высокочастотный диапазон.

Концепция преобразования была установлена в документе WO 98/57436 как способ воссоздания высокочастотного диапазона звукового сигнала из диапазона с меньшей частотой. С использованием этой концепции можно получить значительную экономию скорости битового потока при кодировании звуковых и/или речевых сигналов. В нижеследующем описании отсылка будет производиться к кодированию звуковых сигналов, однако следует учитывать, что описанные способы и системы равнозначно применимы для кодирования речевых сигналов и унифицированного кодирования звуковых и речевых сигналов (USAC).

В системе кодирования звуковых сигналов на основе HFR сигнал низкочастотного диапазона передается в базовый кодировщик формы сигнала, и более высокие частоты регенерируются на стороне декодера с использованием преобразования сигнала низкочастотного диапазона и дополнительной информации, которая, как правило, кодируется с чрезвычайно низкими скоростями битового потока и описывает форму целевого спектра. Для низких скоростей битового потока, где полоса пропускания базового кодированного сигнала является узкой, возрастающую важность приобретает воссоздание высокого диапазона, т.е. высокочастотного диапазона звукового сигнала, с приятными для восприятия характеристиками. Ниже упоминается два варианта способов реконструкции гармонических частот, где первый именуется гармоническим преобразованием, а второй - модуляцией сигнала с одной боковой полосой.

Принцип гармонического преобразования, определенный в документе WO 98/57436, заключается в том, что синусоида с частотой ω преобразуется в синусоиду с частотой Тω, где Т>1 - целое число, определяющее порядок преобразования. Привлекательной особенностью гармонического преобразования является то, что оно растягивает исходный частотный диапазон в целевой частотный диапазон с кратностью, равной порядку преобразования, т.е. с кратностью, равной Т. Гармоническое преобразование хорошо выполняется для сложного музыкального материала. Кроме того, гармоническое преобразование проявляет низкие частоты перехода, т.е. большой высокочастотный диапазон выше частоты перехода может генерироваться из относительно небольшого низкочастотного диапазона ниже частоты перехода.

В отличие от гармонического преобразования, HFR на основе модуляции сигнала с одной боковой полосой (SSB) преобразует синусоиду с частотой ω в синусоиду с частотой ω+Δω, где Δω - фиксированное смещение частоты. Наблюдалось, что для заданного базового сигнала с низким диапазоном частот в результате SSB-преобразования может возникать диссонирующий затухающий артефакт. Также следует учитывать, что для низкой частоты перехода, т.е. для малого исходного диапазона частот, гармоническое преобразование для заполнения требуемого целевого диапазона частот требует меньшего количества фрагментов, чем преобразование на основе SSB. Например, если требуется заполнить высокочастотный диапазон (ω, 4ω], то используемое гармоническое преобразование с Т=4 может заполнить этот частотный диапазон из диапазона частот $$\frac{1}{4}\omega$$ , ω. С другой стороны, преобразование на основе SSB с использованием того же низкочастотного диапазона должно использовать смещение частоты $$\text{Δ}\omega =\frac{3}{4}\omega$$ , и для заполнения высокочастотного диапазона (ω, 4ω] необходимо четырехкратное повторение процесса.

С другой стороны, как недавно указано в документе WO 02/052545 А1, гармоническое преобразование обладает недостатками для сигналов с выраженной периодической структурой. Такие сигналы представляют собой суперпозиции гармонически связанных синусоид с частотами Ω, 2Ω, 3Ω, …, где Ω - основная частота. При гармоническом преобразовании порядка Т выходные синусоиды имеют частоты TΩ, 2TΩ, 3TΩ, …, что в случае Т>1 представляет собой лишь строгое подмножество требуемого полного гармонического ряда. В выражении результирующего качества звука, как правило, будет восприниматься «фантомный» основной тон, соответствующий преобразованной основной частоте TΩ. Часто гармоническое преобразование приводит в «металлическому» характеру звучания кодированного и декодированного звуковых сигналов. Данную ситуацию можно в некоторой степени смягчить путем добавления к HFR нескольких порядков преобразования T=2, 3, …, T_max, но этот способ является сложным в вычислительном отношении, если необходимо избежать большинства провалов в спектре.

Альтернативное решение, позволяющее избежать появления «фантомных» основных тонов при использовании гармонического преобразования, представлено в документе WO 02/052545 А1. Решение заключается в использовании двух типов преобразования, т.е. традиционного гармонического преобразования и специального «импульсного преобразования». Описанный способ предлагает переключение на специальное «импульсное преобразование» для тех частей звукового сигнала, которые, как обнаруживается, являются периодическими и имеют характер последовательности импульсов. Трудность, связанная с данным подходом, заключается в том, что применение «импульсного преобразования» к сложному музыкальному материалу часто снижает его качество в сравнении с гармоническим преобразованием на основе блока фильтров высокого разрешения. Поэтому механизмы обнаружения должны регулироваться достаточно консервативно так, чтобы импульсное преобразование не использовалось для сложного материала. Речь и музыкальные инструменты с одним основным тоном неизбежно будут в некоторых случаях классифицироваться как комплексные сигналы, запуская этим гармоническое преобразование и, таким образом, приводя к потере гармоник. Кроме того, если переключение происходит в середине сигнала с одним основным тоном, или сигнала с основным тоном, доминирующим на более слабом сложном фоне, само переключение между двумя способами транспонирования, имеющими отличающиеся свойства заполнения спектра, будет генерировать слышимые артефакты.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Данное изобретение предусматривает способ и систему для заполнения гармонического ряда, возникающего в результате гармонического преобразования периодического сигнала. Преобразование в частотной области включает этап отображения нелинейно модифицированных сигналов поддиапазонов из блока анализирующих фильтров в выбранные поддиапазоны блока синтезирующих фильтров. Нелинейная модификация включает модификацию фаз, или вращение фаз, которая в области блока комплексных фильтров может быть получена по степенному закону с последующей коррекцией амплитуды. В то время как на текущем уровне техники преобразование отдельно модифицирует один анализируемый поддиапазон за раз, данное изобретение предлагает добавлять нелинейную комбинацию, по меньшей мере, двух различных анализируемых поддиапазонов к каждому синтезируемому поддиапазону. Расстояние между анализируемыми поддиапазонами, которые подвергаются комбинированию, может быть отнесено к основной частоте доминирующей составляющей сигнала, который подвергается преобразованию.

В наиболее общей форме математическое описание изобретения заключается в том, что набор частотных составляющих ω₁, ω₂, …, ω_k используется для создания новой частотной составляющей:

ω=T₁ω₁+T₂ω₂+…+T_Kω_K,

где коэффициенты T₁, T₂ …, T_K - это целочисленные порядки преобразования, сумма которых представляет собой общий порядок преобразования T=T₁+T₂+ … +T_K. Данный эффект получается путем модификации фаз K подходящим образом выбранных сигналов поддиапазонов посредством множителей T₁, T₂ …, T_K и рекомбинации результата умножения в сигнал с фазой, равной сумме модифицированных фаз. Важно отметить, что все указанные операции с фазами вполне определены и точно выражены, поскольку индивидуальные порядки преобразования являются целыми числами, и некоторые из этих целых чисел даже могут быть отрицательными до тех пор, пока общий порядок преобразования удовлетворяет неравенству T≥1.

Способы согласно текущему уровню техники соответствуют случаю K=1, а данное изобретение предлагает использование K≥1. В тексте описания в основном рассматривается случай K=2, T≥2, поскольку этого достаточно для решения большинства имеющихся конкретных проблем. Однако следует отметить, что случаи K>2 рассматриваются как равным образом раскрываемые и охватываются настоящим документом.

Изобретение использует информацию от большего количества аналитических каналов низкочастотного диапазона, т.е. от большего количества сигналов анализируемых поддиапазонов, для отображения нелинейно модифицированных сигналов поддиапазонов из блока анализирующих фильтров в выбранные поддиапазоны блока синтезирующих фильтров. Преобразование не только отдельно модифицирует один поддиапазон за раз, но и добавляет к каждому синтезируемому поддиапазону нелинейную комбинацию, по меньшей мере, двух различных анализируемых поддиапазонов. Как уже упоминалось, гармоническое преобразование порядка T конструируется для того, чтобы отображать синусоиду с частотой ω в синусоиду с частотой Tω, где T>1. Согласно изобретению, т.н. усовершенствование перекрестного произведения с параметром основного тона Ω и индексом 0<r<T предназначается для отображения пары синусоид с частотами (ω, ω+Ω) в синусоиду с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ. Следует учитывать, что для такого перекрестного произведения преобразования все парциальные частоты периодического сигнала с периодом Ω будут генерироваться путем добавления всех перекрестных произведений параметра основного тона Ω с индексом r, находящимся в интервале от 1 до T-1, к гармоническому преобразованию порядка T.

Согласно одной из особенностей изобретения, описывается система и способ генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Следует отметить, что особенности, описанные ниже в контексте системы, равным образом применимы к способу изобретения. Сигнал может представлять собой, например, звуковой и/или речевой сигнал. Система и способ могут использоваться для кодирования унифицированного речевого и звукового сигнала. Сигнал включает низкочастотную составляющую и высокочастотную составляющую, где низкочастотная составляющая включает частоты ниже определенной частоты перехода, а высокочастотная составляющая включает частоты выше определенной частоты перехода. При определенных условиях может потребоваться оценка высокочастотной составляющей сигнала, исходя из низкочастотной составляющей сигнала. Например, некоторые схемы звукового кодирования кодируют только низкочастотную составляющую звукового сигнала и направлены на реконструкцию высокочастотной составляющей этого сигнала исключительно из декодированной низкочастотной составляющей, возможно, с использованием определенной информации об огибающей оригинальной высокочастотной составляющей. Описываемые здесь система и способ могут использоваться в контексте указанных систем кодирования и декодирования.

Система для генерирования высокочастотной составляющей включает блок анализирующих фильтров, который создает набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Блоки анализирующих фильтров могут включать набор полосовых фильтров с постоянной шириной полосы пропускания. Также, в особенности, в контексте речевых сигналов, может оказаться полезным использование набора полосовых фильтров с логарифмическим распределением полос пропускания. Целью блока анализирующих фильтров является разложение низкочастотной составляющей сигнала на ее частотные составляющие. Эти частотные составляющие будут отражаться в наборе сигналов анализируемых поддиапазонов, которые генерируются блоком анализирующих фильтров. Например, сигнал, включающий ноту, которая проигрывается музыкальным инструментом, будет разделяться на сигналы анализируемых поддиапазонов, имеющие достаточно высокие амплитуды для тех поддиапазонов, которые соответствуют гармонической частоте проигранной ноты, в то время как другие поддиапазоны будут проявлять сигналы анализируемых поддиапазонов с низкими амплитудами.

Система также включает блок нелинейной обработки, предназначенный для генерирования сигнала синтезируемого поддиапазона с конкретной синтезируемой частотой путем модификации или вращения фазы первого и второго сигналов из набора сигналов анализируемых поддиапазонов и путем комбинирования сигналов анализируемых поддиапазонов с модифицированной фазой. В общем случае, первый и второй сигналы анализируемых поддиапазонов отличаются. Иными словами, они соответствуют различным поддиапазонам. Блок нелинейной обработки может включать т.н. блок обработки скрещивающихся членов, в котором, как правило, генерируется сигнал синтезируемого поддиапазона. Сигнал синтезируемого поддиапазона включает синтезируемую частоту. Как правило, сигнал синтезируемого поддиапазона включает частоты из определенного диапазона синтезируемых частот. Синтезируемая частота представляет собой частоту, находящуюся в пределах этого частотного диапазона, т.е. центральную частоту частотного диапазона. Синтезируемая частота, а также диапазон синтезируемых частот, как правило, превышает частоту перехода. Аналогично, сигналы анализируемых поддиапазонов включают частоты из определенного диапазона анализируемых частот. Эти диапазоны анализируемых частот, как правило, находятся ниже частоты перехода.

Операция модификации фазы может заключаться в преобразовании частот сигналов анализируемых поддиапазонов. Как правило, блок анализирующих фильтров дает на выходе комплексные сигналы поддиапазонов, которые могут быть представлены как комплексные экспоненциальные функции, включающие амплитуду и фазу. Фаза комплексного сигнала анализируемого поддиапазона соответствует частоте сигнала поддиапазона. Преобразование этих сигналов поддиапазонов посредством определенного порядка преобразования T' может быть выполнено путем возведения сигнала поддиапазона в степень порядка преобразования T'. В результате получается фаза комплексного сигнала поддиапазона, умноженная на порядок преобразования T'. В результате преобразованный сигнал поддиапазона проявляет фазу, или частоту, которая в T' раз больше начальной фазы, или частоты. Такая операция модификации фазы также может называться вращением фазы или умножением фазы.

Кроме того, система включает блок синтезирующих фильтров, предназначенный для генерирования высокочастотной составляющей сигнала из сигнала синтезируемого поддиапазона. Иными словами, целью блока синтезирующих фильтров является объединение, возможно, набора сигналов синтезируемых поддиапазонов из, возможно, набора диапазонов синтезируемых частот и генерирование высокочастотной составляющей сигнала во временной области. Следует отметить, что для сигналов, содержащих основную частоту, например, основную частоту Ω, может быть полезно, чтобы блок синтезирующих фильтров и/или блок анализирующих фильтров проявлял разнос частот, который связан с основной частотой сигнала. В частности, может быть полезно выбирать блоки фильтров с достаточно низким разносом частот или достаточно высоким разрешением с целью разложения основной частоты Ω.

Согласно другой особенности изобретения, блок нелинейной обработки, или блок обработки скрещивающихся членов в блоке нелинейной обработки, включает блок преобразования первого и второго порядка с множеством входов и одним выходом, который генерирует сигнал синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов, проявляющих, соответственно, первую и вторую анализируемые частоты. Иными словами, блок с множеством входов и одним выходом выполняет преобразование первого и второго сигналов анализируемых поддиапазонов и объединяет два преобразованных сигнала анализируемых поддиапазонов в сигнал синтезируемого поддиапазона. Первый сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза является умноженной на первый порядок преобразования, при этом второй сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза является умноженной на второй порядок преобразования. В случае комплексных сигналов анализируемых поддиапазонов указанная операция модификации фазы состоит в умножении фазы соответствующего сигнала анализируемого поддиапазона на соответствующий порядок преобразования. Два преобразованных сигнала анализируемых поддиапазонов комбинируются, давая комбинированный сигнал синтезируемого поддиапазона с синтезируемой частотой, которая соответствует первой анализируемой частоте, умноженной на первый порядок преобразования, плюс вторая анализируемая частота, умноженная на второй порядок преобразования. Этап комбинирования может состоять в перемножении двух преобразованных комплексных сигналов анализируемых поддиапазонов. Перемножение двух сигналов может состоять в перемножении их дискретных значений.

Вышеупомянутые особенности также могут быть выражены посредством формул. Пусть первая анализируемая частота - ω, а вторая анализируемая частота - (ω+Ω). Следует отметить, что эти переменные могут также представлять соответствующие диапазоны анализируемых частот двух сигналов анализируемых поддиапазонов. Иными словами, частота может подразумеваться как представляющая все частоты, заключаемые внутри конкретного частотного диапазона или частотного поддиапазона, т.е. первую и вторую анализируемые частоты также следует понимать как первый и второй диапазоны анализируемых частот или первый и второй анализируемые поддиапазоны. Кроме того, первым порядком преобразования может являться (T-r), а вторым порядком преобразования может являться r. Может оказаться полезным ограничить порядки преобразования так, чтобы T>1 и 1≤r<T. В этих случаях блок с множеством входов и одним выходом может давать на выходе сигналы синтезируемого поддиапазона с синтезируемой частотой (T-r)·ω+r·(ω+Ω).

Согласно еще одной особенности изобретения, система включает набор блоков с множеством входов и одним выходом и/или набор блоков нелинейной обработки, которые генерируют набор парциальных сигналов синтезируемых поддиапазонов, имеющих синтезируемую частоту. Иными словами, может генерироваться набор парциальных сигналов синтезируемых поддиапазонов, охватывающих тот же самый диапазон синтезируемой частоты. В этих случаях предусматривается блок суммирования поддиапазонов, предназначенный для комбинирования набора парциальных сигналов синтезируемых поддиапазонов. Тогда объединенные парциальные сигналы синтезируемых поддиапазонов представляют сигнал синтезируемого поддиапазона. Операция комбинирования может включать суммирование набора парциальных сигналов синтезируемых поддиапазонов. Также она может включать определение среднего сигнала синтезируемого поддиапазона из набора парциальных сигналов синтезируемых поддиапазонов, где парциальные сигналы синтезируемых поддиапазонов могут взвешиваться в соответствии с их значимостью для сигнала синтезируемого поддиапазона. Операция комбинирования также может включать выбор из набора одного или некоторых сигналов поддиапазонов, имеющих, например, амплитуду, которая превышает заранее заданное пороговое значение. Следует отметить, что может оказаться полезным, чтобы сигнал синтезируемого поддиапазона умножался на коэффициент усиления. Коэффициенты усиления, в особенности в тех случаях, когда присутствует набор парциальных сигналов синтезируемых поддиапазонов, могут вносить вклад в нормировку сигналов синтезируемых поддиапазонов.

Согласно еще одной особенности изобретения, блок нелинейной обработки также включает блок прямой обработки, предназначенный для генерирования дополнительного сигнала синтезируемого поддиапазона из третьего сигнала из набора сигналов анализируемых поддиапазонов. Указанный блок прямой обработки сигналов может реализовывать способы прямого преобразования, описанные, например, в документе WO 98/57436. Если система включает дополнительный блок прямой обработки, тогда может появиться необходимость в блоке суммирования поддиапазонов, предназначенном для комбинирования соответствующих сигналов синтезируемых поддиапазонов. Соответствующие сигналы синтезируемых поддиапазонов, как правило, представляют собой сигналы поддиапазонов, охватывающие один и тот же частотный диапазон и/или проявляющие одну и ту же синтезируемую частоту. Блок суммирования поддиапазонов может выполнять комбинирование в соответствии с описанными выше особенностями. Также он может игнорировать определенные сигналы синтезируемых поддиапазонов, в особенности сигналы, генерируемые блоками с множеством входов и одним выходом в тех случаях, когда минимальное значение амплитуды одного или нескольких сигналов анализируемых поддиапазонов, например, от скрещивающихся членов, вносящих вклад в сигнал синтезируемого поддиапазона, меньше заранее заданной доли амплитуды сигнала. Сигнал может представлять собой низкочастотную составляющую сигнала или отдельный сигнал анализируемого поддиапазона. Этот сигнал также может представлять собой отдельный сигнал синтезируемого поддиапазона. Иными словами, если энергия или амплитуда сигналов анализируемых поддиапазонов, используемых для генерирования сигнала синтезируемого поддиапазона, слишком мала, тогда этот сигнал синтезируемого диапазона может не использоваться для генерирования высокочастотной составляющей сигнала. Энергия, или амплитуда, может определяться для каждой дискретной составляющей или для набора дискретных составляющих сигналов анализируемых поддиапазонов, например, путем определения среднего по времени или среднего скользящего окна по ряду смежных дискретных значений.

Блок прямой обработки может включать блок третьего порядка преобразования T' с одним входом и одним выходом, генерирующий сигнал синтезируемого поддиапазона из третьего сигнала анализируемого поддиапазона, проявляющего третью анализируемую частоту, где третий сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза умножена на третий порядок преобразования T', и где T' больше единицы. Тогда синтезируемая частота соответствует третьей анализируемой частоте, умноженной на третий порядок преобразования. Следует отметить, что этот третий порядок преобразования T', предпочтительно, равен системному порядку преобразования, представленному ниже.

Согласно еще одной особенности изобретения, блок анализирующих фильтров содержит N поддиапазонов c, в значительной мере, постоянным расстоянием между поддиапазонами Δω. Как указывалось выше, расстояние между поддиапазонами Δω может быть связано с основной частотой сигнала. Анализируемый поддиапазон связан с индексом анализируемого поддиапазона n, где n∈(1, …, N). Иными словами, анализируемые поддиапазоны блока анализирующих фильтров могут быть идентифицированы по индексу поддиапазона n. Сходным образом, сигналы анализируемых поддиапазонов, включающие частоты из частотного диапазона соответствующего анализируемого поддиапазона, могут быть идентифицированы по индексу поддиапазона n.

Блок синтезирующих фильтров на стороне синтеза содержит синтезируемый поддиапазон, который также связан с индексом синтезируемого поддиапазона n. Индекс синтезируемого поддиапазона также идентифицирует сигнал синтезируемого поддиапазона, который включает частоты из диапазона синтезируемых частот синтезируемого поддиапазона с индексом n. Если система имеет системный порядок преобразования, также называемый общим порядком преобразования Т, то синтезируемые поддиапазоны, как правило, обладают, в значительной мере, постоянным расстоянием между поддиапазонами Δω·T, т.е. расстояние между поддиапазонами для синтезируемых поддиапазонов в Т раз больше расстояния между поддиапазонами для анализируемых поддиапазонов. В этих случаях синтезируемый поддиапазон и анализируемый поддиапазон с индексом n содержат частотные интервалы, которые соотносятся друг с другом посредством множителя или системного порядка преобразования T. Например, если частотный диапазон для анализируемого поддиапазона с индексом n равен [(n-1)·ω, n·ω], то частотный диапазон для синтезируемого поддиапазона с индексом n равен [T·(n-1)·ω, T·n·ω].

Если сигнал синтезируемого поддиапазона связан с синтезируемым поддиапазоном с индексом n, то еще одна особенность изобретения заключается в том, что этот сигнал синтезируемого поддиапазона с индексом n генерируется в блоке со множеством входов и одним выходом из первого и второго сигналов анализируемых поддиапазонов. Первый сигнал анализируемого поддиапазона связан с анализируемым поддиапазоном с индексом n-p₁, второй сигнал анализируемого поддиапазона связан с анализируемым поддиапазоном с индексом n+p₂.

Ниже описано несколько способов выбора пары смещений индексов (p₁, p₂). Выбор может выполняться т.н. блоком выбора индексов. Как правило, оптимальная пара индексов выбирается с целью генерирования сигнала синтезируемого поддиапазона с заранее определенной синтезируемой частотой. В первом способе смещения индексы p₁ и p₂ выбираются из ограниченного перечня пар (p₁, p₂), хранящегося в блоке хранения индексов. Пара (p₁, p₂) может быть выбрана из этого ограниченного перечня пар смещений индексов так, чтобы максимизировать минимальное значение из набора, включающего амплитуду первого анализируемого поддиапазона и амплитуду второго анализируемого поддиапазона. Иными словами, для каждой возможной пары смещений индексов p₁ и p₂ может быть определена амплитуда соответствующих сигналов анализируемых поддиапазонов. В случае комплексных сигналов анализируемых поддиапазонов амплитуда соответствует абсолютному значению. Амплитуда может быть определена для каждого дискретного значения или для набора дискретных значений сигнала анализируемого поддиапазона, например, путем определения среднего по времени или среднего скользящего окна по ряду смежных дискретных значений. На выходе получаются первая и вторая амплитуды, соответственно, для первого и второго сигналов анализируемых поддиапазонов. Рассматриваются минимальные значения первой и второй амплитуд, и пара смещений индексов (p₁, p₂) выбирается для того значения, где минимальное значение амплитуды является наибольшим.

Во втором способе смещения индексов p₁ и p₂ выбираются из ограниченного перечня пар (p₁, p₂), где ограниченный перечень определяется по формулам p₁=r·I и p₂=(T-r)·I. В этих формулах I - положительное целое число, принимающее значения от 1 до 10. Данный способ особенно полезен в тех ситуациях, когда первый порядок преобразования, используемый для преобразования первого анализируемого поддиапазона (n-p₁) равен (T-r), а второй порядок преобразования, используемый для преобразования второго анализируемого поддиапазона (n+p₂), равен r. Предполагая, что системный порядок преобразования является фиксированным, параметры I и r могут выбираться так, чтобы максимизировать минимальное значение набора, включающего амплитуду сигнала первого анализируемого поддиапазона и амплитуду сигнала второго анализируемого поддиапазона. Иными словами, параметры I и r могут выбираться при помощи вышеописанного подхода (max-min)-оптимизации.

В следующем способе выбор первого и второго сигналов анализируемых поддиапазонов может основываться на характеристиках основного сигнала. В особенности в том случае, если сигнал включает основную частоту Ω, т.е. если сигнал является периодическим и имеет характер последовательности импульсов, может оказаться полезным выбирать смещения индексов p₁ и p₂, принимая во внимание характеристики указанного сигнала. Основная частота Ω может определяться из низкочастотной составляющей сигнала или из оригинального сигнала, включающего обе, низкочастотную и высокочастотную составляющие. В первом случае, основная частота Ω может определяться в декодере сигнала с использованием высокочастотной реконструкции, в то время как во втором случае основная частота Ω, как правило, может определяться в кодировщике сигнала и затем передаваться в декодер сигнала. Если используется блок анализирующих фильтров с расстоянием между поддиапазонами Δω, и если первым порядком преобразования, используемым для преобразования первого анализируемого поддиапазона (n-p₁), является (T-r), а вторым порядком преобразования, используемым для преобразования второго анализируемого поддиапазона (n+p₂), является r, то p₁ и p₂ могут быть выбраны так, чтобы их сумма p₁+p₂ приближенно равнялась частному Ω/Δω, а их частное p₁/p₂ приближенно равнялось r/(T-r). В частном случае p₁ и p₂ выбираются так, чтобы частное p₁/p₂ было равно r/(T-r).

Согласно еще одной особенности изобретения, система для генерирования высокочастотной составляющей сигнала также включает окно анализа, которое выделяет заранее определенный временной интервал низкочастотной составляющей около заранее определенного момента времени k. Система также может включать окно синтеза, которое выделяет заранее определенный интервал времени высокочастотной составляющей около заранее определенного момента времени k. Эти окна особенно полезны для сигналов с частотными компонентами, которые изменяются во времени. Они позволяют анализировать мгновенный частотный состав сигнала. В сочетании с блоками фильтров, типичный пример такого частотного анализа с временной зависимостью представляет кратковременное преобразование Фурье (STFT). Следует отметить, что часто окно анализа представляет собой версию окна синтеза с разбросом по времени. Для системы с системным порядком преобразования T окно анализа во временной области может являться версией окна синтеза во временной области с разбросом по времени с коэффициентом расширения T.

Согласно еще одному варианту осуществления изобретения описывается система для декодирования сигнала. Система принимает кодированную версию низкочастотной составляющей сигнала и включает блок преобразования, соответствующий системе, которая описана выше, и предназначенный для генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Как правило, подобные системы декодирования также включают базовый декодер, предназначенный для декодирования низкочастотной составляющей сигнала. Система декодирования также может включать повышающий дискретизатор, предназначенный для выполнения повышающей дискретизации низкочастотной составляющей, чтобы получить на выходе низкочастотную составляющую с повышенной дискретизацией. Это может потребоваться в случае, когда низкочастотная составляющая сигнала была подвергнута понижающей дискретизации в кодировщике, и использует тот факт, что низкочастотная составляющая, в сравнении с оригинальным сигналом, охватывает только диапазон пониженных частот. Кроме того, система декодирования может включать блок ввода, который предназначен для приема кодированного сигнала, включающего низкочастотную составляющую, и блок вывода, предназначенный для создания декодированного сигнала, включающего низкочастотную и генерированную высокочастотную составляющие.

Система декодирования также может включать регулятор огибающей, предназначенный для придания формы высокочастотной составляющей. Поскольку высокие частоты сигнала могут быть регенерированы из низкочастотного диапазона сигнала с использованием систем и способов высокочастотной реконструкции, описанных в настоящем документе, может оказаться полезным извлечение из оригинального сигнала информации, относящейся к огибающей спектра его высокочастотной составляющей. Информация об огибающей может затем передаваться в декодер с целью генерирования высокочастотной составляющей, являющейся хорошим приближением огибающей спектра высокочастотной составляющей оригинального сигнала. Эта операция, как правило, выполняется в регуляторе огибающей системы декодирования. Для приема информации, относящейся к огибающей высокочастотной составляющей сигнала, система декодирования может включать блок приема данных об огибающей. Регенерированная высокочастотная составляющая и декодированная и, возможно, подвергнутая повышающей дискретизации низкочастотная составляющая могут затем суммироваться в блоке суммирования составляющих, определяющем декодированный сигнал.

Как описано выше, система для генерирования высокочастотной составляющей может использовать информацию, относящуюся к сигналам анализируемых поддиапазонов, которые подвергаются преобразованию и комбинированию с целью генерирования индивидуального сигнала синтезируемого поддиапазона. Для этого система декодирования может дополнительно включать блок приема данных о выборе поддиапазона, предназначенный для приема информации, которая позволяет осуществлять выбор первого и второго сигналов анализируемых поддиапазонов, из которых будет генерироваться сигнал синтезируемого поддиапазона. Эта информация может относиться к определенным характеристикам кодированного сигнала, например, информация может быть связана с основной частотой Q сигнала. Информация также может быть непосредственно связанной с анализируемыми поддиапазонами, которые нужно выбрать. Например, информация может включать перечень возможных пар первых и вторых сигналов анализируемых поддиапазонов или перечень пар (p₁, p₂) возможных смещений индексов.

Согласно еще одной особенности изобретения описывается кодированный сигнал. Кодированный сигнал включает информацию, относящуюся к низкочастотной составляющей кодированного сигнала, где низкочастотная составляющая включает набор сигналов анализируемых поддиапазонов. Кроме того, кодированный сигнал включает информацию, относящуюся к тем двум сигналам анализируемых поддиапазонов, которые должны быть выбраны для генерирования высокочастотной составляющей декодированного сигнала путем преобразования двух выбранных сигналов анализируемых поддиапазонов. Иными словами, кодированный сигнал включает, возможно, кодированную версию низкочастотной составляющей сигнала. Кроме того, он предоставляет информацию, такую как основная частота Ω сигнала или перечень возможных пар смещений индексов (p₁, p₂), которая позволяет декодеру генерировать высокочастотную составляющую сигнала на основе способа гармонического преобразования, усовершенствованного перекрестным произведением, которое описано в настоящем документе.

Согласно еще одной особенности изобретения описана система для кодирования сигнала. Эта система кодирования включает блок разделения, предназначенный для разделения сигнала на низкочастотную составляющую и высокочастотную составляющую, и базовый кодировщик, предназначенный для кодирования низкочастотной составляющей. Он также включает блок определения частоты, предназначенный для определения основной частоты Ω сигнала, и кодировщик параметров, предназначенный для кодирования основной частоты Ω, где основная частота Ω используется в декодере для регенерирования высокочастотной составляющей сигнала. Система также может включать блок определения огибающей, предназначенный для определения огибающей спектра высокочастотной составляющей, и кодировщик огибающей, предназначенный для кодирования огибающей спектра. Иными словами, система кодирования удаляет высокочастотную составляющую оригинального сигнала и кодирует низкочастотную составляющую при помощи базового кодировщика, например, кодировщика ААС или Dolby D. Кроме того, система кодирования анализирует высокочастотную составляющую оригинального сигнала и определяет набор информации, которая используется в декодере для регенерирования высокочастотной составляющей декодированного сигнала. Набор информации может включать основную частоту Ω сигнала и/или огибающую спектра высокочастотной составляющей.

Система кодирования также может включать блок анализирующих фильтров, создающий набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Кроме того, она может включать блок определения пары поддиапазонов, предназначенный для определения первого и второго сигналов поддиапазонов для генерирования высокочастотной составляющей сигнала, и кодировщик индексов, предназначенный для кодирования порядковых номеров, представляющих определенные первый и второй сигналы поддиапазонов. Иными словами, система кодирования может использовать способ высокочастотной реконструкции и систему, описанные в настоящем документе, для определения анализируемых поддиапазонов, из которых могут генерироваться высокочастотные поддиапазоны и, в конечном счете, высокочастотная составляющая сигнала. Информация об этих поддиапазонах, например ограниченный перечень пар смещений индексов, может затем кодироваться и передаваться в декодер.

Как подчеркивалось выше, изобретение также охватывает способы генерирования высокочастотной составляющей сигнала, а также способы декодирования и кодирования сигналов. Особенности, описанные выше в контексте систем, равным образом применимы к соответствующим способам. Ниже описываются некоторые особенности способов согласно изобретению. Аналогично эти особенности также применимы к системам, описанным в настоящем документе.

Согласно еще одной особенности настоящего изобретения описан способ выполнения высокочастотной реконструкции высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Этот способ включает этап создания первого сигнала поддиапазона низкочастотной составляющей из первого частотного диапазона и второго сигнала поддиапазона низкочастотной составляющей - из второго частотного диапазона. Иными словами, два сигнала поддиапазонов выделяются из низкочастотной составляющей сигнала, первый сигнал поддиапазона охватывает первый частотный диапазон, а второй сигнал поддиапазона охватывает второй частотный диапазон. Предпочтительно, частотные поддиапазоны отличаются. На следующем этапе сигналы первого и второго поддиапазонов преобразуются посредством, соответственно, первого и второго коэффициентов преобразования. Преобразование каждого из сигналов поддиапазонов может выполняться в соответствии с известными способами преобразования сигналов. В случае комплексных сигналов поддиапазонов преобразование может выполняться путем модификации фазы, или умножения фазы на соответствующий коэффициент преобразования или порядок преобразования. На следующем этапе преобразованные первый и второй сигналы поддиапазонов комбинируются, давая на выходе высокочастотную составляющую, которая включает частоты из высокочастотного диапазона.

Преобразование может выполняться так, чтобы высокочастотный диапазон соответствовал сумме первого частотного диапазона, умноженного на первый коэффициент преобразования, и второго частотного диапазона, умноженного на второй коэффициент преобразования. Кроме того, этап преобразования может включать этапы умножения первого частотного диапазона первого сигнала поддиапазона на первый коэффициент преобразования и умножения второго частотного диапазона второго сигнала поддиапазона на второй коэффициент преобразования. Для упрощения объяснения без ограничения объема изобретения изобретение иллюстрируется преобразованием отдельных частот. Следует, однако, отметить, что преобразование выполняется не только для отдельных частот, но и для целых частотных диапазонов, т.е. для множества частот, заключенных в пределах частотного диапазона. По существу, преобразование частот и преобразование диапазонов частот в данном документе следует понимать как равнозначные. Однако следует отдавать себе отчет в том, что частотные разрешения для блоков анализирующих и синтезирующих фильтров различны.

В вышеупомянутом способе этап создания может включать фильтрацию низкочастотной составляющей блоком анализирующих фильтров с целью генерирования первого и второго сигналов поддиапазонов. С другой стороны, этап комбинирования может включать перемножение первого и второго преобразованных сигналов поддиапазонов с получением сигнала высокого поддиапазона и ввод сигнала высокого поддиапазона в блок синтезирующих фильтров с целью генерирования высокочастотной составляющей. Другие преобразования сигнала в частотное представление и из частотного представления также возможны и находятся в пределах объема изобретения. Указанные преобразования сигналов включают преобразования Фурье (FFT, DCT), вейвлетные преобразования, квадратурные зеркальные фильтры (QMF) и т.д. Кроме того, эти преобразования также включают оконные функции, предназначенные для выделения уменьшенного временного интервала сигнала, предназначенного для преобразования. Возможные оконные функции включают взвешивающие функции Гаусса, косинусные взвешивающие функции, взвешивающие функции Хэмминга, взвешивающие функции Ханна, прямоугольные оконные функции, взвешивающие функции Барлетта, взвешивающие функции Блэкмана и др. В данном документе термин «блок фильтров» может включать любое из указанных преобразований, возможно, комбинированное с любой из указанных оконных функций.

Согласно другой особенности изобретения описан способ декодирования кодированного сигнала. Кодированный сигнал получается из оригинального сигнала и представляет только часть частотных поддиапазонов оригинального сигнала, расположенных ниже частоты перехода. Способ описывает этапы создания первого и второго поддиапазонов кодированного сигнала. Это может осуществляться путем использования блока анализирующих фильтров. Затем частотные поддиапазоны преобразуются посредством, соответственно, первого коэффициента преобразования и второго коэффициента преобразования. Это может осуществляться путем выполнения модификации фазы, или умножения фазы сигнала в первом частотном поддиапазоне на первый коэффициент преобразования, и путем выполнения модификации фазы, или умножения фазы сигнала во втором частотном поддиапазоне на второй коэффициент преобразования. В конечном итоге, из первого и второго преобразованных частотных поддиапазонов генерируется высокочастотный поддиапазон, который находится выше частоты перехода. Высокочастотный поддиапазон может соответствовать сумме первого частотного поддиапазона, умноженного на первый коэффициент преобразования, и второго частотного поддиапазона, умноженного на второй коэффициент преобразования.

Согласно еще одной особенности изобретения описан способ кодирования сигнала. Этот способ включает этапы фильтрации сигнала для выделения низкой частоты сигнала и кодирования низкочастотной составляющей сигнала. Кроме того, создается набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Это может осуществляться с использованием блока анализирующих фильтров так, как описано в настоящем документе. Затем определяются первый и второй сигналы поддиапазонов, предназначенные для генерирования высокочастотной составляющей сигнала. Это может осуществляться с использованием способов высокочастотной реконструкции и систем, описанных в настоящем документе. В конечном итоге, информация, представляющая определенные первый и второй сигналы поддиапазонов, кодируется. Указанной информацией могут быть характеристики оригинального сигнала, например основная частота Ω сигнала, или информация, относящаяся к выбранным анализируемым поддиапазонам, например пары смещений индексов (p₁, p₂).

Следует отметить, что вышеупомянутые варианты осуществления и особенности изобретения могут произвольно комбинироваться. В частности, следует отметить, что особенности, описанные для системы, так же применимы и к соответствующему способу, охватываемому настоящим изобретением. Кроме того, следует отметить, что раскрытие изобретения также охватывает и другие сочетания пунктов формулы изобретения, а не только те сочетания пунктов формулы изобретения, которые в прямой форме даны обратными ссылками в зависимых пунктах формулы изобретения, т.е. пункты формулы изобретения и их технические особенности могут комбинироваться в любом порядке и любом сочетании.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКОГО МАТЕРИАЛА

Настоящее изобретение далее будет описано при помощи иллюстративных примеров, не ограничивающих объем изобретения. Оно будет описано с отсылкой к сопроводительным иллюстрациям, на которых:

Фиг.1 иллюстрирует функционирование декодера звуковых сигналов, усовершенствованного посредством HFR;

Фиг.2 иллюстрирует функционирование гармонического преобразователя, использующего несколько порядков;

Фиг.3 иллюстрирует функционирование гармонического преобразователя в частотной области (FD);

Фиг.4 иллюстрирует функционирование использования обработки скрещивающихся членов согласно изобретению;

Фиг.5 иллюстрирует прямую обработку на текущем уровне техники;

Фиг.6 иллюстрирует нелинейную обработку единичного поддиапазона на текущем уровне техники;

Фиг.7 иллюстрирует составляющие обработки скрещивающихся членов согласно изобретению;

Фиг.8 иллюстрирует функционирование блока обработки скрещивающихся членов;

Фиг.9 иллюстрирует нелинейную обработку согласно изобретению, содержащуюся в каждой из систем MISO по Фиг.8;

Фиг.10-18 иллюстрируют осуществление изобретения для гармонического преобразования иллюстративных периодических сигналов;

Фиг.19 иллюстрирует частотно-временное разрешение кратковременного преобразования Фурье (STFT);

Фиг.20 иллюстрирует иллюстративную временную прогрессию оконной функции и ее Фурье-преобразования, используемые на стороне синтеза;

Фиг.21 иллюстрирует STFT синусоидального входного сигнала;

Фиг.22 иллюстрирует оконную функцию и ее Фурье-преобразование по Фиг.20, используемые на стороне анализа;

Фиг.23 и 24 иллюстрируют определение надлежащих поддиапазонов блока анализирующих фильтров, предназначенных для усовершенствования поддиапазона диапазона синтезирующего фильтра посредством скрещивающихся членов;

Фиг.25, 26 и 27 иллюстрируют экспериментальные результаты способа гармонического преобразования прямых членов и скрещивающихся членов;

Фиг.28 и 29 иллюстрируют варианты осуществления, соответственно, кодировщика и декодера с использованием схем усовершенствованного гармонического преобразования, описанных в настоящем документе;

Фиг.30 иллюстрирует вариант осуществления блока преобразования, показанного на Фиг.28 и 29.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Описываемые ниже варианты осуществления изобретения являются лишь иллюстрациями принципов настоящего изобретения в отношении так называемого гармонического преобразования, усовершенствованного перекрестным произведением. Следует понимать, что модификации и изменения описанных здесь компоновок и деталей будут понятны специалистам в данной области. Поэтому имеется намерение ограничиться только объемом предстоящей формулы изобретения, а не конкретными деталями, представленными здесь с целью описания и разъяснения вариантов осуществления изобретения.

Фиг.1 иллюстрирует функционирование декодера звуковых сигналов, усовершенствованного HFR. Базовый декодер звуковых сигналов 101 выводит звуковой сигнал с низкочастотной полосой пропускания, который подается в повышающий дискретизатор 104, который может требоваться для получения вклада в конечный выходной звуковой сигнал с требуемой полной частотой дискретизации. Повышающая дискретизация требуется для систем с двумя частотами дискретизации, где базовый аудиокодек с ограниченным диапазоном функционирует на половине внешней частоты дискретизации звукового сигнала, в то время как подсистема HFR обрабатывается на полной частоте дискретизации. Соответственно, в системе с одной частотой дискретизации повышающий дискретизатор 104 опускается. Выходной сигнал с низкочастотной полосой пропускания из 101 также направляется к преобразователю, или блоку преобразования 102, который выводит преобразованный сигнал, т.е. сигнал, включающий требуемый высокочастотный диапазон. Форма преобразованного сигнала может корректироваться по времени и частоте регулятором огибающей 103. Конечный выходной звуковой сигнал представляет собой сумму базового сигнала с низкочастотной полосой пропускания и преобразованного сигнала со скорректированной огибающей.

Фиг.2 иллюстрирует функционирование гармонического преобразователя 201, который соответствует преобразователю 102 по Фиг.1, включающему несколько преобразователей с различным порядком преобразования Т. Сигнал, который подвергается преобразованию, проходит к блоку отдельных преобразователей 201-2, 201-3, …, 201-T_max, имеющих порядки преобразования T=2, 3, …, T_max соответственно. Как правило, порядок преобразования T_max=3 является достаточным для большинства приложений, связанных с кодированием звуковых сигналов. Вклады от различных преобразователей 201-2, 201-3, …, 201-T_max суммируются в 202, давая на выходе комбинированный выходной сигнал преобразователя. В первом варианте осуществления указанная операция суммирования может включать сложение отдельных вкладов. В другом варианте осуществления вклады взвешиваются с различными весами так, чтобы уменьшить влияние добавления нескольких вкладов в определенные частоты. Например, вклады третьего порядка могут добавляться с меньшим коэффициентом усиления, чем вклады второго порядка. Наконец, блок 202 суммирования может добавлять вклады селективно в зависимости от выходной частоты. Например, преобразование первого порядка может использоваться для первого, самого низкого целевого частотного диапазона, а преобразование третьего порядка может использоваться для второго, более высокого целевого частотного диапазона.

Фиг.3 иллюстрирует функционирование такого гармонического преобразователя в частотной области (FD) как одного из индивидуальных блоков 201, т.е. одного из преобразователей 201-T порядка преобразования T. Блок 301 анализирующих фильтров выводит комплексные поддиапазоны, которые подвергаются нелинейной обработке 302, которая модифицирует фазу и/или амплитуду сигнала поддиапазона в соответствии с выбранным порядком преобразования T. Модифицированные поддиапазоны подаются к блоку 303 синтезирующих фильтров, который выводит преобразованные сигналы во временной области. В случае нескольких параллельных преобразователей с разными порядками преобразования, как показано на Фиг.2, некоторые операции блока фильтров могут быть разделены между различными преобразователями 201-2, 201-3, …, 201-T_max. Разделение операций блока фильтров может осуществляться для анализа или синтеза. В случае совместного синтеза 303, суммирование 202 может выполняться в области поддиапазона, т.е. перед синтезом 303.

Фиг.4 иллюстрирует функционирование обработки скрещивающихся членов 402 в дополнение к прямой обработке 401. Обработка скрещивающихся членов 402 и прямая обработка 401 выполняются параллельно в блоке нелинейной обработки 302 гармонического преобразователя в частотной области по Фиг.3. Преобразованные выходные сигналы комбинируются, например, складываются, обеспечивая совокупный преобразованный сигнал. Комбинирование преобразованных выходных сигналов может заключаться в суперпозиции преобразованных выходных сигналов. Факультативно селективное добавление скрещивающихся членов может быть реализовано при вычислении коэффициента усиления.

Фиг.5 более подробно иллюстрирует функционирование блока прямой обработки 401 по Фиг.4 в гармоническом преобразователе в частотной области по Фиг.3. Блоки (SISO) 401-1, …, 401-n, …, 401-N с одним входом и одним выходом отображают каждый анализируемый поддиапазон из исходного диапазона в один синтезируемый поддиапазон в целевом диапазоне. Согласно Фиг.5 анализируемый поддиапазон с индексом n отображается блоком SISO 401-n в синтезируемый поддиапазон с тем же индексом n. Следует отметить, что частотный диапазон поддиапазона с индексом n в блоке синтезирующих фильтров может варьироваться в зависимости от точной версии, или типа, гармонического преобразования. В версии или типе, показанных на Фиг.5, разнос частот анализирующего блока 301 в T раз меньше, чем разнос частот в синтезирующем блоке 303. Поэтому индекс n в синтезирующем блоке 303 соответствует частоте, которая в T раз больше, чем частота поддиапазона с тем же индексом n в анализируемом диапазоне 301. Например, анализируемый поддиапазон [(n-1)ω, nω] преобразовывается в синтезируемый поддиапазон [(n-1)Tω,nTω].

Фиг.6 иллюстрирует прямую нелинейную обработку единичного поддиапазона, содержащегося в каждом из блоков SISO 401-n. Нелинейная часть блока 601 выполняет умножение фазы комплексного сигнала поддиапазона на коэффициент, равный порядку преобразования T. Необязательный блок усиления 602 модифицирует амплитуду сигнала поддиапазона с модифицированной фазой. В математическом выражении выходной сигнал блока SISO 401-n может быть записан как функция входного сигнала x системы SISO 401-n и коэффициента усиления g следующим образом:

$$y=g\cdot v^T,гдеv=x/{\left|x\right|}^{1-1/T}\left(1\right)$$

Это выражение также может быть записано как

$$y=g\cdot \left|x\right|\cdot {\left(\frac{x}{\left|x\right|}\right)}^T$$ .

Иными словами, фаза комплексного сигнала поддиапазона х умножается на порядок преобразования T, а амплитуда комплексного сигнала поддиапазона x модифицируется посредством коэффициента усиления g.

Фиг.1 иллюстрирует составляющие обработки скрещивающихся членов 402 для гармонического преобразования порядка T. Присутствует T-1 параллельных блоков обработки перекрестных членов 701-1, …, 701-r, … 701-(T-1), выходные сигналы которых суммируются в блоке суммирования 702, давая комбинированный выходной сигнал. Как уже указывалось во вводной части, целью является отображение пары синусоид с частотами (ω, ω+Ω) в синусоиду с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ, где переменная r изменяется в пределах от 1 до T-1. Иными словами, два поддиапазона из блока анализирующих фильтров 301 должны отображаться в один поддиапазон высокочастотного диапазона. Для каждого отдельного значения r и данного порядка преобразования Т этап отображения выполняется в блоке скрещивающихся членов 701-r.

Фиг.8 иллюстрирует функционирование блока обработки скрещивающихся членов 701-r для фиксированного значения r=1, 2, …, T-1. Каждый выходной поддиапазон 803 получается в блоке с множеством входов и одним выходом (MISO) 800-n из двух входных поддиапазонов 801 и 802. Для выходного поддиапазона 803 с индексом n два входных сигнала блока MISO 800-n представляют собой поддиапазоны n-p₁ 801 и n+p₂ 802, где p₁ и p₂ - целые положительные смещения индексов, которые зависят от порядка преобразования T, переменной r и параметра Ω основного тона для усовершенствования посредством перекрестного произведения. Правило нумерации анализируемых и синтезируемых поддиапазонов поддерживается в соответствии с таковым по Фиг.5, т.е. расстояние между частотами анализирующего блока 301 в Т раз меньше, чем расстояние между частотами синтезирующего блока 303, и, соответственно, приведенные выше комментарии, касающиеся изменений коэффициента Т, сохраняют свое значение.

В связи с применением обработки скрещивающихся членов следует рассмотреть следующие замечания. Параметр основного тона Ω не может быть известен с высокой точностью и, конечно, с лучшим частотным разрешением, чем частотное разрешение, получаемое блоком анализирующих фильтров 301. Фактически, в некоторых вариантах осуществления настоящего изобретения лежащий в основе основного тона для усовершенствования посредством перекрестного произведения параметр Ω вообще не вводится в декодер. Вместо этого из перечня возможных кандидатов выбирается избранная пара целочисленных смещений индексов (p₁, p₂) в соответствии с таким критерием оптимизации, как максимизация выходной амплитуды перекрестного произведения, т.е. максимизация энергии выходного сигнала перекрестного произведения. Например, для заданных значений T и r может использоваться перечень кандидатов, задаваемый формулой (p₁,p₂)=(r1,(T-r)1), 1 ∈ L, где L - перечень положительных целых чисел. Это более подробно показано ниже в контексте формулы (11). Пригодными в качестве кандидатов, в принципе, являются все положительные целые числа. В некоторых случаях информация об основном тоне может помочь идентифицировать, какой из l следует выбрать в качестве надлежащих смещений индексов.

Кроме того, несмотря на то, что пример обработки перекрестного произведения, показанный на Фиг.8, предполагает, что применяемые смещения индексов (p₁, p₂) одинаковы для определенного диапазона выходных поддиапазонов, например, синтезируемые поддиапазоны (n-1), n и (n+1) составляются из анализируемых поддиапазонов, находящихся на фиксированном расстоянии p₁+p₂, это требование не является обязательным. В сущности, смещения индексов (p₁, p₂) могут отличаться для всех без исключения выходных поддиапазонов. Это означает, что для каждого поддиапазона n может выбираться отличающийся от всех остальных параметр Ω основного тона для усовершенствования посредством перекрестного произведения.

Фиг.9 иллюстрирует нелинейную обработку, содержащуюся в каждом из блоков MISO 800-n. Операция перемножения 901 создает сигнал поддиапазона с фазой, равной взвешенной сумме фаз двух комплексных входных сигналов поддиапазонов, и амплитудой, равной обобщенному среднему значению амплитуд двух дискретных входных значений поддиапазонов. Необязательный блок усиления 902 модифицирует амплитуду дискретных значений поддиапазонов с модифицированной фазой. В математическом описании выходной сигнал у может быть записан как функция входных сигналов блока MISO 800-n u₁ 801 и u₁ 802 и коэффициента усиления g следующим образом:

$$y=g\cdot {\nu }_1^{T-1}{\nu }_2^T$$ , где $${\nu }_m=u_m/{\left|u_m\right|}^{1-1/T}дляm=\mathrm{1,2}\left(2\right)$$

Это также можно записать как

$$y=\mu \left(\left|u_1\right|,\left|u_2\right|\right)\cdot {\left(\frac{u_1}{\left|u_1\right|}\right)}^{T-1}{\left(\frac{u_2}{\left|u_2\right|}\right)}^T$$ ,

где µ(|u₁|,|u₂|) - функция генерирования амплитуды. Иными словами, фаза комплексного сигнала поддиапазона u₁ умножается на порядок преобразования T-r, а фаза комплексного сигнала поддиапазона u₂ умножается на порядок преобразования r. Сумма этих двух фаз используется в качестве фазы выходного сигнала y, амплитуда которого получается посредством функции генерирования амплитуды. В сравнении с формулой (2), функция генерирования амплитуды выражается как геометрическое среднее амплитуд, модифицированное коэффициентом усиления g, т.е. $$\mu \left(\left|u_1\right|,\left|u_2\right|\right)=g\cdot {\left|u_1\right|}^{1-1/T}{\left|u_2\right|}^{1/T}$$ . Если допустить, что коэффициент усиления зависит от входных сигналов, оно, несомненно, охватывает все возможные варианты.

Следует отметить, что формула (2) получается в результате лежащей в основе цели - отображения пары синусоид с частотами (ω, ω+Ω) в синусоиду с частотой Tω+rΩ, которая также может быть записана как (T-r)ω+r(ω+Ω).

В нижеследующем тексте будет дано математическое описание настоящего изобретения. Для простоты будут рассматриваться непрерывные во времени сигналы. Предполагается, что блок синтезирующих фильтров 303 достигает совершенной реконструкции из блока 301 комплексных модулированных анализирующих фильтров с симметричной оконной функцией вещественных значений, или фильтром-прототипом, w(t). Блок синтезирующих фильтров в процессе синтеза часто, но не всегда, будет использовать такое же окно. Предполагается, что модуляция относится к равномерно пакетированному типу, при этом шаг по индексу нормируется на единицу, а разнос угловых частот синтезируемых поддиапазонов нормируется на n. Следовательно, целевой сигнал s(t) будет достигаться на выходе блока синтезирующих фильтров, если сигналы поддиапазонов на входе блока синтезирующих фильтров задаются сигналами синтезируемых поддиапазонов y_n(k):

$$y_n\left(k\right)={\displaystyle \underset{-\infty }{\overset{\infty }{\int }}s\left(t\right)w\left(t-k\right)\exp \left[-in\pi \left(t-k\right)\right]dt\left(3\right)}$$

Следует отметить, что формула (3) представляет собой нормированную стационарную математическую модель традиционных операций в обычном блоке анализирующих фильтров для комплексных модулированных поддиапазонов, такую как обрабатываемое методом окна дискретное преобразование Фурье (DFT), также известное как кратковременное преобразование Фурье (STFT). При небольшой модификации в аргументе комплексного показателя экспоненты в формуле (3) получаются стационарные модели для блока комплексных модулированных квадратурных зеркальных фильтров (QMF) и комплексифицированного модифицированного дискретного косинусного преобразования (Modified Discrete Cosine Transform, CMDCT), также называемого обрабатываемым методом окна неравномерным пакетированным DFT. Для случая непрерывного времени индекс поддиапазона n пробегает по всем неотрицательным целым числам. Для дискретных временных аналогов переменная времени t дискретизируется на этапе 1/N, а индекс поддиапазона n ограничивается N, где N - количество поддиапазонов в блоке фильтров, которое равно шагу блока фильтров по индексу дискретного времени. В случае дискретного времени для операции преобразования также требуется отнесенный к N нормировочный множитель, если он не вводится в масштабирование окна.

Для сигнала с вещественным значением существует столько же комплексных выходных дискретных значений поддиапазонов, сколько существует вещественных входных дискретных значений для выбранной модели блока фильтров. Поэтому существует общая двукратная передискретизация (или избыточность). Также могут использоваться блоки фильтров с большим уровнем передискретизации, однако в настоящем описании для ясности объяснения поддерживается небольшая передискретизация.

Основные этапы, включаемые в анализ блока модулированных фильтров, соответствующий формуле (3), заключаются в том, что сигнал умножается на окно, центрированное около времени t=k, и результирующий обработанный методом окна сигнал является коррелированным с каждой из комплексных синусоид exp[-inπ(t-k)]. В реализациях с дискретным временем эта корреляция эффективно реализуется посредством быстрого преобразования Фурье. Соответствующие алгоритмические этапы блока синтезирующих фильтров хорошо известны специалистам в данной области, и состоят из модуляции синтеза, обработки синтеза методом окна и операций сложения перекрываний.

Фиг.19 иллюстрирует положение во времени и с частотой, соответствующей информации, которую несет дискретное значение поддиапазона y_n(k), для выбора значений индекса времени k и индекса поддиапазона n. Например, дискретное значение поддиапазона y₅(4) представлено темным прямоугольником 1901.

Для синусоиды s(t)=A_cos(ωt+θ)=Re{C_exp(iωt)} сигналы поддиапазонов по формуле (3) для достаточно больших n с хорошим приближением задаются формулой

$$y_n\left(k\right)=C{e}^{ik\omega }{\displaystyle \underset{-\infty }{\overset{\infty }{\int }}w\left(t\right)\exp \left[-i\left(n\pi -\omega \right)t\right]dt=C{e}^{ik\omega }\stackrel{\wedge }{w}\left(n\pi -\omega \right)\left(4\right)}$$

где «шляпка» обозначает Фурье-преобразование, т.е. $$\stackrel{\wedge }{w}$$ - это Фурье-преобразование оконной функции w.

Строго говоря, формула (4) является истинной, если добавить член с -ω вместо ω. Этим членом пренебрегают на основе предположения о том, что частотная характеристика окна затухает достаточно быстро, и что сумма ω и n не стремится к нулю.

Фиг.20 изображает типичный вид окна w, 2001 и его Фурье-преобразования $$\stackrel{\wedge }{w}$$ 2002.

Фиг.21 иллюстрирует анализ единичной синусоиды, соответствующей формуле (4). Поддиапазонами, которые главным образом затрагиваются синусоидой ω, являются поддиапазоны с индексом n, и, таким образом, nπ-ω мал. Для примера по Фиг.21 частота составляет ω=6,25π, что показано горизонтальной штриховой линией 2101. В этом случае три поддиапазона с n=5, 6, 7, представленные, соответственно, ссылочными позициями 2102, 2103, 2104, содержат существенно ненулевые сигналы поддиапазонов. Затенение этих трех поддиапазонов отражает относительную амплитуду комплексных синусоид внутри каждого из поддиапазонов, полученных по формуле (4). Более темный фон означает большую амплитуду. В конкретном примере это означает, что амплитуда поддиапазона 5, т.е. 2102, меньше в сравнении с амплитудой поддиапазона 7, т.е. 2104, которая, в свою очередь, меньше амплитуды поддиапазона 6, т.е. 2103. Важно отметить, что наличие нескольких ненулевых поддиапазонов может вообще являться необходимым для того, чтобы иметь возможность синтезировать высококачественную синусоиду на выходе блока синтезирующих фильтров, особенно в тех случаях, когда окно имеет вид, аналогичный виду окна 2001 на Фиг.20, с относительно короткой длительностью и значительными боковыми лепестками в частоте.

Сигналы синтезируемых поддиапазонов y_n(k) также могут быть определены в результате блока анализирующих фильтров 301 и нелинейной обработки, т.е. гармонического преобразователя 302, показанного на Фиг.3. На стороне блока анализирующих фильтров сигналы анализируемых поддиапазонов могут быть представлены как функция исходного сигнала z(t). Для преобразования порядка T к исходному сигналу z(t) прилагается блок комплексных модулированных анализирующих фильтров с окном w_T(t)=w(t/T)/T, единичным шагом по индексу и шагом частоты модуляции, который в T раз меньше, чем шаг частоты на синтезирующем блоке. Фиг.22 иллюстрирует вид масштабированного окна w_T 2201 и его Фурье-преобразования $${\stackrel{\wedge }{w}}_T$$ 2202. По сравнению с Фиг.20, временное окно 2201 растянуто, а частотное окно 2202 сжато.

Анализ посредством блока модифицированных фильтров в результате дает сигналы анализируемых поддиапазонов x_n(k):

$$x_n\left(k\right)={\displaystyle \underset{-\infty }{\overset{\infty }{\int }}z\left(t\right)w_T\left(t-k\right)\exp \left[-i\frac{n\pi }{T}\left(t-k\right)\right]dt\left(5\right)}$$

Для синусоиды z(t)=Bcos(ξt+φ)=Re{Dexp(iξt)}, как можно убедиться, сигналы поддиапазонов по формуле (5) для достаточно больших n в хорошем приближении задаются формулой:

$$X_n\left(k\right)=D\exp \left(ik\xi \right)\stackrel{\wedge }{w}\left(n\pi -T\xi \right)\left(6\right)$$

Тогда подача этих сигналов поддиапазонов в гармонический преобразователь 302 и применение закона прямого преобразования по формулам (1)-(6) приводит к формуле:

$${\tilde{y}}_n\left(k\right)=gD{\left(\frac{D}{\left|D\right|}\right)}^{T-1}{\left(\frac{\stackrel{\wedge }{w}\left(n\pi -T\xi \right)}{\left|\stackrel{\wedge }{w}\left(n\pi -T\xi \right)\right|}\right)}^{T-1}\cdot \exp \left(ikT\xi \right)\stackrel{\wedge }{w}\left(n\pi -T\xi \right)\left(7\right)$$

Сигналы синтезируемых поддиапазонов y_n(k), задаваемые формулой (4), и сигналы нелинейных поддиапазонов, получаемые посредством гармонического преобразования $${\tilde{y}}_n(k)$$ и задаваемые формулой (7), в идеале должны совпадать.

Для нечетных порядков преобразования Т коэффициент в формуле (7), содержащий влияние окна, равен единице, поскольку предполагается, что значение Фурье-преобразование окна является вещественным, а T-1 - четное число. Поэтому формула (7) может быть точно совмещена с формулой (4) с ω=Tξ для всех поддиапазонов так, чтобы выходной сигнал блока синтезирующих фильтров с входными сигналами поддиапазонов, соответствующими формуле (7), представлял собой синусоиду с частотой ω=Tξ, амплитудой A=gB и фазой θ=Tφ, где B и θ определяются по формуле D=B_exp{iφ), которая при подстановке дает $$gD{\left(\frac{D}{\left|D\right|}\right)}^{T-1}=gB\exp \left(iT\varphi \right)$$ . Таким образом, получается гармоническое преобразование порядка T исходного синусоидального сигнала z(t).

Для четных T совпадение более приблизительно, но оно по-прежнему основывается на части частотной характеристики окна $$\stackrel{\wedge }{w}$$ с положительным значением, которое для симметричного окна с вещественными значениями включает наиболее важный главный лепесток. Это означает, что гармоническое преобразование исходного синусоидального сигнала z(t) получено также и для четных значений T. В частном случае оконной функции Гаусса, $$\stackrel{\wedge }{w}$$ всегда положительно, и, следовательно, для четных и нечетных порядков преобразования отличий в действиях нет.

Аналогично формуле (6), анализ синусоиды с частотой ξ+Ω, т.е. исходного синусоидального сигнала z(t)=B'_cos((ξ+Ω)t+φ')=Re{E_exp(i(ξ+Ω)t)} представляет собой

$$x{\text{'}}_n\left(k\right)=E\exp \left(ik\left(\xi +\Omega \right)\right)\stackrel{\wedge }{w}\left(n\pi -T\left(\xi +\Omega \right)\right)\left(8\right)$$

Поэтому подача двух сигналов поддиапазонов, u₁=x_n-p1(k), которые соответствуют сигналу 801 по Фиг.8, и u₂=x'_n+p2(k), который соответствует сигналу 802 по Фиг.8, в обработку скрещивающихся членов 800-n, показанную на Фиг.8, и приложение формулы скрещивающихся членов (2), дает выходной сигнал поддиапазона:

$${\tilde{y}}_n\left(k\right)=g\exp \left[ik\left(T\xi +r\Omega \right)\right]M\left(n,\xi \right)\left(9\right),$$

где

$$M\left(n,\xi \right)=\frac{D^{T-1}E\text{'}}{{\left|D^{T-1}E\text{'}\right|}^{1-1/T}}\frac{\stackrel{\wedge }{w}{\left(\left(n-p_1\right)\pi -T\xi \right)}^{T-1}\stackrel{\wedge }{w}{\left(\left(n+p_2\right)\pi -T\left(\xi +\Omega \right)\right)}^{\text{'}}}{{\left|\stackrel{\wedge }{w}{\left(\left(n-p_1\right)\pi -T\xi \right)}^{T-1}\stackrel{\wedge }{w}\left(\left(n+p_2\right)\pi -T\left(\xi +\Omega \right)\right)\text{'}\right|}^{1-1/T}}\left(10\right)$$

Как видно из формулы (9), эволюция фазы выходного сигнала поддиапазона 803 системы MISO 800-n следует за эволюцией фазы при анализе синусоиды с частотой Tξ+rΩ. Это происходит независимо от выбора смещений индексов p₁ и p₂. Фактически, если сигнал поддиапазона по формуле (9) подается в канал поддиапазона n, соответствующий Tξ+rΩ, т.е. nπ≈Tξ+rΩ, тогда выходной сигнал будет являться вкладом в генерирование синусоиды с частотой Tξ+rΩ. Однако, преимущественно, необходимо удостовериться, что каждый из вкладов является существенным, и что сложение вкладов происходит благоприятным образом. Эти особенности будут обсуждены ниже.

При данном параметре Ω основного тона для усовершенствования посредством перекрестного произведения выбор подходящих смещений индексов p₁ и p₂ можно сделать так, чтобы комплексная амплитуда M(n, ξ) по формуле (10) приближенно равнялась $$\stackrel{\wedge }{w}\left(n\pi -\left(T\xi +r\Omega \right)\right)$$ для некоторого диапазона поддиапазонов n, и в этом случае конечный выходной сигнал будет приближенно равняться синусоиду на частоте Tξ+rΩ. Первое рассмотрение главных лепестков одновременно задает все три значения (n-p₁)π-Tξ, (n+p₂)π-T(ξ+Ω) и nπ-(Tξ+rΩ) как малые, что приводит к приближенным равенствам:

$$p_1\approx r\frac{\Omega }{\pi }$$ и $$p_2\approx \left(T-r\right)\frac{\Omega }{\pi }\left(11\right)$$

Это означает, что при известном параметре Ω основного тона для усовершенствования посредством перекрестного произведения смещения индексов могут приближенно выражаться формулой (11), что, таким образом, позволяет осуществлять простой выбор анализируемых поддиапазонов. Более доскональный анализ влияния выбора смещений индексов p₁ и p₂ согласно формуле (11) на амплитуду параметра M(n,ξ,) согласно формуле (10) может выполняться в важных специфических случаях оконных функций, таких как оконная функция Гаусса и синусоидальная оконная функция. Нетрудно установить, что требуемая аппроксимация $$\stackrel{\wedge }{w}\left(n\pi -\left(T\xi +r\Omega \right)\right)$$ чрезвычайно хороша для нескольких поддиапазонов с nπ≈Tξ+rΩ.

Следует отметить, что соотношение (11) калибровано для иллюстративной ситуации, в которой Блок 301 анализирующих фильтров имеет разнос угловых частот поддиапазонов π/T. В общем случае результирующая интерпретация формулы (11) состоит в том, что исходная разница между скрещивающимися членами p₁+p₂ является целым числом, которое приближенно равно базовой основной частоте Ω, измеренной в единицах расстояния между поддиапазонами в блоке анализирующих фильтров, а пара (p₁, p₂) выбирается как кратная (r, T-r).

Для определения пары смещений индексов (p₁, p₂) в декодере могут использоваться следующие режимы:

1. Значение Ω может быть получено в процессе кодирования и в прямой форме, с достаточной точностью передано в декодер для получения целочисленных значений p₁ и p₂ посредством подходящей процедуры округления, которая может следовать следующим принципам:

сумма p₁+p₂ приближенно равна Ω/Δω, где Δω - разнос угловых частот блока анализирующих фильтров; и

частное p₁/p₂ выбирается так, чтобы оно было приближенно равно r/(T-r).

2. Для каждого целевого дискретного значения поддиапазона пара смещений индексов (p₁, p₂) может быть получена в декодере из заранее определенного перечня значений-кандидатов так, чтобы (p₁, p₂)=(r1, (T-r)1), l∈L, r∈{1, 2, …, Т-1}, где L - перечень положительных целых чисел. Выбор может основываться на оптимизации выходных амплитуд скрещивающихся членов, например на максимизации энергии выходных сигналов скрещивающихся членов.

3. Для каждого целевого дискретного значения поддиапазона пара смещений индексов (p₁, p₂) должна быть получена из сокращенного перечня значений-кандидатов путем оптимизации выходной амплитуды скрещивающихся членов, где сокращенный перечень значений-кандидатов получается в процессе кодирования и передается в декодер.

Следует отметить, что модификация фазы сигналов поддиапазонов u₁ и u₂ выполняется с взвешиванием, соответственно, (T-r) и r, но расстояние между индексами p₁ и p₂ выбирается пропорционально, соответственно, r и (T-r). Поэтому поддиапазон, ближайший к синтезируемому поддиапазону n, подвергается наиболее сильной модификации фазы.

Преимущественный способ осуществления процедуры оптимизации в описанных выше режимах 2 и 3 может заключаться в рассмотрении (max-min)-оптимизации:

$$\max \left\{\min \right\}\left|x_{n-p_1}\left(k\right)\right|,\left|x_{n+p_2}\left(k\right)\right|\}:\left(p_{\mathrm{1,}}{p}_2\right)=\left(rl,\left(T-r\right)l\right),l\in L,r\in \left\{\mathrm{1,2,}\dots ,T\right\}\}\left(12\right)$$

и в использовании победившей пары совместно с соответствующим значением r для построения вклада перекрестного произведения в данный индекс целевого поддиапазона n. В ориентированных на поиск режимах декодера 2 и, частично, 3 добавление скрещивающихся членов для различных значений r, предпочтительно, осуществляется независимо, поскольку существует риск добавления содержимого к каждому диапазону по нескольку раз. Если же, с другой стороны, для выбора поддиапазонов используется основная частота Ω, как в режиме 1, или в допустимых пределах находится лишь узкий диапазон расстояний между индексами поддиапазонов, как может быть в случае режима 2, частного случая многократного добавления содержимого в один и тот же диапазон можно избежать.

Кроме того, также следует отметить, что для описанных выше вариантов осуществления схем обработки скрещивающихся членов может оказаться полезной дополнительная модификация декодером коэффициента усиления перекрестного произведения g. Например, она относится к входным сигналам поддиапазонов u₁ и u₂ в блок скрещивающихся произведений MISO, задаваемый формулой (2), и к входному сигналу поддиапазона х в блок преобразования SISO, задаваемый формулой (1). Если все три сигнала должны подаваться к одному и тому же выходному синтезируемому поддиапазону, как показано на Фиг.4, где прямая обработка 401 и обработка перекрестного произведения 402 обеспечивают составляющие одного и того же выходного синтезируемого поддиапазона, может оказаться желательным приравнивание коэффициента усиления перекрестного произведения g нулю, т.е. приравнивание нулю блока усиления 902 по Фиг.9, если

$$\min \left(\left|u_1\right|,\left|u_2\right|\right)<q\left|x\right|\left(13\right)$$

для заранее заданного порогового значения q>1. Иными словами, добавление перекрестного произведения выполняется только в том случае, когда амплитуда прямого члена входного диапазона |x| мала по сравнению с обоими входными членами перекрестного произведения. В этом контексте x представляет собой дискретное значение анализируемого поддиапазона для прямой обработки членов, которая приводит к выходному сигналу того же синтезируемого поддиапазона, что и рассматриваемое перекрестное произведение. Это может представлять собой предосторожность с целью не допустить дополнительного усиления гармонической составляющей, которая уже была доставлена путем прямого преобразования.

Ниже способ гармонического преобразования, описанный в настоящем документе, будет описан для иллюстративных спектральных конфигураций с целью иллюстрации улучшений относительно текущего уровня техники. Фиг.10 иллюстрирует осуществление прямого гармонического преобразования порядка T=2. Верхняя диаграмма 1001 описывает парциальные частотные составляющие оригинального сигнала вертикальными стрелками, расположенными на уровнях, кратных основной частоте Ω. Она иллюстрирует исходный сигнал, например, на стороне кодировщика. Диаграмма 1001 сегментирована на левосторонний исходный частотный диапазон с парциальными частотами Ω, 2Ω, 3Ω, 4Ω, 5Ω и правосторонний целевой частотный диапазон с парциальными частотами 6Ω, 7Ω, 8Ω. Исходный частотный диапазон, как правило, кодируется и передается в декодер. С другой стороны, правосторонний целевой частотный диапазон, который включает парциальные частоты 6Ω, 7Ω, 8Ω, превышающие частоту перехода 1005 способа HFR, как правило, в декодер не передается. Целью способа гармонического преобразования является реконструкция целевого частотного диапазона, находящегося выше частоты перехода 1005 из исходного сигнала в исходном частотном диапазоне. Соответственно, целевой частотный диапазон и, в частности, парциальные частоты 6Ω, 7Ω, 8Ω на диаграмме 1001 недоступны в качестве входного сигнала в преобразователь.

Как описано выше, целью способа гармонического преобразования является регенерирование составляющих сигнала 6Ω, 7Ω, 8Ω исходного сигнала из частотных составляющих, доступных из исходного частотного диапазона. Нижняя диаграмма 1002 показывает выходной сигнал преобразователя в правостороннем целевом частотном диапазоне. Указанный преобразователь может, например, располагаться на стороне декодера. Парциальные частоты 6Ω и 8Ω регенерируются из парциальных частот 3Ω и 4Ω посредством гармонического преобразования с использованием порядка преобразования T=2. В результате эффекта растягивания спектра при гармоническом преобразовании, показанного здесь пунктирными стрелками 1003 и 1004, целевая парциальная частота 7Ω теряется. Парциальная частота 7Ω не может быть регенерирована с использованием способа гармонического преобразования, на котором базируется текущий уровень техники.

Фигура 11 иллюстрирует осуществление изобретения для гармонического преобразования периодического сигнала в случае, когда гармонический преобразователь второго порядка усовершенствуется единичным скрещивающимся членом, т.е. когда T=2, r=1. Как описано в контексте Фиг.10, преобразователь используется для генерирования парциальных частот 6Ω, 7Ω, 8Ω в целевом частотном диапазоне выше частоты перехода 1105 на нижней диаграмме 1102 из парциальных частот Ω, 2Ω, 3Ω, 4Ω, 5Ω в исходном частотном диапазоне ниже частоты перехода 1105 по диаграмме 1101. В дополнение к выходному сигналу преобразователя на текущем уровне техники по Фиг.10, при комбинировании исходных парциальных частот 3Ω и 4Ω регенерируется парциальная частотная составляющая 7Ω. Осуществление добавления перекрестного произведения отображено штриховыми стрелками 1103 и 1104. В формульном выражении имеется ω=3Ω, поэтому (T-r)ω+r((ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω. Как можно видеть на данном примере, с использованием описанного в данном документе способа высокочастотной реконструкции согласно изобретению могут быть регенерированы все целевые парциальные частоты.

Фиг.12 иллюстрирует возможную реализацию гармонического преобразователя второго порядка в блоке модулированных фильтров для конфигурации спектра по Фиг.10. Условно изображенные частотные характеристики поддиапазонов блока анализирующих фильтров показаны пунктирными линиями, как, например, ссылочная позиция 1206, на верхней диаграмме 1201. Поддиапазоны нумеруются согласно индексам поддиапазонов, некоторые из которых, 5, 10 и 15, показаны на Фиг.12. Для данного примера основная частота Ω равна разносу частот анализируемых поддиапазонов, умноженному на 3,5. Это иллюстрируется тем фактом, что парциальная частота Ω на диаграмме 1201 располагается между двумя поддиапазонами с индексами 3 и 4. Парциальная частота 2Ω располагается в центре поддиапазона с индексом поддиапазона 7 и т.д.

Нижняя диаграмма 1202 показывает регенерированные парциальные частоты 6Ω и 8Ω с условно изображенными частотными характеристиками, как, например, ссылочная позиция 1207, выбранных поддиапазонов блока синтезирующих фильтров. Как описывалось ранее, эти поддиапазоны имеют в T=в 2 раза более грубый разнос частот. Соответственно, частотные характеристики также масштабируются на коэффициент T=2. Как будет описано ниже, способ прямой обработки членов на текущем уровне техники модифицирует фазу каждого анализируемого поддиапазона, т.е. каждого поддиапазона ниже частоты перехода 1205 на диаграмме 1201, на коэффициент T=2 и отображает результат в синтезируемый поддиапазон с тем же индексом, т.е. в поддиапазон выше частоты перехода 1205 на диаграмме 1202. Это символически изображается на Фиг.12 диагональными пунктирными стрелками, например, стрелкой 1208 для анализируемого поддиапазона 1206 и синтезируемого поддиапазона 1207. Результатом прямой обработки членов для поддиапазонов с индексами поддиапазонов 9-16 из анализируемого поддиапазона 1201 является регенерирование двух целевых парциальных частот 6Ω и 8Ω в синтезируемом поддиапазоне 1202 из исходных парциальных частот 3Ω и 4Ω. Как видно из Фиг.12, основной вклад в целевую парциальную частоту 6Ω вносится поддиапазонами с индексами поддиапазонов 10 и 11, т.е. ссылочными позициями 1209 и 1210, а основной вклад в целевую парциальную частоту 8Ω вносится поддиапазоном с индексом поддиапазона 14, т.е. ссылочной позицией 1211.

Фиг.13 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов в блоке модулированных фильтров по Фиг.12. Этап обработки скрещивающихся членов соответствует этапу, описанному в связи с Фиг.11 для периодических сигналов с основной частотой Ω. Верхняя диаграмма 1301 иллюстрирует анализируемые поддиапазоны, исходный частотный диапазон которых нужно преобразовать в целевой частотный диапазон синтезируемых поддиапазонов на нижней диаграмме 1302. В частном случае рассматривается генерирование синтезируемых поддиапазонов 1315 и 1316, которые окружают парциальную частоту 7Ω. Для порядка преобразования T=2 можно выбрать возможное значение r=1. Выбор перечня значений-кандидатов (p₁, p₂) как кратных (r, T-r)=(1,1), так, чтобы сумма p₁+p₂ приближенно равнялась $$\frac{\Omega }{\Delta \omega }=\frac{\Omega }{\left(\Omega /\mathrm{3,5}\right)}=\mathrm{3,5,}$$ т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов, приводит к выбору p₁=p₂=2. Как было описано в контексте Фиг.8, синтезируемый поддиапазон с индексом поддиапазона n может генерироваться из произведения перекрестных членов анализируемых поддиапазонов с индексами поддиапазонов (n-p₁) и (n+p₂). Следовательно, для синтезируемого поддиапазона с индексом поддиапазона 12, т.е. для ссылочной позиции 1315, перекрестное произведение формируется из анализируемых поддиапазонов с индексами поддиапазонов (n-p₁)=12-2=10, т.е. из ссылочной позиции 1311, и (n+p₂)=12+2=14, т.е. из ссылочной позиции 1313. Для синтезируемого поддиапазона с индексом поддиапазона 13 перекрестное произведение формируется из анализируемых поддиапазонов с индексами поддиапазонов (n-p₁)=13-2=11, т.е. из ссылочной позиции 1312, и (n+p₂)=13+2=15, т.е. из ссылочной позиции 1314. Процесс генерирования перекрестного произведения символически изображается парами штриховых/пунктирных стрелок, т.е. парами ссылочных позиций, соответственно, 1308, 1309 и 1306, 1307.

Как видно из Фиг.13, парциальная частота 7Ω первоначально размещается в поддиапазоне 1315 с индексом 12 и только во вторую очередь - в поддиапазоне 1316 с индексом 13. Следовательно, для получения более реалистичных частотных характеристик, около синтезируемого поддиапазона 1315 с индексом 12 будет больше прямых и/или скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω более выгодно, чем добавление членов около синтезируемого поддиапазона 1316 с индексом 13. Кроме того, как подчеркивалось в контексте формулы (13), добавление всех скрещивающихся членов с p₁=p₂=2 вслепую может приводить к нежелательным составляющим сигнала для менее периодических и теоретических входных сигналов. Соответственно, явление неблагоприятных составляющих сигнала может потребовать применения такого адаптивного правила компенсации перекрестных произведений, как, например, правило, даваемое формулой (13).

Фиг.14 иллюстрирует осуществление гармонического преобразования порядка T=3 согласно текущему уровню техники. Верхняя диаграмма 1401 изображает парциальные частотные составляющие оригинального сигнала вертикальными стрелками, расположенными на уровнях, кратных основной частоте Ω. Парциальные частоты 6Ω, 7Ω, 8Ω, 9Ω находятся в целевом диапазоне выше частоты перехода 1405 способа высокочастотной реконструкции и поэтому недоступны в качестве входных сигналов преобразователя. Целью гармонического преобразования является регенерирование этих составляющих из сигнала в исходном диапазоне. Нижняя диаграмма 1402 показывает выходной сигнал преобразователя в целевом частотном диапазоне. Парциальные частоты 6Ω, т.е. ссылочная позиция 1407, и 9Ω, т.е. ссылочная позиция 1410, регенерируются из парциальных частот 2Ω, т.е. из ссылочной позиции 1406, и 3Ω, т.е. из ссылочной позиции 1409. В результате эффекта растягивания спектра при гармоническом преобразовании, показанного здесь пунктирными стрелками, соответственно, 1408 и 1411, целевые парциальные частоты 7Ω и 8Ω теряются.

Фиг.15 иллюстрирует осуществление изобретения для гармонического преобразования периодического сигнала в случае, когда гармонический преобразователь третьего порядка усовершенствуется двумя отличающимися скрещивающимися членами, т.е. T=3, r=1, 2. В дополнение к преобразователю согласно текущему уровню техники по Фиг.14 из комбинации исходных парциальных частот 1506 с частотой 2Ω и 1507 с частотой 3Ω посредством скрещивающегося члена для r=1 регенерируется парциальная частотная составляющая 1508 с частотой 7Ω. Выполнение добавления перекрестного произведения изображено штриховыми стрелками 1510 и 1511. В формульном выражении имеется ω=2Ω, (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω. Аналогично парциальная частотная составляющая 1509 с частотой 8Ω регенерируется посредством скрещивающегося члена для r=2. Парциальная частотная составляющая 1509 в целевом диапазоне нижней диаграммы 1502 генерируется из парциальных частотных составляющих 1506 с частотой 2Ω и 1507 с частотой 3Ω в исходном частотном диапазоне верхней диаграммы 1501. Генерирование произведения скрещивающихся членов изображено стрелками 1512 и 1513. В формульном выражении имеется (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+2Ω=8Ω. Как можно видеть, с использованием описанного в настоящем документе способа высокочастотной реконструкции могут быть регенерированы все целевые парциальные частоты.

Фиг.16 иллюстрирует возможную реализацию гармонического преобразователя третьего порядка согласно текущему уровню техники в блоке модулированных фильтров для спектральной ситуации по Фиг.14. Условно изображенные частотные характеристики поддиапазонов блока анализирующих фильтров показаны пунктирными линиями на верхней диаграмме 1601. Поддиапазоны пронумерованы в соответствии с индексами поддиапазонов 1-17, из которых с целью иллюстрации производится отсылка к поддиапазонам 1606 с индексом 7, 1607 с индексом 10 и 1608 с индексом 11. Для данного примера основная частота Ω равна разносу частот анализируемых поддиапазонов Δω, умноженному на 3,5. Нижняя диаграмма 1602 показывает регенерированные парциальные частоты в суперпозиции с условно обозначаемыми частотными характеристиками выбранных поддиапазонов блока синтезирующих фильтров. Например, производится отсылка к поддиапазонам 1609 с индексом поддиапазона 7, 1610 с индексом поддиапазона 10 и 1611 с индексом поддиапазона 11. Как было описано выше, эти поддиапазоны имеют в T=3 раза более грубый разнос частот Δω. Соответственно, надлежащим образом масштабированы частотные характеристики.

Прямая обработка членов согласно текущему уровню техники модифицирует фазу сигналов поддиапазонов посредством коэффициента T=3 для каждого анализируемого поддиапазона и отображает результат в синтезируемый поддиапазон с тем же индексом, что символически изображается диагональными пунктирными стрелками. Результатом прямой обработки членов для поддиапазонов 6-11 является регенерирование двух целевых парциальных частот 6Ω и 9Ω из исходных парциальных частот 2Ω и 3Ω. Как видно из Фиг.16, основной вклад в целевую парциальную частоту 6Ω вносится поддиапазоном с индексом 7, т.е. ссылочной позицией 1606, а основные вклады в целевую парциальную частоту 9Ω вносятся поддиапазонами с индексами 10 и 11, т.е. ссылочными позициями 1607 и 1608 соответственно.

Фиг.17 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов для r=1 в блоке модулированных фильтров по Фиг.16, который приводит к регенерированию парциальной частоты 7Ω. Как было описано в контексте Фиг.8, смещения индексов (p₁, p₂) могут быть выбраны как кратные (r, T-r)=(1,2) так, чтобы сумма p₁+p₂ приближенно равнялась 3,5, т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов Δω. Иными словами, относительное расстояние, т.е. расстояние на оси частот, разделенной разносом частот анализируемых поддиапазонов Δω, между двумя анализируемыми поддиапазонами, вносящими вклад в синтетический поддиапазон, который необходимо генерировать, должно наилучшим образом аппроксимировать основную частоту, т.е. основную частоту Ω, деленную на разнос частот анализируемых поддиапазонов Δω. Это также описывается формулами (11) и приводит к выбору p₁=1, p₂=2.

Как показано на Фиг.17, синтезируемый поддиапазон с индексом 8, т.е. ссылочная позиция 1710, получается из перекрестного произведения, сформированного из аналитических поддиапазонов с индексами (n-p₁)=8-1=7, т.е. из ссылочной позиции 1706, и (n+p₂)=8+2=10, т.е. из ссылочной позиции 1708. Для синтезируемого поддиапазона с индексом 9 перекрестное произведение формируется из анализируемых поддиапазонов с индексами (n-p₁)=9-1=8, т.е. из ссылочной позиции 1707, и (n+p₂)=9+2=11, т.е. из ссылочной позиции 1709. Процесс формирования перекрестных произведений символически изображен парами диагональных штриховых/пунктирных стрелок, т.е. парами стрелок 1712, 1713 и 1714, 1715 соответственно. Из Фиг.17 можно видеть, что парциальная частота 7Ω более выраженно располагается в поддиапазоне 1710, чем в поддиапазоне 1711. Следовательно, можно ожидать, что, при реалистичных характеристиках фильтров, около синтезируемого поддиапазона с индексом 8, т.е. поддиапазона 1710, будет больше скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω будет более выгодно.

Фиг.18 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов для r=2 в блоке модулированных фильтров по Фиг.16, который приводит к регенерированию парциальной частоты 8Ω. Смещения индексов (p₁, p₂) могут быть выбраны как кратные (r, T-r)=(2,1) так, чтобы сумма p₁+p₂ приближенно равнялась 3,5, т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов Δω. Это приводит к выбору p₁=2, p₂=1. Как показано на Фиг.18, синтезируемый поддиапазон с индексом 9, т.е. ссылочная позиция 1810, получается из перекрестного произведения, сформированного из аналитических поддиапазонов с индексами (n-p₁)=9-2=7, т.е. из ссылочной позиции 1806, и (n+p₂)=9+1=10, т.е. из ссылочной позиции 1808. Для синтезируемого поддиапазона с индексом 10 перекрестное произведение формируется из анализируемых поддиапазонов с индексами (n-p₁)=10-2=8, т.е. из ссылочной позиции 1807, и (n+p₂)=10+1=11, т.е. из ссылочной позиции 1809. Процесс формирования перекрестных произведений символически изображен парами диагональных штриховых/пунктирных стрелок, т.е. парами стрелок 1812, 1813 и 1814, 1815 соответственно. Из Фиг.18 можно видеть, что парциальная частота 8Ω несколько более выраженно располагается в поддиапазоне 1810, чем в поддиапазоне 1811. Следовательно, можно ожидать, что, при реалистичных характеристиках фильтров, около синтезируемого поддиапазона с индексом 9, т.е. поддиапазона 1810, будет больше прямых и/или скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+2Ω=8Ω будет более выгодно.

Ниже производится отсылка к Фигурам 23 и 24, которые иллюстрируют процедуру выбора на основе (max-min)-оптимизации по формуле (12) для пары смещений индексов (p₁, p₂) и r согласно этому правилу для T=3. Выбранный индекс целевого поддиапазона n=18, а верхняя диаграмма показывает пример амплитуды сигнала поддиапазона для заданного временного индекса. Перечень положительных целых чисел задается здесь семью значениями L={2, 3, …, 8}.

Фиг.23 иллюстрирует поиск кандидатов при r=1. Целевой, или синтезируемый, поддиапазон показан с индексом n=18. Пунктирная линия 2301 выделяет поддиапазон с индексом n=18 в высоком диапазоне анализируемых поддиапазонов и нижнем диапазоне синтезируемых поддиапазонов. Возможными парами смещений индексов являются пары (p₁, p₂)={(2,4), (3,6), …, (8,16)} для l=2, 3, …, 8, соответственно, и соответствующими парами индексов дискретных значений амплитуды анализируемых поддиапазонов, т.е. перечнем пар индексов поддиапазонов, которые рассматриваются как определяющие оптимальный скрещивающийся член, являются {(16,22), (15,24), …, (10,34)}. Ряд стрелок иллюстрирует рассматриваемые пары. Например, показана пара (15, 24), обозначенная ссылочными позициями 2302 и 2303. Нахождение минимума для этих пар амплитуд дает перечень (0, 4, 1,0, 0, 0, 0) соответствующих минимальных пар амплитуд для перечня возможных скрещивающихся членов. Поскольку второй элемент для l=3 является максимальным, пара (15, 24) побеждает среди кандидатов с r=1, и выбор изображен толстыми стрелками.

Фиг.24 сходным образом иллюстрирует поиск кандидатов с r=2. Целевой, или синтезируемый, поддиапазон показан с индексом n=18. Пунктирная линия 2401 выделяет поддиапазон с индексом n=18 в высоком диапазоне анализируемых поддиапазонов и в нижнем диапазоне синтезируемых поддиапазонов. В этом случае, возможными парами смещений индексов являются пары (p₁, p₂)={(4,2), (6,3), …, (16,8)}, и соответствующими парами индексов дискретных амплитуд анализируемых поддиапазонов являются пары {(14,20), (12,21), …, (2,26)}, среди которых пара (6, 24) представлена ссылочными позициями 2402 и 2403. Нахождение минимума для этих пар амплитуд дает перечень (0, 0, 0, 0, 3, 1, 0). Поскольку пятый элемент является максимальным, т.е. l=6, пара (6, 24) побеждает среди кандидатов с r=2, как показано толстыми стрелками. В целом, поскольку минимум соответствующей пары амплитуд меньше, чем минимум для выбранной пары поддиапазонов при r=1, окончательный выбор для индекса целевого поддиапазона n=18 падает на пару (15, 24)и r=1.

Кроме того, следует отметить, что, когда входной сигнал z(t) представляет собой гармонический ряд с основной частотой Ω, т.е. с основной частотой, которая соответствует параметру основного тона для усовершенствования посредством перекрестного произведения, и Ω достаточно велика по сравнению с разрешением по частоте блока анализирующих фильтров, сигналы анализируемых поддиапазонов x'_n(k)„ задаваемые формулой (8), являются хорошими приближениями анализа входного сигнала z(t), где приближение является действительным в различных диапазонах поддиапазонов. Из сопоставления формулы (6) и формул (8-10) следует, что эволюция фазы гармоники вдоль оси частот входного сигнала z(t) будет корректно экстраполироваться настоящим изобретением. С точки зрения качества выходного звукового сигнала это является привлекательной особенностью для сигналов, имеющих характер последовательности импульсов, как, например, сигналы, вызванные человеческими голосами и некоторыми музыкальными инструментами.

Фиг.25, 26 и 27 иллюстрируют функционирование иллюстративной реализации преобразования согласно изобретению для гармонического сигнала в случае Т=3. Сигнал имеет основную частоту 282,35 Гц, спектр его амплитуды в рассматриваемом целевом диапазоне 10-15 кГц изображен на Фиг.25. Для реализации преобразований используется блок фильтров из N=512 поддиапазонов на частоте дискретизации 48 КГц. Спектр амплитуды выходного сигнала прямого преобразователя (T=3) изображен на Фиг.26. Как можно видеть, каждая третья гармоника воспроизводится с высокой точностью, как и предсказывает описанная выше теория, и воспринимаемым основным тоном будет основной тон 847 Гц, в три раза больший оригинального тона. Фиг.27 показывает выходной сигнал преобразователя, применяющего произведения скрещивающихся членов. Все гармоники воссоздаются вплоть до дефектов, связанных с особенностями приближений теории. В этом случае боковые лепестки находятся примерно на 40 Дб ниже уровня сигнала, и этого более, чем достаточно для регенерации высокочастотного содержимого, которое воспринимается неотличимо от оригинального гармонического сигнала.

Ниже делается отсылка к Фиг.28 и Фиг.29, которые иллюстрируют, соответственно, иллюстративный кодировщик 2800 и иллюстративный декодер 2900 для унифицированного кодирования речи и звука (USAC). Общая конструкция кодировщика USAC 2800 и декодера 2900 описывается следующим образом: в первую очередь - традиционная пред / постобработка, содержащая функциональный блок MPEG Surround (MPEGS), предназначенный для операций по обработке стереофонических и многоканальных сигналов, и усовершенствованные блоки SBR (eSBR) 2801 и 2901 соответственно, которые оперируют с параметрическим представлением более высоких звуковых частот входного сигнала и могут применять способы гармонического преобразования, описываемые в настоящем документе. Затем - две ветви, одна из которых состоит из траектории инструмента модифицированного перспективного звукового кодирования (Advanced Audio Coding, AAC), а вторая состоит из траектории на основе линейного предсказания (в области LP или LPC), которое, в свою очередь, характеризуется представлением остаточного продукта кодирования с линейным предсказанием (LPC) в частотной и временной областях. Все передаваемые спектры, как AAC, так и LPC, могут быть представлены в области MDCT с последующим квантованием и арифметическим кодированием. Представление во временной области использует схему кодового возбуждения ACELP.

Усовершенствованный блок репликации спектральных полос (eSBR) 2801 кодировщика 2800 может включать системы высокочастотной реконструкции, описанные в настоящем документе. В частности, блок eSBR 2801 может включать блок 301 анализирующих фильтров, предназначенный для генерирования ряда сигналов анализируемых поддиапазонов. Сигналы анализируемых поддиапазонов могут затем преобразовываться в блоке нелинейной обработки 302, генерируя ряд сигналов синтезируемых поддиапазонов, которые затем могут вводиться в блок синтезирующих фильтров 303 для генерирования высокочастотной составляющей. В блоке eSBR 2801 на стороне кодирования может определяться набор информации о том, как генерировать высокочастотную составляющую из низкочастотной составляющей так, чтобы высокочастотная составляющая наилучшим образом совпадала з высокочастотной составляющей оригинального сигнала. Набор информации может включать информацию о характеристиках сигнала, таких как преобладающая основная частота Ω, огибающая спектра высокочастотной составляющей, и информацию о том, как лучше всего комбинировать сигналы анализируемых поддиапазонов, т.е. такую информацию, как ограниченный набор пар смещений индексов (p₁, p₂). Кодированные данные, относящиеся к указанному набору информации, объединяются с другой кодированной информацией в мультиплексоре битового потока и направляются в виде кодированного потока аудиоданных в соответствующий декодер 2900.

Декодер 2900, показанный на Фиг.29, также включает усовершенствованный блок репликации спектральных полос (eSBR) 2901. Блок eSBR 2901 принимает кодированный поток аудиоданных, или кодированный сигнал, из кодировщика 2800 и использует способы, описанные в настоящем документе, для генерирования высокочастотной составляющей сигнала, которая объединена с кодированной низкочастотной составляющей, давая на выходе декодированный сигнал. Блок eSBR 2901 может включать различные компоненты, описанные в настоящем документе. В частности, он может включать блок 301 анализирующих фильтров, блок нелинейной обработки 302 и блок синтезирующих фильтров 303. Блок eSBR 2901 может использовать информацию о высокочастотной составляющей, предоставляемую кодировщиком 2800, для выполнения высокочастотной реконструкции. Эта информация может представлять собой основную частоту Ω сигнала, огибающую спектра оригинальной высокочастотной составляющей и/или информацию об анализируемых поддиапазонах, которые будут использоваться для генерирования сигналов синтезируемых поддиапазонов и, в особенности, высокочастотной составляющей декодированного сигнала.

Кроме того, Фиг.28 и 29 иллюстрируют возможные дополнительные компоненты кодировщика/декодера USAC, такие как:

инструмент демультиплексора полезной нагрузки битового потока, который разделяет полезную нагрузку битового потока на части для каждого инструмента и обеспечивает каждый из инструментов информацией о полезной нагрузке битового потока, связанной с данным инструментом;

инструмент декодирования масштабных коэффициентов с пониженным уровнем шума, который получает информацию из демультиплексора полезной нагрузки битового потока, выполняет грамматический разбор этой информации и декодирует масштабные коэффициенты, кодированные методами Хаффмана и DPCM;

инструмент декодирования спектра с пониженным уровнем шума, который получает информацию из демультиплексора полезной нагрузки битового потока, выполняет грамматический разбор этой информации, декодирует арифметически кодированные данные и реконструирует квантованные спектры;

инструмент обратного квантователя, который получает квантованные значения спектра и преобразовывает целочисленные значения в немасштабированные реконструированные спектры; данный квантователь предпочительно представляет собой компандирующий квантователь, коэффициент компандирования которого зависит от выбранного режима базового кодирования;

инструмент заполнения шума, который используется для заполнения спектральных разрывов в декодированных спектрах, которые возникают при квантовании спектральных значений в нуль, например, из-за сильного ограничения, налагаемого в кодировщике на битовые требования;

инструмент изменения масштаба, который преобразовывает целочисленное представление масштабных коэффициентов в фактические значения и умножает немасштабированные спектры, подвергнутые обратному квантованию, на соответствующие масштабные коэффициенты;

инструмент M/S, описанный в стандарте ISO/IEC 14496-3;

инструмент временной фильтрации и преобразования шума (TNS), описанный в стандарте ISO/IEC 14496-3;

блок фильтров / инструмент коммутатора блокировки, который применяет инверсию отображения частот, которая была проведена в кодировщике; для инструмента блока фильтров предпочтительно используется обратное модифицированное дискретное косинусное преобразование (IMDCT);

блок фильтров с деформацией шкалы времени / инструмент коммутатора блокировки, который замещает нормальный инструмент переключения блока фильтров при активации режима деформации шкалы времени; данный блок фильтров, предпочтительно, аналогичен (IMDCT) нормальному блоку фильтров с добавлением отображения дискретных значений во временной области, обрабатываемых методом окна, из области деформированной шкалы времени в линейную временную область путем зависящей от времени передискретизации;

инструмент MPEG Surround (MPEGS), который создает набор сигналов из одного или нескольких входных сигналов, применяя к входному (входным) сигналу (сигналам) сложную процедуру повышающего микширования, управляемую соответствующими пространственными параметрами; в контексте USAC, MPEGS предпочтительно используется для кодирования многоканального сигнала путем передачи сопутствующей параметрической информации совместно с передаваемым низведенным сигналом;

инструмент классификатора сигналов, который анализирует оригинальный входной сигнал и генерирует из него управляющую информацию, которая запускает выбор различных режимов кодирования; анализ входного сигнала, как правило, зависит от реализации и будет пытаться выбрать оптимальный режим базового кодирования для данного цикла входного сигнала; выходной сигнал классификатора сигналов может, необязательно, использоваться также и для влияния на поведение других инструментов, например, MPEG Surround, усовершенствованного SBR, блока фильтров с деформацией шкалы времени и др.;

инструмент фильтра LPC, который создает сигнал во временной области из сигнала в области возбуждений путем фильтрации реконструированного сигнала возбуждения через фильтр синтеза с линейным предсказанием; и

инструмент ACELP, который обеспечивает способ эффективного представления сигнала возбуждения во временной области путем комбинирования долговременного предсказателя (адаптивного кодового слова) с импульсовидной последовательностью (порождающего кодового слова).

Фиг.30 иллюстрирует вариант осуществления блоков eSBR, показанных на Фиг.28 и 29. Блок eSBR 3000 ниже будет описан в контексте декодера, где входной сигнал блока eSBR 3000 представляет собой низкочастотную составляющую, также известную как нижний диапазон, сигнала и, возможно, дополнительную информацию, относящуюся к специфическим характеристикам сигнала, таким как, например, основная частота Q и/или возможные значения смещений индексов (p₁, p₂). На стороне кодировщика входной сигнал блока eSBR, как правило, будет представлять собой полный сигнал, в то время как выходным сигналом будет дополнительная информация, относящаяся к характеристикам сигнала и/или значениям смещений индексов.

На Фиг.30 низкочастотная составляющая 3013 подается в блок фильтров QMF с целью генерирования частотных диапазонов QMF. Частотные диапазоны QMF не следует ошибочно принимать за анализируемые поддиапазоны, описываемые в настоящем документе. Частотные диапазоны QMF используются с целью манипуляций и объединения низко- и высокочастотной составляющих сигнала в частотной области, а не во временной. Низкочастотная составляющая 3014 подается в блок преобразования 3004, который относится к системам высокочастотной реконструкции, описанным в настоящем документе. Блок преобразования также может получать дополнительную информацию 3011, такую как основная частота Ω кодированного сигнала и/или возможные значения пар смещений индексов (p₁, p₂) для выбора поддиапазонов. Блок преобразования 3004 генерирует высокочастотную составляющую 3012, также известную как высокий диапазон сигнала, которая преобразовывается в частотную область блоком фильтров QMF 3003. Обе преобразованные в область QMF составляющие, низкочастотная и высокочастотная, подаются в блок манипуляций и объединения 3005. Блок 3005 может выполнять коррекцию огибающей высокочастотной составляющей и комбинирует скорректированную высокочастотную составляющую и низкочастотную составляющую. Комбинированный выходной сигнал преобразовывается обратно во временную область блоком обратных фильтров QMF 3001.

Как правило, блоки фильтров QMF включают 64 частотных диапазона QMF. Следует, однако, отметить, что может оказаться полезной понижающая дискретизация низкочастотной составляющей 3013 так, чтобы блок фильтров QMF 3002 требовал лишь 32 частотных диапазона QMF. В этом случае низкочастотная составляющая 3013 имеет ширину полосы пропускания f_s/4, где f_s - частота дискретизации сигнала. С другой стороны, высокочастотная составляющая 3012 имеет полосу пропускания f_s/2.

Способ и система, описанные в настоящем документе, могут быть реализованы как программное обеспечение, встроенное программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут, например, быть реализованы как программное обеспечение, которое запускается в процессоре или микропроцессоре цифровой обработки сигналов. Другие компоненты могут, например, быть реализованы как аппаратные средства и/или специализированные интегральные микросхемы. Сигналы, встречающиеся в описанных способах и системах, могут храниться на носителях данных, таких как память с произвольным доступом (оперативная память) или оптические запоминающие устройства. Они могут передаваться посредством сетей, таких как радиосеть, спутниковые сети связи, беспроводные сети или проводные сети, например, через Интернет. Типичные устройства, использующие способ и систему, описанные в настоящем документе, представляют собой дополнительные внешние устройства и другое оборудование на территории пользователя, которое декодирует звуковые сигналы. На стороне кодирования способ и система могут использоваться как радиовещательные станции, например, в головных узлах видеосистем.

Настоящий документ описывает способ и систему для выполнения высокочастотной реконструкции сигнала на основе низкочастотной составляющей сигнала. Используя комбинации поддиапазонов из низкочастотной составляющей, способ и система позволяют реконструировать частоты и диапазоны частот, которые не могут быть генерированы способами преобразования, известными на текущем уровне техники. Кроме того, описанные способ и система HTR позволяют использовать низкие частоты перехода и/или генерирование больших высокочастотных диапазонов из узких низкочастотных диапазонов.

Изобретение относится к системам звукового кодирования, которые используют способ гармонического преобразования для высокочастотной реконструкции (HFR). Описана система и способ генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Система включает блок анализирующих фильтров, создающий набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Она также включает блок нелинейной обработки, предназначенный для генерирования сигнала синтезируемого поддиапазона с синтезируемой частотой путем модификации фазы первого и второго сигналов анализируемых поддиапазонов из набора сигналов анализируемых поддиапазонов и комбинирования сигналов анализируемых поддиапазонов с модифицированной фазой. В конечном счете, она включает блок синтезирующих фильтров, предназначенный для генерирования высокочастотной составляющей сигнала из сигнала синтезируемого поддиапазона. Технический результат - улучшение эффективности кодирования традиционных кодеков воспринимаемых цифровых аудиосигналов. 4 н. и 25 з.п. ф-лы, 30 ил.

1. Система для генерирования высокочастотной составляющей звукового сигнала из низкочастотной составляющей звукового сигнала, которая содержит:
- блок (301) анализирующих фильтров, создающий набор сигналов анализируемых поддиапазонов низкочастотной составляющей звукового сигнала;
- блок (302) нелинейной обработки, содержащий блок (800-n) преобразования первого порядка (Т-r) и второго порядка r со многими входами и одним выходом, где Т>1; 1≤r<Т, предназначенный для генерирования сигнала (803) синтезируемого поддиапазона с синтезированной частотой (Т-r)ω+r(ω+Ω) путем:
- умножения фазы первого сигнала (801) анализируемого поддиапазона из набора сигналов анализируемых поддиапазонов с первой анализируемой частотой ω на первый порядок преобразования (Т-r);
- умножения фазы второго сигнала (802) анализируемого поддиапазона из набора сигналов анализируемых поддиапазонов со второй анализируемой частотой (ω+Ω) на второй порядок преобразования r и
- комбинирования первого и второго сигналов анализируемых поддиапазонов с умноженными фазами для получения сигнала (803) синтезируемого поддиапазона; и
- блок (303) синтезирующих фильтров, предназначенный для генерирования высокочастотной составляющей звукового сигнала из сигнала синтезируемого поддиапазона.

2. Система по п.1, которая также содержит:
- блок (902) усиления, предназначенный для умножения сигнала (803) синтезируемого поддиапазона на коэффициент усиления.

3. Система по любому из предыдущих пунктов, отличающаяся тем, что блок (302) нелинейной обработки содержит:
- набор блоков (800-n) со многими входами и одним выходом, которые генерируют набор парциальных сигналов (803) синтезируемых поддиапазонов с синтезируемой частотой; и
- блок (702) суммирования поддиапазонов, предназначенный для комбинирования набора парциальных сигналов синтезируемых поддиапазонов.

4. Система по любому из пп.1 и 2, отличающаяся тем, что блок (302) нелинейной обработки также содержит:
- блок (401) прямой обработки, предназначенный для генерирования дополнительного сигнала синтезируемого поддиапазона из третьего сигнала анализируемого поддиапазона из набора сигналов анализируемых поддиапазонов; и
- блок суммирования поддиапазонов, предназначенный для комбинирования сигналов синтезируемых поддиапазонов с синтезируемой частотой.

5. Система по п.4, отличающаяся тем, что
- блок суммирования поддиапазонов игнорирует сигналы синтезируемых поддиапазонов, генерируемые в блоках (800-n) со многими входами и одним выходом, если минимум абсолютного значения первого (801) и второго (802) сигналов анализируемых поддиапазонов меньше заранее заданной доли абсолютного значения сигнала.

6. Система по п.4, отличающаяся тем, что блок (401) прямой обработки содержит:
- блок (401-n) третьего порядка преобразования Т' с одним входом и одним выходом, генерирующий сигнал синтезируемого поддиапазона из третьего сигнала анализируемого поддиапазона, проявляющего третью анализируемую частоту, где
- третий сигнал анализируемого поддиапазона является сигналом с фазой, модифицированной посредством третьего порядка преобразования Т'; Т' больше единицы; и
- синтезируемая частота соответствует третьей анализируемой частоте, умноженной на третий порядок преобразования.

7. Система по п.6, отличающаяся тем, что
- звуковой сигнал содержит основную частоту и
- блок (301) анализирующих фильтров проявляет разнос частот, который связан с основной частотой звукового сигнала.

8. Система по п.6, отличающаяся тем, что
- блок (301) анализирующих фильтров содержит N анализируемых поддиапазонов с практически постоянным расстоянием Δω между поддиапазонами;
- анализируемый поддиапазон связан с индексом n анализируемого поддиапазона, где n∈{1,…,N};
- блок (303) синтезирующих фильтров содержит синтезируемый поддиапазон;
- синтезируемый поддиапазон связан с индексом n синтезируемого поддиапазона и
- каждый синтезируемый поддиапазон и анализируемый поддиапазон с индексом n содержат диапазоны частот, которые соотносятся друг с другом посредством коэффициента Т.

9. Система по п.8, отличающаяся тем, что дополнительно содержит блок выбора индексов, предназначенных для выбора индексов p₁ и р₂, где:
- сигнал (803) синтезируемого поддиапазона связан с синтезируемым поддиапазоном посредством индекса n;
- первый сигнал (801) анализируемого поддиапазона связан с анализируемым поддиапазоном посредством индекса n-p₁;
- второй сигнал (802) анализируемого поддиапазона связан с анализируемым поддиапазоном посредством индекса n+р₂.

10. Система по п.9, отличающаяся тем, что
- блок выбора индексов пригоден для выбора смещений индексов p₁ и р₂ из ограниченного перечня пар (p₁, р₂), который хранится в блоке хранения индексов.

11. Система по п.10, отличающаяся тем, что
- блок выбора индексов пригоден для выбора пары (p₁, р₂) так, чтобы минимальное значение набора, включающего абсолютное значение сигнала первого анализируемого поддиапазона и абсолютное значение сигнала второго анализируемого поддиапазона, было максимизировано.

12. Система по п.9, отличающаяся тем, что блок выбора индексов пригоден для определения ограниченного перечня пар (p₁, р₂) так, чтобы
- смещение индекса p₁=r·I;
- смещение индекса р₂=(Т-r)·I и
- I - положительное целое число.

13. Система по п.12, отличающаяся тем, что
- блок выбора индексов пригоден для выбора параметров I и r так, чтобы минимальное значение набора, включающего абсолютное значение сигнала первого анализируемого поддиапазона и абсолютное значение сигнала второго анализируемого поддиапазона, было максимизировано.

14. Система по п.9, отличающаяся тем, что блок выбора индексов пригоден для выбора смещений индексов p₁ и р₂ на основе характеристик сигнала.

15. Система по п.14, отличающаяся тем, что
- звуковой сигнал содержит основную частоту Ω;
- блок выбора индексов пригоден для выбора смещений индексов p₁ и р₂ так, чтобы
- сумма смещений индексов p₁+p₂ приблизительно равнялась частному Ω/Δω и
- частное p₁/p₂ было кратно r/(Т-r).

16. Система по п.14, отличающаяся тем, что
- звуковой сигнал содержит основную частоту Ω;
- блок выбора индексов пригоден для выбора смещений индексов p₁ и р₂ так, чтобы
- сумма смещений индексов p₁+p₂ приближенно равнялась частному Ω/Δω и
- частное p₁/р₂ было равно r/(Т-r).

17. Система по п.14, которая также содержит:
- окно (2001) анализа, которое выделяет заранее определенный временной интервал низкочастотной составляющей в заранее определенный момент времени k; и
- окно (2201) синтеза, которое выделяет заранее определенный временной интервал высокочастотной составляющей в заранее определенный момент времени k.

18. Система по п.17, отличающаяся тем, что
- окно (2201) синтеза представляет собой масштабированную по времени версию окна (2001) анализа.

19. Система декодирования звукового сигнала, которая содержит:
- базовый декодер (101), предназначенный для декодирования низкочастотной составляющей звукового сигнала;
- блок (102) преобразования по п.1, предназначенный для генерирования высокочастотной составяющей звукового сигнала из низкочастотной составляющей звукового сигнала;
- повышающий дискретизатор (104), предназначенный для выполнения повышающей дискретизации низкочастотной составляющей, дающей на выходе низкочастотную составляющую с повышенной дискретизацией;
- регулятор (103) огибающей, предназначенный для придания формы высокочастотной составляющей; и
- блок суммирования составляющих, предназначенный для определения декодированного сигнала как суммы низкочастотной составляющей с повышенной дискретизацией и скорректированной высокочастотной составляющей.

20. Система по п.19, отличающаяся тем, что также содержит:
- блок приема данных для выбора поддиапазонов, предназначенный для приема информации, позволяющей сделать выбор первого (801) и второго (802) сигналов анализируемых поддиапазонов, из которых должен генерироваться сигнал (803) синтезируемого поддиапазона.

21. Система по п.20, отличающаяся тем, что
- информация связана с основной частотой Ω звукового сигнала.

22. Система по п.20, отличающаяся тем, что
- информация включает перечень пар первых (801) и вторых (802) сигналов анализируемых поддиапазонов.

23. Система по п.19, отличающаяся тем, что также содержит:
- блок приема данных об огибающей, предназначенный для приема информации, относящейся к огибающей высокочастотной составляющей сигнала.

24. Система по п.19, отличающаяся тем, что также содержит:
- блок ввода, предназначенный для приема сигнала, включающего низкочастотную составляющую; и
- блок вывода, предназначенный для предоставления декодированного сигнала, включающего низкочастотную и генерированную высокочастотную составляющие.

25. Способ генерирования высокочастотной составляющей из низкочастотной составляющей звукового сигнала, который включает:
создание (301) первого сигнала поддиапазона низкочастотной составляющей с первой частотой ω и второго сигнала поддиапазона низкочастотной составляющей со второй частотой (ω+Ω);
- умножение фазы первого сигнала (801) поддиапазона с первой частотой ω на первый порядок преобразования (Т-r) для получения первого преобразованного сигнала поддиапазона;
- умножение фазы второго сигнала (802) поддиапазона со второй частотой (ω+Ω) на второй порядок преобразования r для получения второго преобразованного сигнала поддиапазона, где Т>1; а 1≤r<Т; и
- комбинирование (303) первого и второго преобразованных сигналов поддиапазонов с умноженными фазами для получения высокочастотной составляющей с высокой частотой (T·r)·ω+r·(ω+Ω).

26. Способ по п.25, отличающийся тем, что этап создания включает:
- фильтрацию низкочастотной составляющей посредством блока (301) анализирующих фильтров для генерирования первого и второго сигналов поддиапазонов.

27. Способ по любому из пп.25 и 26, отличающийся тем, что этап комбинирования включает:
- умножение первого и второго преобразованных сигналов поддиапазонов для получения сигнала высокого поддиапазона и
- ввод сигнала высокого поддиапазона в блок синтезирующих фильтров для генерирования высокочастотной составляющей.

28. Способ по пп.25 и 27, отличающийся тем, что дополнительно включает:
- декодирование кодированного звукового сигнала для получения низкочастотной составляющей звукового сигнала, где кодированный сигнал получается из оригинального звукового сигнала и представляет только часть частотных поддиапазонов оригинального сигнала ниже частоты (1005) перехода.

29. Дополнительное внешнее устройство для декодирования принятого мультимедийного сигнала, включающего звуковой сигнал, которое содержит:
- базовый декодер (101), предназначенный для декодирования низкочастотной составляющей звукового сигнала;
- блок (102) преобразования по пп.1-24, предназначенный для генерирования высокочастотной составляющей звукового сигнала из низкочастотной составляющей звукового сигнала;
- повышающий дискретизатор (104), предназначенный для выполнения повышающей дискретизации низкочастотной составляющей, дающей на выходе низкочастотную составляющую с повышенной дискретизацией;
- регулятор (103) огибающей, предназначенный для придания формы высокочастотной составляющей; и
- блок суммирования составляющих, предназначенный для определения декодированного сигнала как суммы низкочастотной составляющей с повышенной дискретизацией и скорректированной высокочастотной составляющей.