УСТРОЙСТВО И СПОСОБ ДЛЯ РАСШИРЕНИЯ ДИАПАЗОНА ЧАСТОТ ДЛЯ АКУСТИЧЕСКИХ СИГНАЛОВ Российский патент 2018 года по МПК G10L21/388 G10L19/02 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к обработке аудиосигналов, и, конкретно, к обработке кодирования и декодирования аудиосигналов для расширения диапазона частот аудиосигналов.

Уровень техники

[0002] В передаче данных, чтобы использовать сетевые ресурсы более эффективно, используются аудиокодеки, чтобы сжимать аудиосигналы при низких битрейтах с приемлемым диапазоном субъективного качества. Соответственно, имеется необходимость в увеличении эффективности сжатия, чтобы преодолевать ограничения битрейта при кодировании аудиосигнала.

[0003] Расширение диапазона частот (BWE) является широко используемым техническим приемом в кодировании аудиосигнала, чтобы эффективно сжимать широкополосные (WB) или суперширокополосные (SWB) аудиосигналы при низком битрейте. При кодировании, BWE параметрически представляет сигнал высокочастотного диапазона с использованием декодированного сигнала низкочастотного диапазона. То есть, BWE ищет и идентифицирует часть, подобную поддиапазону сигнала высокочастотного диапазона, из сигнала низкочастотного диапазона для аудиосигнала, и кодирует параметры, которые идентифицируют подобную часть, и передают параметры, при этом BWE обеспечивает возможность осуществлять повторный синтез сигнала высокочастотного диапазона с использованием сигнала низкочастотного диапазона на стороне приема сигнала. Является возможным уменьшать объем информации параметров, подлежащей передаче, посредством использования подобной части сигнала низкочастотного диапазона, вместо прямого кодирования сигнала высокочастотного диапазона, что, таким образом, увеличивает эффективность сжатия.

[0004] Одним из кодеков аудио/речи, который использует функциональную возможность BWE, является G.718-SWB, чьими целевыми применениями являются устройства VoIP, оборудования видеоконференций, оборудования телеконференций и мобильные телефоны.

[0005] Конфигурация G.718-SWB [1] проиллюстрирована на фиг. 1 и 2 (см. например, непатентную литературу (в дальнейшем, упоминаемую как "NPL") 1).

[0006] На стороне устройства кодирования, проиллюстрированной на фиг. 1, аудиосигнал (в дальнейшем, упоминаемый как входной сигнал), дискретизированный при 32 кГц, сначала дискретизируется с понижением в 16 кГц (101). Дискретизированный с понижением сигнал кодируется посредством секции (102) базового кодирования G.718. Расширение диапазона частот SWB выполняется в области MDCT. Входной сигнал 32 кГц преобразуется в область MDCT (103) и обрабатывается посредством секции (104) оценки тональности. На основе оцененной тональности входного сигнала (105), общий режим (106) или синусоидальный режим (108) используется для кодирования первого слоя SWB. Более высокие слои SWB кодируются с использованием дополнительных синусоид (107 и 109).

[0007] Общий режим используется, когда входной сигнал кадра не рассматривается как тональный. В общем режиме, коэффициенты MDCT (спектр) сигнала WB, кодированного посредством секции базового кодирования G.718, используются, чтобы кодировать коэффициенты MDCT (спектр) SWB. Частотный диапазон SWB (7 до 14 кГц) разделяется на несколько поддиапазонов, и наиболее коррелированная часть ищется для каждого поддиапазона из кодированных и нормализованных коэффициентов MDCT WB. Затем, усиление наиболее коррелированной части вычисляется в терминах масштаба, так что воспроизводится уровень амплитуды поддиапазона SWB, чтобы получать параметрическое представление высокочастотной составляющей сигнала SWB.

[0008] Кодирование синусоидального режима используется в кадрах, которые классифицируются как тональные. В синусоидальном режиме, сигнал SWB генерируется посредством добавления конечного набора синусоидальных составляющих к спектру SWB.

[0009] На стороне устройства декодирования, проиллюстрированной на фиг. 2, базовый кодек G.718 декодирует сигнал WB при частоте дискретизации 16 кГц (201). Сигнал WB подвергается постобработке (202), и затем дискретизируется с повышением (203) в частоту дискретизации 32 кГц. Частотные составляющие SWB восстанавливаются посредством расширения диапазона частот SWB. Расширение диапазона частот SWB главным образом выполняется в области MDCT. Общий режим (204) и синусоидальный режим (205) используются для декодирования первого слоя SWB. Более высокие слои SWB декодируются с использованием дополнительного синусоидального режима (206 и 207). Восстановленные коэффициенты MDCT SWB преобразуются во временную область (208), за этим следует постобработка (209), и затем добавляются к сигналу WB, декодированному посредством секции базового декодирования G.718, чтобы восстанавливать выходной сигнал SWB во временной области.

Список ссылочных материалов

Непатентная литература

[0010] NPL 1: ITU-T Recommendation G.718 Amendment 2, New Annex B on super wideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text, March 2010.

Сущность изобретения

Техническая проблема

[0011] Как можно видеть в конфигурации G.718-SWB, расширение диапазона частот SWB входного сигнала выполняется посредством либо синусоидального режима, либо общего режима.

[0012] Для механизма общего кодирования, например, высокочастотные составляющие генерируются (получаются) посредством поиска наиболее коррелированной части из спектра WB. Этот тип подхода обычно страдает от проблем качества функционирования особенно для сигналов с гармониками. Этот подход не поддерживает гармоническое отношение между гармоническими составляющими низкочастотного диапазона (тональными составляющими) и дублированными тональными составляющими высокочастотного диапазона вовсе, что становится причиной неоднозначных спектров, что ухудшает слуховое качество.

[0013] Поэтому, чтобы подавлять воспринимаемый шум (или артефакты), который генерируется вследствие неоднозначных спектров или вследствие возмущения в дублированном спектре сигнала высокочастотного диапазона (высокочастотном спектре), является желательным поддерживать гармоническое отношение между спектром сигнала низкочастотного диапазона (низкочастотным спектром) и высокочастотным спектром.

[0014] Чтобы решить эту проблему, конфигурация G.718-SWB оснащается синусоидальным режимом. Синусоидальный режим кодирует важные тональные составляющие с использованием синусоидальной волны, и, таким образом, он может хорошо поддерживать гармоническую структуру. Однако результирующее качество звука не является достаточно хорошим только за счет простого кодирования составляющей SWB с искусственными тональными сигналами.

Решение проблемы

[0015] Цель настоящего изобретения состоит в том, чтобы улучшить качество функционирования кодирования сигнала с гармониками, который вызывает проблемы качества функционирования в вышеописанном общем режиме, и чтобы обеспечить эффективный способ для поддержки гармонической структуры тональной составляющей между низкочастотным спектром и дублированным высокочастотным спектром, при поддержании тонкой структурой спектров. Сначала, отношение между тональной составляющей низкочастотного спектра и тональной составляющей высокочастотного спектра получается посредством оценки значения гармонической частоты из спектра WB. Затем, низкочастотный спектр, кодированный на стороне устройства кодирования, декодируется, и, согласно индексной информации, часть, которая является наиболее коррелированной с поддиапазоном высокочастотного спектра, копируется в высокочастотный диапазон при регулировке в энергетических уровнях, тем самым, дублируя высокочастотный спектр. Частота тональной составляющей в дублированном высокочастотном спектре идентифицируется или регулируется на основе значения оцененной гармонической частоты.

[0016] Гармоническое отношение между тональными составляющими низкочастотного спектра и тональными составляющими дублированного высокочастотного спектра могут поддерживаться, только когда оценка гармонической частоты является точной. Поэтому, чтобы улучшать точность оценки, до оценки гармонической частоты выполняется коррекция спектральных пиков, составляющих тональные составляющие.

Преимущества изобретения

[0017] Согласно настоящему изобретению, является возможным точно дублировать тональную составляющую в высокочастотном спектре, восстановленном посредством расширения диапазона частот, для входного сигнала с гармонической структурой, и эффективно получать хорошее качество звука при низком битрейте.

Краткое описание чертежей

[0018] Фиг. 1 иллюстрирует конфигурацию устройства кодирования G.718-SWB;

Фиг. 2 иллюстрирует конфигурацию устройства декодирования G.718-SWB;

Фиг. 3 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования согласно варианту 1 осуществления настоящего изобретения;

Фиг. 4 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования согласно варианту 1 осуществления настоящего изобретения;

Фиг. 5 является диаграммой, иллюстрирующей подход для корректировки обнаружения спектральных пиков;

Фиг. 6 является диаграммой, иллюстрирующей пример способа регулировки гармонической частоты;

Фиг. 7 является диаграммой, иллюстрирующей другой пример способа регулировки гармонической частоты;

Фиг. 8 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования согласно варианту 2 осуществления настоящего изобретения;

Фиг. 9 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования согласно варианту 2 осуществления настоящего изобретения;

Фиг. 10 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования согласно варианту 3 осуществления настоящего изобретения;

Фиг. 11 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования согласно варианту 3 осуществления настоящего изобретения;

Фиг. 12 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования согласно варианту 4 осуществления настоящего изобретения;

Фиг. 13 является диаграммой, иллюстрирующей пример способа регулировки гармонической частоты для синтезированного низкочастотного спектра; и

Фиг. 14 является диаграммой, иллюстрирующей пример подхода для вставки отсутствующих гармоник в синтезированный низкочастотный спектр.

Описание вариантов осуществления

[0019] Основной принцип настоящего изобретения описывается в этом разделе с использованием фиг. 3 по 14. Специалисты в данной области техники должны быть способны модифицировать или адаптировать настоящее изобретение без отклонения от сущности изобретения.

[0020] (Вариант 1 осуществления)

Конфигурация кодека согласно настоящему изобретению проиллюстрирована на фиг. 3 и 4.

[0021] На стороне устройства кодирования, проиллюстрированной на фиг. 3, дискретизированный входной сигнал сначала дискретизируется с понижением (301). Дискретизированный с понижением сигнал низкочастотного диапазона (низкочастотный сигнал) кодируется посредством секции (302) базового кодирования. Параметры базового кодирования посылаются в мультиплексор (307), чтобы формировать битовый поток. Входной сигнал преобразуется в сигнал частотной области с использованием секции (303) время-частотного (T/F) преобразования, и его сигнал высокочастотного диапазона (высокочастотный сигнал) разделяется на множество поддиапазонов. Секция кодирования может быть существующим узкополосным или широкополосным аудио или речевым кодеком, и одним примером является G.718. Секция (302) базового кодирования не только выполняет кодирование, но также имеет секцию локального декодирования и секцию время-частотного преобразования, чтобы выполнять локальное декодирование и время-частотное преобразование декодированного сигнала (синтезированного сигнала), чтобы обеспечивать синтезированный низкочастотный сигнал в секцию (304) нормализации энергии. Синтезированный низкочастотный сигнал нормализованной частотной области используется для расширения диапазона частот следующим образом. Сначала, секция (305) поиска подобия идентифицирует часть, которая является наиболее коррелированной с каждым поддиапазоном высокочастотного сигнала входного сигнала, с использованием нормализованного синтезированного низкочастотного сигнала, и посылает индексную информацию в качестве результатов поиска в секцию (307) мультиплексирования. Далее, информация коэффициентов масштаба между наиболее коррелированной частью и каждым поддиапазоном высокочастотного сигнала входного сигнала оценивается (306), и кодированная информация коэффициентов масштаба посылается в секцию (307) мультиплексирования.

[0022] В заключение, секция (307) мультиплексирования объединяет параметры базового кодирования, индексную информацию и информацию коэффициентов масштаба в битовый поток.

[0023] В устройстве декодирования, проиллюстрированном на фиг. 4, секция (401) демультиплексирования распаковывает битовый поток, чтобы получать параметры базового кодирования, индексную информацию и информацию коэффициентов масштаба.

[0024] Секция базового декодирования восстанавливает синтезированные низкочастотные сигналы с использованием параметров базового кодирования (402). Синтезированный низкочастотный сигнал дискретизируется с повышением (403), и используется для расширения диапазона частот (410).

[0025] Это расширение диапазона частот выполняется следующим образом. То есть, синтезированный низкочастотный сигнал является нормализованным по энергии (404), и низкочастотный сигнал, идентифицированный согласно индексной информации, которая идентифицирует часть, которая является наиболее коррелированной с каждым поддиапазоном высокочастотного сигнала входного сигнала, выведенной на стороне устройства кодирования, копируется в высокочастотный диапазон (405), и энергетический уровень регулируется согласно информации коэффициентов масштаба, чтобы достигать того же уровня энергетического уровня высокочастотного сигнала входного сигнала (406).

[0026] Дополнительно, гармоническая частота оценивается из синтезированного низкочастотного спектра (407). Оцененная гармоническая частота используется, чтобы регулировать частоту тональной составляющей в спектре высокочастотного сигнала (408).

[0027] Восстанавливаемый высокочастотный сигнал преобразуется из частотной области во временную область (409), и добавляется к дискретизированному с повышением синтезированному низкочастотному сигналу, чтобы генерировать выходной сигнал во временной области.

[0028] Детальная обработка схемы оценки гармонической частоты будет описываться следующим образом:

1) Из спектра синтезированного низкочастотного сигнала (LF), выбирается часть для оценки гармонической частоты. Выбранная часть должна иметь ясную гармоническую структуру, так что гармоническая частота, оцененная из выбранной части, является надежной. Обычно, для каждой гармоники, ясная гармоническая структура наблюдается от 1 до 2 кГц до приблизительно обрезающей частоты.

2) Выбранная часть разделяется на множество блоков с шириной, близкой к частоте основного тона речи человека (приблизительно 100 до 400 Гц).

3) Ищутся спектральные пики, которые являются спектром, чья амплитуда является максимумом внутри каждого блока, и частоты спектральных пиков, которые являются частотами этих спектральных пиков.

4) Выполняется постобработка над идентифицированными спектральными пиками, чтобы избегать ошибок или улучшать точность в оценке гармонической частоты.

[0029] Спектр, проиллюстрированный на фиг. 5 используется, чтобы описывать пример постобработки.

[0030] На основе спектра синтезированного низкочастотного сигнала, вычисляются спектральные пики и частоты спектральных пиков. Однако спектральный пик с малой амплитудой и в высшей степени коротким расстоянием частоты спектрального пика по отношению к смежному спектральному пику отбрасывается, что избегает ошибок оценки в вычислении значения гармонической частоты.

1) Вычисляется расстояние между идентифицированными частотами спектральных пиков.

2) Гармоническая частота оценивается на основе расстояния между идентифицированными частотами спектральных пиков. Один из способов для оценки гармонической частоты представляется следующим образом:

[1] Расстояние_пик(n)=Положение_пик(n+1)-Положение_пик(n), n∈[1,N-1]

где

Оценка_{Гармоника} является вычисленной гармонической частотой;

Расстояние_пик является частотным расстоянием между положениями обнаруженных пиков;

N является количеством положений обнаруженных пиков;

Положение_пик является положением обнаруженного пика;

[0031] Оценка гармонической частоты также выполняется согласно способу, описанному следующим образом:

1) В спектре синтезированного низкочастотного сигнала (LF), чтобы оценивать гармоническую частоту, выбирается часть, имеющая ясную гармоническую структуру, так что оцененная гармоническая частота является надежной. Обычно, для каждой гармоники, ясная гармоническая структура может рассматриваться от 1 до 2 кГц до приблизительно обрезающей частоты.

2) Спектр и его частота, имеющая максимальную амплитуду (абсолютное значение), идентифицируются внутри выбранной части вышеупомянутого синтезированного низкочастотного сигнала (спектра).

3) Идентифицируется набор спектральных пиков, имеющих, по существу, равное частотное расстояние от спектральной частоты спектра с максимальной амплитудой и в которых абсолютное значение амплитуды превосходит предварительно определенный порог. В качестве предварительно определенного порога, является возможным применять, например, значение, равное удвоенному стандартному отклонению спектральных амплитуд, содержащихся в вышеупомянутой выбранной части.

4) Вычисляется расстояние между вышеупомянутыми частотами спектральных пиков.

5) Гармоническая частота оценивается на основе расстояния между вышеупомянутыми частотами спектральных пиков. Также в этом случае, способ в Уравнении (1) может использоваться, чтобы оценивать гармоническую частоту.

[0032] Имеется случай, где гармоническая составляющая в спектре синтезированного низкочастотного сигнала не кодируется хорошо, при очень низком битрейте. В этом случае, имеется возможность, что некоторые из идентифицированных спектральных пиков могут не соответствовать гармоническим составляющим входных сигналов вовсе. Поэтому, в вычислении гармонической частоты, расстояние между частотами спектральных пиков, которые в значительной степени отличаются от среднего значения, должно исключаться из цели вычисления.

[0033] Также, имеется случай, где не все гармонические составляющие могут кодироваться (означая, что некоторые из гармонических составляющих отсутствуют в спектре синтезированного низкочастотного сигнала) вследствие относительно низкой амплитуды спектрального пика, ограничений битрейта для кодирования, или подобного. В этих случаях, расстояние между частотами спектральных пиков, извлеченными в отсутствующей гармонической части, рассматривается как удвоенное или умноженное на несколько раз расстояние между частотами спектральных пиков, извлеченными в части, которая сохраняет хорошую гармоническую структуру. В этом случае, среднее значение извлеченных значений расстояния между частотами спектральных пиков, где значения включены в предварительно определенный диапазон, включающий в себя максимальное расстояние между частотами спектральных пиков, определяется как значение оцененной гармонической частоты. Таким образом, становится возможным должным образом дублировать высокочастотный спектр. Конкретная процедура содержит следующие этапы:

1) Идентифицируются минимальное и максимальное значения расстояния между частотами спектральных пиков;

[2] Расстояние_пик(n)=Положение_пик(n+1)-Положение_пик(n), n∈[1, N-1]

Расстояние_min=min({Расстояние_пик(n)});

Расстояние_max=max({Расстояние_пик(n)}); (Уравнение 2)

где;

Расстояние_пик является частотным расстоянием между положениями обнаруженных пиков;

Расстояние_min является минимальным частотным расстоянием между положениями обнаруженных пиков;

Расстояние_max является максимальным частотным расстоянием между положениями обнаруженных пиков;

N является количеством положений обнаруженных пиков;

Положение_пик является положением обнаруженного пика;

[0034] 2) Каждое расстояние между частотами спектральных пиков идентифицируется в диапазоне:

[3] [k*Расстояние_min, Расстояние_max], k∈[1, 2]

[0035] 3) Среднее значение идентифицированных значений расстояния между частотами спектральных пиков в вышеупомянутом диапазоне определяется как значение оцененной гармонической частоты.

[0036] Далее, ниже будет описываться один пример схем регулировки гармонической частоты.

[0037] 1) Последний кодированный спектральный пик и его частота спектрального пика идентифицируются в спектре синтезированного низкочастотного сигнала (LF).

2) Спектральный пик и частота спектрального пика идентифицируются внутри высокочастотного спектра, дублированного посредством расширения диапазона частот.

3) С использованием наивысшей частоты спектрального пика в качестве эталона, среди спектральных пиков спектра синтезированного низкочастотного сигнала, регулируются частоты спектральных пиков, так что значения расстояния между частотами спектральных пиков равны оцененному значению расстояния между гармоническими частотами. Эта обработка проиллюстрирована на фиг. 6. Как проиллюстрировано на фиг. 6, сначала, идентифицируются наивысшая частота спектрального пика в спектре синтезированного низкочастотного сигнала и спектральные пики в дублированном высокочастотном спектре. Затем, наименьшая частота спектрального пика в дублированном высокочастотном спектре сдвигается на частоту, имеющую расстояние Оценка_{Гармоника} от наивысшей частоты спектрального пика спектра синтезированного низкочастотного сигнала. Вторая наименьшая частота спектрального пика в дублированном высокочастотном спектре сдвигается на частоту, имеющую расстояние Оценка_{Гармоника} от вышеупомянутой сдвинутой наименьшей частоты спектрального пика. Обработка повторяется до тех пор, когда такая регулировка завершается для каждой частоты спектрального пика спектрального пика в дублированном высокочастотном спектре.

[0038] Также являются возможными схемы регулировки гармонической частоты, как описано ниже.

1) Идентифицируется спектр синтезированного низкочастотного сигнала (LF), имеющий наивысшую частоту спектрального пика.

2) Идентифицируются спектральный пик и частота спектрального пика внутри высокочастотного (HF) спектра, расширенного в терминах диапазона частот посредством расширения диапазона частот.

3) С использованием наивысшей частоты спектрального пика спектра синтезированного низкочастотного сигнала в качестве эталона, вычисляются возможные частоты спектральных пиков в спектре HR. Каждый спектральный пик в высокочастотном спектре, дублированном посредством расширения диапазона частот, сдвигается на частоту, которая является самой близкой к каждой частоте спектрального пика, среди вычисленных частот спектральных пиков. Эта обработка проиллюстрирована на фиг. 7. Как проиллюстрировано на фиг. 7, сначала, извлекаются синтезированный низкочастотный спектр, имеющий наивысшую частоту спектрального пика, и спектральные пики в дублированном высокочастотном спектре. Затем, вычисляется возможная частота спектрального пика в дублированном высокочастотном спектре. Частота, имеющая расстояние Оценка_{Гармоника} от наивысшей частоты спектрального пика спектра синтезированного низкочастотного сигнала, определяется как частота спектрального пика, которая может быть первой частотой спектрального пика в дублированном высокочастотном спектре. Далее, частота, имеющая расстояние Оценка_{Гармоника} от вышеупомянутой частоты спектрального пика, которая может быть первой частотой спектрального пика, определяется как частота спектрального пика, которая может быть второй частотой спектрального пика. Обработка повторяется до тех пор, пока вычисление является возможным в высокочастотном спектре.

[0039] После этого, спектральный пик, извлеченный в дублированном высокочастотном спектре, сдвигается на частоту, которая является самой близкой к частоте спектрального пика, среди возможных частот спектральных пиков, вычисленных, как описано выше.

[0040] Также имеется случай, когда оцененное гармоническое значение Оценка_{Гармоника} не соответствует целочисленному частотному интервалу. В этом случае, частота спектрального пика выбирается, чтобы быть частотным интервалом, который является самым близким к частоте, выведенной на основе Оценка_{Гармоника}.

[0041] Также может быть способ оценки гармонической частоты, в котором предыдущий спектр кадра используется, чтобы оценивать гармоническую частоту, и способ регулировки частот тональных составляющих, в котором учитывается предыдущий спектр кадра, так что переход между кадрами является гладким при регулировке тональной составляющей. Также является возможным регулировать амплитуду, так что, даже когда частоты тональных составляющих сдвигаются, энергетический уровень исходного спектра поддерживается. Все такие незначительные изменения находятся в пределах объема настоящего изобретения.

[0042] Вышеизложенные описания все даны в качестве примеров, и идеи настоящего изобретения не ограничены данными примерами. Специалисты в данной области техники должны быть способны модифицировать и адаптировать настоящее изобретение без отклонения от сущности изобретения.

[0043] Эффект

Способ расширения диапазона частот согласно настоящему изобретению дублирует высокочастотный спектр с использованием спектра синтезированного низкочастотного сигнала, который является наиболее коррелированным с высокочастотным спектром, и сдвигает спектральные пики на оцененные гармонические частоты. Таким образом, становится возможным поддерживать как тонкую структуру спектра, так и гармоническую структуру между спектральными пиками низкочастотного диапазона и дублированного спектральными пиками высокочастотного диапазона.

[0044] (Вариант 2 осуществления)

Вариант 2 осуществления настоящего изобретения проиллюстрирован на фиг. 8 и 9.

[0045] Устройство кодирования согласно варианту 2 осуществления, по существу, является таким же как устройство кодирования из варианта 1 осуществления, за исключением секций (708 и 709) оценки гармонической частоты и секции (710) сравнения гармонических частот.

[0046] Гармоническая частота оценивается отдельно от синтезированного низкочастотного спектра (708) и высокочастотного спектра (709) входного сигнала, и на основе результата сравнения между этими оцененными значениями (710) передается флаговая информация. В качестве одного из примеров, флаговая информация может выводиться как в следующем уравнении:

[4] если

Оценка_{Гармоника_LF}∈[Оценка_{Гармоника_HF}-Порог, Оценка_{Гармоника_HF}+Порог]

Флаг=1

Иначе

Флаг=0 (Уравнение 3)

где

Оценка_{Гармоника_LF} является оцененной гармонической частотой из синтезированного низкочастотного спектра;

Оценка_{Гармоника_HF} является оцененной гармонической частотой из исходного высокочастотного спектра;

Порог является предварительно определенным порогом для разности между Оценка_{Гармоника_LF} и Оценка_{Гармоника_HF};

Флаг является сигналом флага, чтобы указывать, должна ли гармоническая регулировка применяться;

[0047] То есть, гармоническая частота, оцененная из спектра синтезированного низкочастотного сигнала (синтезированного низкочастотного спектра), Оценка_{Гармоника_LF} сравнивается с гармонической частотой, оцененной из высокочастотного спектра входного сигнала, Оценка_{Гармоника_HF}. Когда разность между упомянутыми двумя значениями является достаточно малой, считается, что оценка из синтезированного низкочастотного спектра является достаточно точной, и устанавливается флаг (Флаг=1), что означает, что она может использоваться для регулировки гармонической частоты. С другой стороны, когда разность между упомянутыми двумя значениями не является малой, считается, что оцененное значение из синтезированного низкочастотного спектра не является точным, и устанавливается флаг (Флаг=0), что означает, что оно не должно использоваться для регулировки гармонической частоты.

[0048] На стороне устройства декодирования, проиллюстрированной на фиг. 9, значение флаговой информации определяет, применяется ли или нет регулировка (810) гармонической частоты к дублированному высокочастотному спектру. То есть, в случае Флаг=1, устройство декодирования выполняет регулировку гармонической частоты, тогда как в случае Флаг=0, оно не выполняет регулировку гармонической частоты.

[0049] Эффект

Для нескольких входных сигналов, имеется случай, где гармоническая частота, оцененная из синтезированного низкочастотного спектра, отличается от гармонической частоты высокочастотного спектра входного сигнала. Особенно при низком битрейте, гармоническая структура низкочастотного спектра не поддерживается хорошо. Посредством отправки флаговой информации, становится возможным в избегать регулировки тональной составляющей с использованием неправильно оцененного значения гармонической частоты.

[0050] (Вариант 3 осуществления)

Вариант 3 осуществления настоящего изобретения проиллюстрирован на фиг. 10 и 11.

[0051] Устройство кодирования согласно варианту 3 осуществления, по существу, является таким же как устройство кодирования из варианта 2 осуществления, за исключением дифференциального устройства (910).

[0052] Гармоническая частота оценивается отдельно от синтезированного низкочастотного спектра (908) и высокочастотного спектра (909) входного сигнала. Разность между упомянутыми двумя оцененными гармоническими частотами (Разность) вычисляется (910), и передается стороне устройства декодирования.

[0053] На стороне устройства декодирования, проиллюстрированной на фиг. 11, значение разности (Разность) добавляется к оцененному значению гармонической частоты из синтезированного низкочастотного спектра (1010), и заново вычисленное значение гармонической частоты используется для регулировки гармонической частоты в дублированном высокочастотном спектре.

[0054] Вместо значения разности, гармоническая частота, оцененная из высокочастотного спектра входного сигнала, также может напрямую передаваться в секцию декодирования. Затем, принятое значение гармонической частоты высокочастотного спектра входного сигнала используется, чтобы выполнять регулировку гармонической частоты. Таким образом, становится излишним оценивать гармоническую частоту из синтезированного низкочастотного спектра на стороне устройства декодирования.

[0055] Эффект

Имеется случай, где, для нескольких сигналов, гармоническая частота, оцененная из синтезированного низкочастотного спектра, отличается от гармонической частоты высокочастотного спектра входного сигнала. Поэтому, посредством отправки значения разности, или значения гармонической частоты, выведенного из высокочастотного спектра входного сигнала, становится возможным регулировать тональную составляющую высокочастотного спектра, дублированного посредством расширения диапазона частот, посредством устройства декодирования на стороне приема более точно.

[0056] (Вариант 4 осуществления)

Вариант 4 осуществления настоящего изобретения проиллюстрирован на фиг. 12.

[0057] Устройство кодирования согласно варианту 4 осуществления является таким же как любые другие стандартные устройства кодирования, или является таким же как устройство кодирования в варианте 1, 2 или 3 осуществления.

[0058] На стороне устройства декодирования, проиллюстрированной на фиг. 12, гармоническая частота оценивается из синтезированного низкочастотного спектра (1103). Оцененное значение этой гармонической частоты используется для вставки гармоники (1104) в низкочастотный спектр.

[0059] Особенно когда доступный битрейт является низким, имеется случай, где некоторые из гармонических составляющих низкочастотного спектра жестко кодированы, или не кодированы вовсе. В этом случае, значение оцененной гармонической частоты может использоваться, чтобы вставлять отсутствующие гармонические составляющие.

[0060] Это будет проиллюстрировано на фиг. 13. Можно видеть, из фиг. 13, что имеется отсутствующая гармоническая составляющая в синтезированном низкочастотном (LF) спектре. Ее частота может выводиться с использованием значения оцененной гармонической частоты. Дополнительно, что касается ее амплитуды, например, является возможным использовать среднее значение амплитуд других существующих спектральных пиков или среднее значение амплитуд существующих спектральных пиков, соседних с отсутствующей гармонической составляющей на оси частот. Гармоническая составляющая, сгенерированная согласно частоте и амплитуде, вставляется для восстановления отсутствующей гармонической составляющей.

[0061] Другой подход для вставки отсутствующей гармонической составляющей описывается следующим образом:

1. Гармоническая частота оценивается с использованием кодированного спектра LF (1103).

1.1 Гармоническая частота оценивается с использованием расстояния между частотами спектральных пиков, идентифицированными в кодированном низкочастотном спектре.

1.2 Значения расстояния между частотами спектральных пиков, которые выводятся из отсутствующей гармонической части, становятся удвоенными или умноженными на несколько раз значениями расстояния между частотами спектральных пиков, которые выводятся из части, которая имеет хорошую гармоническую структуру. Такие значения расстояния между частотами спектральных пиков группируются в разные категории, и среднее значение расстояния между частотами спектральных пиков оценивается для каждой из категорий. Подробности этого описываются следующим образом:

a. Идентифицируются минимальное значение и максимальное значение для значения расстояния между частотами спектральных пиков.

[5] Расстояние_пик(n)=Положение_пик(n+1)-Положение_пик(n), n∈[1, N-1]

Расстояние_min=min({Расстояние_пик(n)});

Расстояние_max=max({Расстояние_пик(n)}); (Уравнение 4)

где;

Расстояние_пик является частотным расстоянием между положениями обнаруженных пиков;

Расстояние_min является минимальным частотным расстоянием между положениями обнаруженных пиков;

Расстояние_max является максимальным частотным расстоянием между положениями обнаруженных пиков;

N является количеством положений обнаруженных пиков;

Положение_пик является положением обнаруженного пика;

b. Каждое значение расстояния идентифицируется в диапазоне:

[6] r₁=[Расстояние_min, k*Расстояние_min)

r₂=[k*Расстояние_min, Расстояние_max], 1<k≤2

c. Средние значения для значений расстояния, идентифицированных в вышеупомянутых диапазонах, вычисляются как значения оцененных гармонических частот.

[7]

(Уравнение 5)

где

являются оцененными гармоническими частотами

N₁ является количеством положений обнаруженных пиков, принадлежащих r₁

N₂ является количеством положений обнаруженных пиков, принадлежащих r₂

2. С использованием значений оцененных гармонических частот, вставляются отсутствующие гармонические составляющие.

2.1 Выбранный спектр LF разделяется на несколько областей.

2.2 Отсутствующие гармоники идентифицируются посредством использования информации области и оцененных частот.

Например, предположим, что выбранный спектр LF разделяется на три области r₁, r₂, и r₃.

На основе информации области, гармоники идентифицируются и вставляются.

Вследствие характеристик сигнала для гармоник, спектральный промежуток между гармониками равняется в областях r1 и r2, и равняется в области r3. Эта информация может использоваться для расширения спектра LF. Это иллюстрируется дополнительно на фиг. 14. Можно видеть, из фиг. 14, что имеется отсутствующая гармоническая составляющая в области r₂ спектра LF. Эта частота может выводиться с использованием значения оцененной гармонической частоты .

Аналогично, используется для отслеживания и вставки отсутствующей гармоники в области r₃.

Дополнительно, что касается ее амплитуды, является возможным использовать среднее значение амплитуд всех гармонических составляющих, которые не отсутствуют, или среднее значение амплитуд гармонических составляющих, предшествующих и следующих за отсутствующей гармонической составляющей. Альтернативно, что касается амплитуды, может использоваться спектральный пик с минимальной амплитудой в спектре WB. Гармоническая составляющая, сгенерированная с использованием частоты и амплитуды, вставляется в спектр LF для восстановления отсутствующей гармонической составляющей.

[0062] Эффект

Имеется случай, где синтезированный низкочастотный спектр не поддерживается для нескольких сигналов. Особенно при низком битрейте, имеется возможность, что могут отсутствовать несколько гармонических составляющих. Посредством вставки отсутствующих гармонических составляющих в спектр LF, становится возможным не только расширять LF, но также улучшать гармонические характеристики восстановленных гармоник. Это может подавлять слуховое воздействие вследствие отсутствующих гармоник, чтобы дополнительно улучшать качество звука.

[0063] Раскрытие японской патентной заявки, номер 2013-122985, поданной 11 июня, 2013, включающей в себя описание, чертежи и реферат, включается сюда по ссылке в ее полноте.

Промышленная применимость

[0064] Устройство кодирования, устройство декодирования и способы кодирования и декодирования согласно настоящему изобретению являются применимыми к терминальному устройству беспроводной связи, устройству базовой станции в системе мобильной связи, терминальному устройству телеконференций, терминальному устройству видеоконференций, и терминальному устройству передачи речи по протоколу Интернет (VOIP).

Изобретение относится к средствам для расширения диапазона частот для акустических сигналов. Технический результат заключается в повышении эффективности расширения диапазон частот входных сигналов для повышения качества аудио. Настоящее изобретение устанавливается в устройстве, которое расширяет диапазон частот для кодирования и декодирования аудиосигналов. Это новое кодирование расширения диапазона частот идентифицирует составляющую низкочастотного спектра, имеющую наивысшую корреляцию с сигналом высокочастотного диапазона среди входных сигналов, дублирует высокочастотный спектр посредством регулировки энергии упомянутой составляющей и поддерживает гармоническое отношение между низкочастотным спектром и дублированным высокочастотным спектром посредством регулировки положения спектрального пика дублированного высокочастотного спектра на основе гармонической частоты, оцененной из составного низкочастотного спектра. 4 н. и 3 з.п. ф-лы, 14 ил.

1. Устройство декодирования аудиосигналов, содержащее:

секцию демультиплексирования, которая демультиплексирует параметры кодирования низкого диапазона, индексную информацию и информацию коэффициентов масштаба из кодированной информации, переданной от устройства кодирования, которое кодирует аудиосигнал;

секцию декодирования низкого диапазона, которая декодирует параметры кодирования низкого диапазона, чтобы получать синтезированный низкочастотный спектр;

секцию дублирования спектра, которая дублирует спектр высокочастотного поддиапазона на основе индексной информации с использованием синтезированного низкочастотного спектра; и

секцию регулировки огибающей спектра, которая регулирует амплитуду дублированного спектра высокочастотного поддиапазона с использованием информации коэффициентов масштаба,

секцию оценки гармонической частоты, которая оценивает частоту гармонической составляющей в синтезированном низкочастотном спектре; и

секцию регулировки гармонической частоты, которая регулирует частоту гармонической составляющей в спектре высокочастотного поддиапазона с использованием гармонической частоты, оцененной с использованием синтезированного низкочастотного спектра; и

секцию вывода, которая генерирует выходной сигнал, используя синтезированный низкочастотный спектр и спектр высокочастотного поддиапазона.

2. Устройство декодирования аудиосигналов по п. 1,

в котором

секция оценки гармонической частоты содержит:

секцию разделения, которая разделяет предварительно выбранную часть синтезированного низкочастотного спектра на предварительно определенное количество блоков;

секцию идентификации спектральных пиков, которая определяет спектр (спектральный пик), имеющий максимальную амплитуду в каждом блоке, и частоту спектрального пика;

секцию вычисления расстояния, которая вычисляет расстояние между идентифицированными частотами спектральных пиков; и

секцию вычисления гармонической частоты, которая вычисляет гармоническую частоту с использованием расстояния между идентифицированными частотами спектральных пиков.

3. Устройство декодирования аудиосигналов по п. 1,

в котором

секция оценки гармонической частоты содержит:

секцию идентификации спектральных пиков, которая идентифицирует спектр, имеющий максимальное абсолютное значение амплитуды в предварительно выбранной части синтезированного низкочастотного спектра, и спектры, которые располагаются на, по существу, регулярном расстоянии от спектра на оси частот и которые имеют амплитуду, у которой абсолютное значение равняется или больше, чем предварительно определенный порог;

секцию вычисления расстояния, которая вычисляет расстояние между частотами идентифицированных спектральных пиков; и

секцию вычисления гармонической частоты, которая вычисляет гармоническую частоту с использованием расстояния между частотами идентифицированных спектров.

4. Устройство декодирования аудиосигналов по п. 2,

в котором

секция регулировки содержит:

секцию идентификации низкочастотных спектральных пиков, которая идентифицирует наивысшую частоту спектральных пиков в синтезированном низкочастотном спектре;

секцию идентификации высокочастотных спектральных пиков, которая идентифицирует множество частот спектральных пиков в дублированном спектре высокочастотного поддиапазона; и

вторую секцию регулировки, которая использует, в качестве эталона, наивысшую частоту спектральных пиков в синтезированном низкочастотном спектре для регулировки множества частот спектральных пиков, так что расстояние между множеством частот спектральных пиков равняется оцененной гармонической частоте.

5. Устройство кодирования аудиосигналов, содержащее:

секцию кодирования низкого диапазона, которая кодирует низкочастотный аудиосигнал, и выводит синтезированный низкочастотный спектр, и генерирует параметры низкого диапазона, и выводит параметры;

секцию разделения поддиапазона, которая преобразовывает высокочастотный аудиосигнал в частотный спектр и разделяет высокочастотный спектр на множество поддиапазонов (в дальнейшем, высокочастотных поддиапазонов), причем высокочастотный спектр получают, используя время-частотное преобразование входного аудиосигнала;

секцию поиска, которая идентифицирует наиболее коррелированную часть из синтезированного низкочастотного спектра для каждого из высокочастотных поддиапазонов и выводит результат идентификации в качестве индексной информации;

секцию оценки коэффициентов масштаба, которая оценивает коэффициент масштаба энергии между каждым из высокочастотных поддиапазонов и наиболее коррелированной частью, идентифицированной из синтезированного низкочастотного спектра, и выводит коэффициент масштаба в качестве информации коэффициентов масштаба; и

секцию оценки гармонической частоты, которая оценивает и выводит гармоническую частоту синтезированного низкочастотного спектра и гармоническую частоту преобразованного входного сигнала; и

секцию мультиплексирования, которая мультиплексирует низкочастотный параметр, индексную информацию и информацию коэффициента масштаба.

6. Способ декодирования аудиосигналов, содержащий:

демультиплексирование параметров кодирования низкого диапазона, индексной информации и информации коэффициента масштаба из кодированной информации, переданной от устройства кодирования, которое кодирует аудиосигнал;

декодирование параметров кодирования низкого диапазона для получения синтезированного низкочастотного спектра;

дублирование спектра высокочастотного поддиапазона на основании индексной информации, используя синтезированный низкочастотный спектр; и

регулирование амплитуды дублированного спектра высокочастотного поддиапазона, используя информацию коэффициентов масштаба;

оценку частоты гармонической составляющей в синтезированном низкочастотном спектре;

регулирование частоты гармонической составляющей в спектре высокочастотного поддиапазона, используя оцененный спектр гармонической частоты; и

генерирование выходного сигнала, используя синтезированный низкочастотный спектр и спектр высокочастотного поддиапазона.

7. Способ кодирования аудиосигналов, содержащий:

кодирование низкочастотного аудиосигнала, и вывод синтезированного низкочастотного спектра, и генерирование параметров низкого диапазона, и вывод упомянутых параметров;

преобразование высокочастотного аудиосигнала в частотный спектр;

разделение высокочастотного спектра на множество поддиапазонов (в дальнейшем высокочастотные поддиапазоны), при этом высокочастотный спектр получают, используя время-частотное преобразование входного аудиосигнала;

идентификацию наиболее коррелированной части из синтезированного низкочастотного спектра для каждого из высокочастотных диапазонов;

вывод результатов идентификации в качестве индексной информации;

оценку коэффициентов масштаба энергии между каждым из высокочастотных поддиапазонов и наиболее коррелированной частью, идентифицированной из синтезированного низкочастотного спектра, и вывод коэффициента масштаба в качестве информации коэффициента масштаба;

оценку гармонической частоты синтезированного низкочастотного спектра и гармонической частоты преобразованного входного аудиосигнала; и

мультиплексирование параметра низкого диапазона, индексной информации и информации коэффициента масштаба.