УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ АУДИО СИГНАЛА Российский патент 2014 года по МПК G10L19/02 

Настоящее изобретение относится к схеме обработки аудио сигнала с помощью изменения фаз спектральных значений звукового сигнала, реализуемого в схеме расширения диапазона частот (BWE).

Хранение или передача звуковых сигналов часто становятся объектом строгих ограничений по битрейту [максимальное количество бит, которое можно передать в единицу времени]. До настоящего времени кодировщики были вынуждены резко уменьшать передаваемый диапазон аудио частот, кроме случаев, когда был возможен очень низкий битрейт. Современные аудио кодировщики имеют возможность кодирования широкополосных сигналов с помощью способов расширения диапазона частот, как описано в М.Dietz, L.Liljeryd, K.Kjörling and O.Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S.Meltzer, R.Böhm and F.Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002; Т.Ziegler, A.Ehret, P.Ekstrand and М.Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu lyengar et al.; E.Larsen, R.М.Aarts, and М.Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; R.М.Aarts, E.Larsen, and O. Ouweltjes. A unified approach to low- and high frequency bandwidth extension. In AES 115th Convention, New York, USA, October 2003; K.Käyhkö. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001; E.Larsen and R.М.Aarts. Audio Bandwidth Extension-Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004; E.Larsen, R.М.Aarts, and М.Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; J.Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973; United States Patent Application 08/951,029, Ohmori, et al. Audio band width extending system and method and United States Patent 6895375, Malah, D & Cox, R.V.: System for bandwidth extension of Narrow-band speech. Эти алгоритмы используют параметрическое представление высокочастотного контента [содержания] (ВЧ), которое генерируется из закодированной низкочастотной части (НЧ) декодированного сигнала с помощью перестановки в ВЧ-область спектра ("патчирования" [патч-программное средство, используемое для устранения проблем, изменения или улучшения работы существующих функций]) и использования параметров, полученных в результате последующей обработки.

В последнее время используется новый алгоритм, основанный на применении фазового вокодера, который, например, представлен в следующих публикациях: М.Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.", Röbel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html; Laroche L., Dolson М.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp.323-332 and United States Patent 6549884 Laroche, J. & Dolson, М.: Phase-vocoder pitch-shifting for the patch generation, has been presented in Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009. Однако этот способ, называемый "гармоническим продолжением диапазона частот" (НВЕ), подвержен деградации качества переходных процессов, содержащихся в звуковом сигнале, как описано в следующих публикациях: Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs," 126th AES Convention, Munich, Germany, May 2009, при этом в стандартном алгоритме фазового вокодера не гарантируется сохранность вертикальной когерентности по поддиапазонам и, кроме того, при пересчете дискретного преобразования Фурье (DFT) фазы должны быть разделены на изолированные временные блоки преобразования, косвенным образом предполагающие циклическую периодичность.

Известно, что из-за наличия блока обработки фазовым вокодером можно наблюдать, два вида искажений. Это, в частности, дисперсия сигнала и временной алиасинг [наложение], связанный с эффектами временной циклической свертки сигнала за счет применения новых рассчитанных фаз.

Другими словами, путем применения модификации фазы спектральных значений звукового сигнала в BWE алгоритме, переходные процессы, содержащихся в блоке звукового сигнала, могут быть обработаны в пределах блока, т.е. циклически заведены обратно в блок. Это приводит к временному алиасингу и, как следствие, приводит к деградации звукового сигнала.

Поэтому необходимо использовать способы для специальной обработки частей сигнала, содержащих переходные процессы. Однако, при использовании BWE алгоритма, выполняемого декодировщиком в цепи кодирования, вычислительная сложность является серьезной проблемой. Соответственно, желательно применять меры по борьбе с только что упомянутой деградацией аудио сигнала, не приводящие к увеличению стоимости и значительному увеличению вычислительной сложности.

Объектом настоящего изобретения является схема для обработки аудио сигнала путем изменения фаз спектральных значений звукового сигнала, например, на основе схемы BWE, которая позволяет достичь лучшего компромисса между уменьшением только что упомянутой деградации и вычислительной сложности.

Эта задача решается с помощью устройства по п.1 или способом по п.19, или компьютерной программы по п.20.

Основной идеей изобретения является то, что вышеупомянутый улучшенный компромисс может быть достигнут, если хотя бы один добавленный блок аудио выборок, содержащий добавленные значения, и значения аудио сигнала генерируются до того, как во вспомогательном блоке проводится изменение фаз спектральных значений. При использовании такого подхода может предотвращаться возникновение или по крайней мере станет менее вероятным дрейф контента [содержания] сигнала к границам блока из-за изменения [модификации] фазы и соответствующего алиасинга во времени, следовательно, качество звука обеспечивается с меньшими усилиями.

Замысел изобретения связан с обработкой аудио сигнала и основан на генерации множества последовательных блоков выборок, содержащих, по крайней мере один добавленный блок аудио выборок, имеющий добавленные значения и значения аудио сигнала. Добавленный блок затем преобразуется в спектральное представление, имеющее спектральные значения. Спектральные значения затем изменяются для получения модифицированного спектрального представления. Наконец, модифицированное спектральное представление преобразуется в измененный во временной области звуковой сигнал. Диапазон значений, которые использовались в качестве добавленных, затем может быть удален.

Согласно варианту осуществления настоящего изобретения, добавленный блок создается путем введения добавленных значений, предпочтительно состоящих из нулевых значений, до или после временного блока.

Согласно варианту изобретения, количество добавленных блоков ограничено теми, которые содержат переходные процессы, предотвращая тем самым использование дополнительных вычислительных затрат на обработку этих процессов. Если сформулировать более конкретно, блок обрабатывается лучшим образом, например, с помощью BWE алгоритма, если в этом блоке звукового сигнала обнаружены переходные процессы, представленные в виде добавленного блока, а другой блок звукового сигнала обрабатывается так же, как обычный блок, имеющий значения аудио сигнала только в соответствии со стандартным вариантом BWE алгоритма, когда в блоке не обнаружены переходные процессы. С помощью избирательного переключения между стандартной и улучшенной обработкой, вычислительные затраты в среднем могут быть значительно уменьшены, что позволяет, например, уменьшить скорости обращения к процессору и памяти.

Согласно вариантам осуществления настоящего изобретения, вспомогательные значения располагаются до и/или после временного блока, в котором обнаружен переходной процесс, так что добавленный блок приспособлен для преобразования между временной и частотной областями с помощью первого и второго преобразователя, реализуемых, например, в DFT и IDFT процессорах, соответственно. Предпочтительным решением была бы организация заполнения симметрично относительно временного блока.

Согласно одному из вариантов, по крайней мере один добавленный блок создается путем включения добавленных значений, таких как нулевые значения, в блок аудио выборок аудио сигнала. Кроме того, функция анализа окна, имеющая по крайней мере один охранный интервал, добавляется в начальное положение функции окна или конечное положение функции окна, и используется для формирования добавленного блока путем применения этой функции анализа окна к блоку аудио выборки звукового сигнала. Оконная функция может включать, например, окно Ханна с охранными интервалами.

Далее варианты осуществления настоящего изобретения поясняются со ссылкой на прилагаемые чертежи, на которых:

на фиг.1 показана блок-схема воплощения для работы с аудио сигналом;

на фиг.2 показана блок-схема воплощения для выполнения расширения диапазона частот звукового сигнала;

на фиг.3 показана блок-схема воплощения для выполнения алгоритма расширения диапазона частот с использованием различных коэффициентов BWE;

на фиг.4 показана блок-схема другого варианта изобретения для преобразования добавленного блока или обычного блока с использованием детектора переходных процессов;

на фиг.5 показана блок-схема реализации воплощения фиг.4;

на фиг.6 показана блок-схема другого варианта реализации воплощения фиг.4;

на фиг.7а показан график типичного блока сигнала до и после модификации фазы для иллюстрации влияния изменения фазы на форму сигнала с переходным процессом в центре временного блока;

на фиг.7б показан график типичного блока сигнала до и после модификации фазы для иллюстрации влияния изменения фазы на форму сигнала с переходным процессом в непосредственной близости от первой выборки временного блока;

на фиг.8 показана блок схема обзор другого воплощения настоящего изобретения;

на фиг.9а показан график типичной функции анализа окна в виде окна Ханна с охранным интервалом, в котором охранный интервал характеризуются нулевыми значениями, окна, которое используется в альтернативных вариантах осуществления настоящего изобретения;

на фиг.9б показан график типичной функции анализа окна в виде окна Ханна с охранным интервалом, в котором охранный интервал заполняется искусственным сигналом, такое окно используется в дальнейших альтернативных вариантах осуществления настоящего изобретения;

на фиг.10 показано схематическое изображение для обработки спектрального диапазона аудио сигнала в схеме расширения диапазона частот;

на фиг.11 показано схематическое изображение для дополнительной операции перекрытия в контексте схемы расширения диапазона частот;

на фиг.12 показана блок-схема и схематическое изображение для реализации альтернативного варианта, основанного на фиг.4; и

на фиг.13 показана блок-схема для реализации типичного гармонического расширения диапазона частот (НВЕ).

На фиг.1 показано устройство для работы с аудио сигналом в соответствии с вариантом осуществления настоящего изобретения. Аппаратная часть содержит модуль обработки окна 102, который имеет вход 100 аудио сигнала. В модуле обработки окна 102 реализована возможность генерации множества последовательных блоков выборок, которое содержит по меньшей мере один добавленный блок. Добавленный блок, в частности, содержит добавленные значения и значения аудио сигнала. Добавленный блок формируется на выходе 103 модуля обработки окна 102 и подается на первый преобразователь 104, который используется для преобразования добавленного блока 103 в спектральное представление, имеющее спектральные значения. Спектральные значения на выходе 105 первого преобразователя 104 затем подаются на модификатор фазы 106. В модификаторе фазы 106 реализована функциональная возможность изменения фазы спектральных значений 105 для получения модифицированного спектрального представления 107. Затем выход 107 подается на второй преобразователя 108, который используется для преобразования модифицированного спектрального представления 107 в измененный во временной области звуковой сигнал 109. Выход 109 второго преобразователя 108 затем может быть подключен к модулю передискретизации, который необходим для расширения диапазона частот схемы, как это обсуждалось в связи с фиг.2, 3 и 8.

На фиг.2 показано схематическое изображение воплощения для выполнения алгоритма расширения диапазона частот с использованием коэффициента расширения диапазона частот (σ). Для этого звуковой сигнал 100 подается в модуль обработки окна 102, который включает в себя процессор анализа окна 110 и последующий модуль формирования добавленных значений 112. В варианте изобретения в процессоре анализа окна 110 реализована возможность генерации множества последовательных блоков, имеющих одинаковый размер. Выход процессора анализа окна 110 затем подключен к модулю формирования добавленных значений 112. В частности, модуль формирования добавленных значений 112 используется для искусственного увеличения блока на множество последовательных блоков на выходе 111 процессора анализа окна 110 для формирования добавленного блока на выходе 103 модуля формирования добавленных значений 112. На этом этапе добавленный блок получается с помощью включения вспомогательных значений для заданных моментов времени перед первой выборкой последовательных блоков выборок или после последней выборки последовательных блоков выборок. Добавленный блок 103 далее преобразуется первым преобразователем 104 для получения спектрального представления на выходе 105. Кроме того, для извлечения диапазона частот сигнала 113 из спектрального представления 105 или аудио сигнала 100 используется полосно-пропускающий фильтр 114. Характеристику полосы пропускания фильтра 114 выбирают таким образом, чтобы полоса пропускания сигнала 113 совпадала с соответствующим диапазоном частот. При этом полосовой фильтр 114 получает коэффициент расширения диапазона частот (σ), который также присутствует на выходе 115 потока данных модификатора фазы 106. В одном из вариантов осуществления настоящего изобретения коэффициент расширения диапазона частот (σ) равен 2,0 и предназначен для выполнения алгоритма расширения диапазона частот. В случае, если звуковой сигнал 100 имеет, например, частотный диапазон от 0 до 4 кГц, полосовой фильтр 114 извлечет диапазон частот от 2 до 4 кГц, таким образом, что полоса пропускания сигнала 113 будет преобразована с использованием соответствующего BWE алгоритма в требуемый диапазон частот от 4 до 8 кГц при условии, что коэффициент расширения диапазона частот (σ), например равный 2,0, применяется для выбора соответствующего полосового фильтра 114 (см. фиг.10). Спектральное представление полосового сигнала на выходе 113 из полосно-пропускающего фильтра 114 содержит информацию об амплитуде и фазе, которые затем обрабатываются в модуле масштабирования 116 и модификаторе фазы 106, соответственно. Модуль масштабирования 116 выполняет масштабирование амплитудной информации спектральных значений 113 с коэффициентом, который зависит от перекрытия добавленных характеристик, в котором учитывается отношение первого интервала времени (а) перекрытия добавленных характеристик, применяемого в модуле обработки окна 102 и другого интервала времени (b), применяемого в потоке данных сумматоре перекрытия 124.

Например, если есть перекрытие добавленных характеристик шести последовательных блоков звуковых выборок, имеющих первый диапазон времени (а), и отношение второго интервала времени (b) к первому диапазону времени (а) равно b/a=2, то коэффициент b/a×1/6 будет применяться в модуле масштабирования 116 для масштабирования спектральных значений на выходе 113 (см. фиг.11), в предположении прямоугольных окон анализа.

Тем не менее, такое специальное масштабирование амплитуды может быть применено только, когда сокращение потока данных производится для последующего добавленного перекрытия. В случае, если сокращение производится перед добавленным перекрытием, сокращение может влиять на амплитуды спектральных значений, которые обычно вычисляются в модуле масштабирования 116.

Модификатор фазы 106 настроен, соответственно, на масштабирование или копирование фаз спектральных значений 113 полосы звукового сигнала с коэффициентом расширения диапазона частот (σ), так что по крайней мере одна выборка из последовательного блока выборок сворачивается в блок с помощью циклической свертки.

Влияние циклической свертки основано на циклической периодичности, которая является нежелательным побочным эффектом в первом 104 и втором преобразователях 108, и показано на фиг.7 на примере переходного процесса 700, расположенного в центре окна анализа 704 (фиг.7а) и переходного процесса 702 в непосредственной близости от границы окна анализа 704 (фиг.7б).

На фиг.7а показан переходной процесс 700, расположенный в центре окна анализа 704, т.е. внутри блока последовательных звуковых выборок, имеющих длину выборки 706, включающего, например, 1001 выборку с первой выборкой 708 и последнюю выборку 710 последовательного блока. Исходный сигнал 700 обозначен тонкой пунктирной линией. После преобразования в первом преобразователе 104 с последующим использованием модификации фазы, например, путем обработки спектра исходного сигнала фазовым вокодером, переходной процесс 700 и после преобразования во втором преобразователе 108 будет сдвинут и циклически свернут обратно в окно анализа 704, т.е. при этом циклическая свертка переходного процесса 701 все еще будет находиться внутри окна анализа 704. Циклическая свертка переходного процесса 701 обозначается жирной линией и обозначается "нет охранного интервала".

Фиг.7б показывает исходный сигнал, содержащий переходной процесс 702 вблизи от первой выборки 708 окна анализа 704. Исходный сигнал с переходным процессом 702 также показан тонкой пунктирной линией. В этом случае после преобразования в первом преобразователе 104 с последующим применением модификации фазы, переходной процесс 702 после преобразования во втором преобразователе 108 будет сдвинут и циклически свернут обратно в окно анализа 704, таким образом, будет получена циклическая свертка переходного процесса 703, что показано толстой линией и обозначением "нет охранного интервала". Здесь генерируется циклическая свертка переходного процесса 703, поскольку по крайней мере часть переходного процесса 702 сдвигается перед первой выборкой 708 окна анализа 704 вследствие модификации фазы, что приводит к циклической свертке переходного процесса 703. В частности, как видно на фиг.7b, часть переходного процесса 702, которая выходит за пределы окна анализа 704, возвращается обратно (часть 705) левее последней выборки 710 окна анализа 704 из-за эффекта циклической периодичности.

Изменение спектрального представления, включающего изменение амплитудной информации с выхода 117 модуля масштабирования 116, и измененную фазовую информацию с выхода 107 модификатора фазы 106 подается во второй модуль преобразователя 108, который настроен на преобразование модифицированного спектрального представления в изменение звукового сигнала во временной области на выходе 109 второго преобразователя 108. Изменение во временной области аудио сигнала на выходе 109 второго преобразователя 108 может быть передано на модуль удаления заполнения 118. В модуле удаления заполнения 118 реализована возможность удаления этих выборок из измененного во временной области звукового сигнала, выборок, которые соответствуют выборкам добавленных значений, введенных для генерации добавленного блока на выходе 103 модуля обработки окна 102 перед модификацией фазы, в модуле удаления заполнения 118 применяется обработка модификатором фазы 106 последующего потока данных. Точнее, выборки удаляются в такие моменты времени модифицированного во временной области звукового сигнала, которые соответствуют указанным моментам времени, для которых добавленные значения вставляются перед модификацией фазы.

В одном из вариантов изобретения, добавленные значения симметрично вставляются перед первой выборкой 708 и после последней выборки 710 последовательного блока аудио выборок, как, например, показано на фиг.7, так что образуются две симметричные охранные зоны 712, 714, вмещающие в центре последовательные блоки, имеющие длину выборок 706. В этом симметричном случае, охранные зоны или "охранные интервалы" [охранный интервал - это циклическое повторение окончания символа, пристраиваемое вначале символа) (Суть сверточного кодирования заключается в том, что к последовательности передаваемых битов добавляются служебные биты, значения которых зависят от нескольких предыдущих переданных битов (Стандарт IEEE 802.11а))] 712, 714, соответственно, могут быть удалены из добавленных блоков в модуле удаления заполнения 118 после модификации фазы спектральных значений и их последующего преобразования в измененный во временной области звуковой сигнал так, чтобы на выходе 119 модуля удаления заполнения 118 получить последовательный блок, из которого исключены только добавленные значения.

В альтернативной реализации, охранный интервал не удаляется в модуле удаления заполнения 118 на выходе 109 второго преобразователя 108, так что изменение во временной области добавленного блока звукового сигнала будет иметь длину выборки 716, включая длину выборки 706 в центре последовательного блока и длины выборок 712, 714 из охранных интервалов. Затем этот сигнал может быть обработан на последующих стадиях обработки вплоть до сумматора перекрытия 124, как показано на блок-схеме фиг.2. В случае, если модуль удаления заполнения 118 отсутствует, эта обработка, включающая операции в охранном интервале, может быть также интерпретирована как передискретизация сигнала. Хотя модуль удаления заполнения 118 не требуется в вариантах осуществления настоящего изобретения, целесообразно его использовать, как показано на фиг.2, так как присутствующий на выходе 119 сигнал уже будет иметь такую же длину выборки, как в исходном последовательном блоке или блоке без добавленных значений, которые имеются на выходе 111 процессора анализа окна 110 перед этапом создания данных в модуле формирования добавленных значений 112. Таким образом, последующие этапы обработки будут адаптированы к сигналу на выходе 119.

Предпочтительно, чтобы измененный во временной области аудио сигнал на выходе 119 модуля удаления заполнения 118 подавался на модуль передискретизации 120. Модуль передискретизации 120 можно создать на основе простого преобразователя частоты дискретизации, который в своей работе использует коэффициент расширения диапазона частот (σ) для сокращения сигнала во временной области на выходе 121 модуля передискретизации 120. Здесь, параметры сокращения зависят от характеристики модификации фазы, предоставляемые модификатором фазы 106 на выходе 115. В одном из вариантов изобретения, коэффициент расширения диапазона частот σ=2 поступает на модификатор фазы 106 через выход 115 на модуль передискретизации 120, так что каждая вторая выборка будет удалена из модифицированного во временной области аудио сигнала на выходе 119, в результате чего сигнал на выходе 121 будет сокращен во временной области.

Сокращенный во временной области сигнал, присутствующий на выходе 121 модуля передискретизации 120, впоследствии подается в модуль синтеза окна 122, в котором реализуется функция синтеза окна, например, для сокращеннного во временной области сигнала, причем функция синтеза окна соответствует функции анализа, применяемой в процессоре анализа окна 110 модуля обработки окна 102. Здесь функция синтеза окна может быть согласована с функцией анализа таким образом, что применение функции синтеза компенсирует влияние функции анализа. Кроме того, модуль синтеза окна 122 также может быть использован для работы с измененным во временной области сигналом на выходе 109 второго преобразователя 108.

Сокращенный и обработанный в окне сигнал во временной области с выхода 123 модуля синтеза окна 122 затем подается на сумматор перекрытия 124. Здесь, сумматор перекрытия 124 получает информацию о первом промежутке времени для операции добавления перекрытия (а), выполняемой в модуле обработки окна 102, и коэффициенте расширения диапазона частот (σ), используемом в модификаторе фазы 106 на выходе 115. Для сокращения и обработки в окне сигнала во временной области сумматор перекрытия 124 использует другой промежуток времени (б), который больше первого промежутка времени (а). В случае, если сокращение производится после добавленного перекрытия, условие σ=b/а может быть выполнено в соответствии со схемой расширения диапазона частот. Тем не менее, в варианте, показанном на фиг.2, сокращение производится перед добавленным перекрытием, так что сокращение может иметь влияние на вышеуказанное условие, которые обычно используется в сумматоре перекрытия 124.

В предпочтительном варианте, аппаратная часть, показанная на фиг.2 сконфигурирована для выполнения BWE алгоритма, который включает в себя коэффициент расширения диапазона частот (σ), в котором коэффициент расширения диапазона частот (σ) управляет расширением частот от диапазона аудио сигнала до требуемого диапазона частот. Таким образом, сигнал в требуемом диапазоне частот в зависимости от коэффициента расширения диапазона частот (σ) может быть получен на выходе 125 сумматора перекрытия 124.

В контексте BWE алгоритма, в сумматоре перекрытия 124 реализована возможность расширения аудио сигнала во времени на расстояние между последовательными блоками входного сигнала, находящимися во временной области дальше друг от друга, чем исходное перекрытие последовательных блоков аудио сигнала, для получения расширенного сигнала. В случае, например, если сокращение производится после добавленного перекрытия, с коэффициентом расширения во времени 2,0, то это приведет к увеличению продолжительности исходного аудио сигнала 100 сигнала в два раза. Последующее сокращение с соответствующим коэффициентом сокращения 2,0, например, приведет к сокращению, и диапазон частот расширенного сигнала будет снова иметь исходную продолжительность звукового сигнала 100. Однако в случае, если модуль передискретизации 120 установлен перед сумматором перекрытия 124, как показано на фиг.2, модуль передискретизации 120 может быть сконфигурирован для работы с коэффициентом расширения диапазона частот (σ), превышающем 2,0, так что, например, каждая вторая выборка удаляется из входного сигнала во временной области, в результате чего происходит сокращение сигнала во временной области в два раза по сравнению с продолжительностью исходного звукового сигнала 100. Одновременно сигнал после полосовой фильтрации в диапазоне частот, например, от 2 до 4 кГц, будет иметь расширенный диапазон частот с коэффициентом 2,0, что преобразует сигнал 121 в соответствующий желаемый диапазон частот, например, от 4 до 8 кГц после сокращения. Впоследствии сокращенный сигнал и сигнал с расширенным диапазоном частот могут быть расширены во времени до исходной продолжительности звукового сигнала 100 на выходе сумматора перекрытия 124. Описанная выше обработка, в основном, связана с принципом фазового вокодера.

Сигнал в желаемом диапазоне частот с выхода 125 сумматора перекрытия 124 поступает на регулятор огибающей 130. Переданные параметры, полученные на основе звукового сигнала 100, поступают на вход 101 регулятора огибающей 130, в котором реализована возможность настройки огибающей сигнала на выходе 125 сумматоре перекрытия 124, определенным образом, так что на выходе 129 регулятора огибающей 130 формируется скорректированный сигнал, который имеет отрегулированную огибающую и/или исправленную тональность.

На фиг.3 показана блок-схема варианта осуществления настоящего изобретения, в котором аппаратная часть настроена для выполнения алгоритма расширения диапазона частот с использованием различных BWE коэффициентов (σ) как, например, σ=2, 3, 4, …. Первоначально параметры алгоритма расширения диапазона частот направляются на вход 128 всех устройств, работающих совместно с BWE коэффициентами (σ). К ним относятся, в частности, первый преобразователь 104, модификатор фазы 106, второй преобразователь 108, модуль передискретизации 120 и сумматор перекрытия 124, как показано на фиг.3. Как описано выше, последовательное выполнение работающими устройствами алгоритма расширения диапазона частот реализуются таким образом, что для разных коэффициентов BWE (σ) на входе 128 формируются соответствующие изменения во временной области звуковых сигналов на выходах 121-1, 121-2, 121-3, … модуля передискретизации 120, для которых характерны различные целевые диапазоны частот или участки диапазонов, соответственно. Затем, различные изменения аудио сигналов во временной области обрабатываются сумматором перекрытия 124 на основе различных BWE коэффициентов (σ), что приводит к различным добавленным значениям перекрытия на выходах 125-1, 125-2, 125-3, … сумматора перекрытия 124. Эти добавленные значения перекрытия в результате объединяются сумматором 126, на выходе 127 которого получается объединенный сигнал, включающий различные целевые частотные диапазоны.

Для иллюстрации сказанного на фиг.10 изображен основной принцип алгоритма расширения диапазона частот. В частности, на фиг.10 схематически показано как BWE коэффициент (σ) управляет сдвигом частоты между участками диапазона 113-1, 113-2, 113-3 аудио сигнала 100 и целевым частотным диапазоном 125-1, 125-2 или 125-3 соответственно.

Во-первых, в случае σ=2, сигнал полосового фильтра 113-1 с диапазоном частот, например от 2 до 4 кГц, извлекается из исходного диапазона звукового сигнала 100. Диапазон после полосной фильтрации 113-1 затем преобразуется на первом выходе 125-1 сумматора перекрытия 124. Первый выход 125-1 имеет частотный диапазон от 4 до 8 кГц, соответствующий расширенному диапазону частот исходного диапазона звукового сигнала 100 с коэффициентом 2,0 (σ=2). Этот верхний диапазон для σ=2 также можно назвать "первым диапазоном патчирования". Далее, в случае σ=3, формируется сигнал полосового фильтра 113-2 с частотным диапазоном от 8/3 до 4 кГц, который затем преобразуется на втором выходе 125-2 после сумматора перекрытия 124, имеющий диапазон частот от 8 до 12 кГц. Верхний диапазон на выходе 125-2 соответствует расширенному диапазону частот с коэффициентом 3,0 (σ=3), также можно назвать "вторым диапазоном патчирования". Далее, в случае σ=4, формируется сигнал полосового фильтра 113-3 с диапазоном частот от 3 до 4 кГц, который затем преобразуется на третьем выходе 125-3 с диапазоном частот от 12 до 16 кГц после сумматора перекрытия 124. Верхний диапазон на выходе 125-3, соответствующий коэффициенту расширения диапазона частот 4,0 (σ=4), также можно назвать "третьим диапазоном патчирования". В дополнение к сказанному, первый, второй и третий диапазоны патчирования получаются с помощью перекрытия последовательных диапазонов частот до максимальной частоты 16 кГц, которая предпочтительна при работе с аудио сигналом 100 в контексте улучшения качества алгоритма расширения диапазона частот. В принципе, алгоритм расширения диапазона частот может быть выполнен для более высоких значений BWE коэффициента σ>4 с получением еще более высоких частотных диапазонов. Однако необходимо принимать во внимание, что такие высокочастотные диапазоны, как правило, не приводят к дальнейшему улучшению качества восприятия обрабатываемого звукового сигнала.

Как показано на фиг.3, добавленные значения перекрытия 125-1, 125-2, 125-3, …, полученные на основе различных BWE коэффициентов (σ), далее объединяются сумматором 126, так что на выходе получается объединенный сигнал 127, включающий различные частотные диапазоны (см. фиг.10). Здесь, объединенный сигнал на выходе 127 содержит преобразованный высокочастотный диапазон патчирования, начинающийся от максимальной частоты (f_max) аудио сигнала 100 до увеличенной в σ раз максимальной частоты (σxf_max), например, от 4 до 16 кГц (фиг.10).

Поток данных регулятора огибающей 130 формируется, как представлено выше, для того, чтобы изменить огибающую объединенного сигнала на основе переданных параметров аудио сигнала, имеющихся на входе 101, что приводит к изменению сигнала на выходе 129 регулятора огибающей 130. Затем скорректированный сигнал, подаваемый на выход 129 регулятора огибающей 130, суммируется с исходным звуковым сигналом 100 дополнительным сумматором 132, чтобы в результате получить окончательный сигнал с расширенным диапазоном частот на выходе 131 сумматора 132. Как показано на фиг.10, частотный диапазон расширенного сигнала на выходе 131 включает в себя диапазон частот звукового сигнала 100 и различные частотные диапазоны, полученные в результате преобразования в соответствии с алгоритмом расширения полосы пропускания, в общей сложности, например, в диапазоне от 0 до 16 кГц (фиг.10).

В одном из вариантов изобретения в соответствии с фиг.2, модуль обработки окна 102 настроен для включения добавленных значений в заданные моменты времени перед первой выборкой последовательного блока выборок или после последней выборки из последовательного блока выборок, причем общее количество добавленных значений и количество значений в последовательном блоке по крайней мере в 1,4 раза больше числа значений в последовательном блоке выборок.

В частности, на фиг.7 показана первая часть добавленного блока, имеющая длину выборки 712, вставляется перед первой выборкой 708, расположенной в центре последовательного блока 704 и имеющей длину выборки 706, в то время как вторая часть добавленного блока, имеющая длину выборки 714, вставляется за центром последовательного блока 704. Заметим, что на фиг.7 последовательный блок 704 или окно анализа, соответственно, обозначают "область интересов," (ROI), в которой вертикальные сплошные линии, пересекающие выборки 0 и 1000, указывают на границы окна анализа 704, в котором выполняется условие циклической периодичности.

Желательно, чтобы первая часть добавленного блока слева от последовательного блока 704 имела тот же размер, что и вторая часть добавленного блока справа от последовательного блока 704, при этом общий размер добавленного блока имеет длину выборки 716 (например, от выборки 500 к выборке 1500), которая в два раза больше длины выборки 706 в центре последовательного блока 704. На фиг.7, 6, например, показано, что переходной процесс 702 изначально расположен недалеко от левой границы окна анализа 704, будет сдвигаться во времени из-за модификации фазы, выполняемой модификатором фазы 106, так что после сдвига переходной процесс 707 расположен вблизи центра первой выборки 708, будет получен находящийся в центре последовательный блок 704. В этом случае смещенный переходной блок 707 будет полностью находиться внутри добавленного блока, имеющего длину выборки 716, таким образом предотвращая циклическую свертку или циклическую упаковку, вызванную выполняемой модификацией фазы.

Если, например, первая часть добавленного блока слева от первой выборки 708 в центре последовательного блока 704 не является достаточно большой, чтобы полностью разместить возможные временные смещения переходного процесса, он будет циклически свернут, следовательно, по крайней мере часть переходных процессов снова появится во второй части добавленного блока справа от последней выборки 710 последовательного блока 704. Предпочтительно, однако, эту часть переходного процесса удалять с помощью модуля удаления заполнения 118 после использования модификатора фазы 106 на последующих этапах обработки. Однако длина выборки 716 добавленного блока должна быть по крайней мере в 1,4 раза больше, чем длина выборки 706 последовательного блока 704. Считается, что модификация фазы, выполняемая модификатором фазы 106, как, например, это реализовано в фазовом вокодере, всегда приводит к временному сдвигу в сторону отрицательного времени, то есть со сдвигом влево от оси время/выборка.

В вариантах осуществления настоящего изобретения, первый и второй преобразователи 104, 108 реализованы для работы с преобразованием длины, что соответствует длине выборки добавленного блока. Например, если последовательный блок имеет длину выборки N, а добавленный блок имеет длину выборки не менее 1.4xN, или, например, 2N, преобразование длины, выполняемое первым и вторым преобразователями 104, 108, также будет имеет длину 1.4xN или 2N.

В принципе, однако, преобразование длины первым и вторым преобразователями 104, 108 должно выбираться в зависимости от BWE коэффициента (σ) таким образом, что чем больше BWE коэффициент (σ), тем больше должна быть длина преобразования. Тем не менее, достаточно использовать преобразование длины такого же размера, как длина выборки добавленного блока, даже в случае, если преобразование длины не является достаточно большим, чтобы предотвратить любые эффекты циклической свертки для больших значений BWE коэффициентов, например, таких как σ>4. В этом случае (σ>4), временным алиасингом переходных процессов, например из-за циклической свертки, можно пренебречь в преобразованных высокочастотных диапазонах и исправления не будут существенно влиять на качество восприятия.

На фиг.4, показано воплощение, включающее детектор переходных процессов 134, который реализуется для выявления переходного процесса событий в блоке звукового сигнала 100, таком как, например, в последовательном блоке 704 аудио выборки, имеющем длину выборки 706, как показано на фиг.7.

В частности, детектор переходных процессов 134 может быть настроен на определение - имеется ли в аудио блоке последовательный блок, содержащий переходные процессы, которые характеризуются внезапным изменением энергии звукового сигнала 100 во времени, таким как, например, увеличение или уменьшение энергии одной временной части сигнала от следующей временной части более чем на 50%.

Детектор переходных процессов может, например, основываться на частотно-избирательной обработке, заключающейся в квадратичной обработке высокочастотных частей спектрального представления с определением доли мощности, содержащейся в высокочастотной области звукового сигнала 100, и последующим сравнением изменения мощности во времени с заранее определенным пороговым значением.

Кроме того, с одной стороны, первый преобразователь 104 настроен на преобразование добавленного блока на выходе 103 модуля формирования добавленных значений 112, когда переходные процессы, такие как, например, переходные процессы 702 на фиг.7b, обнаруживаются детектором переходных процессов 134 в некотором блоке 133-1 аудио сигнала 100, соответствующем добавленному блоку. С другой стороны, первый преобразователь 104 настроен на преобразование обычного блока, имеющего значения аудио сигнала только на выходе 133-2 детектора переходных процессов 134, причем обычный блок соответствует блоку аудио сигнала 100, в котором переходные процессы не обнаружены.

Здесь добавленный блок включает в себя добавленные значения, такие как, например, нулевые значения, вставляемые слева и справа от центра последовательного блока 704 на фиг.7b, а значения звукового сигнала остаются в центре последовательного блока 704 на фиг.7b. Обычный блок, однако, включает в себя только значения аудио сигнала, такие как, например, тех же значений выборок, которые находятся внутри последовательного блока 704 на фиг.7b.

В приведенном выше варианте, в котором преобразование в первом преобразователе 104 и, следовательно, в последующих стадиях обработки с использованием выхода 105 первого преобразователя 104, зависит от обнаружения переходных процессов, добавленный блок на выходе 103 модуля формирования добавленных значений 112 генерируется только для определенных выбранных временных блоков звукового сигнала 100 (т.е. для временных блоков, содержащих переходные процессы), для которых использование добавленных блоков перед последующей обработкой звукового сигнала 100, как ожидается, будет выгодно с точки зрения качества восприятия.

В других вариантах осуществления настоящего изобретения, выбор соответствующего пути сигнала для последующей обработки обозначен "нет переходного процесса" или "переходной процесс", соответственно, на фиг.4 производится с использованием переключателя 136, как показано на фиг.5, который находится под управлением выхода 135 детектора переходных процессов 134, содержащего информацию о выявлении переходного процесса, в том числе информацию о том, обнаружен или нет переходной процесс в блоке звукового сигнала 100. Эта информация детектора переходных процессов 134 направляется переключателем 136 на выход 135-1 переключателя 136, обозначенный "переходной процесс" либо на выход 135-2 переключателя 136, обозначенный "нет переходного процесса." Здесь, выходы 135-1, 135-2 переключателя 136 на фиг.5 строго соответствуют выходам 133-1, 133-2 детектора переходных процессов 134 на фиг.4. Как и ранее, на выходе 103 модуля формирования добавленных значений 112 генерируется добавленный блок из блока 135-1 аудио сигнала 100, в котором переходный процесс регистрируется детектором переходных процессов 134. Кроме того, переключатель 136 настроен на подключение добавленного блока, сформированного модулем формирования добавленных значений 112 на выходе 103 перед первым модулем преобразователя 138-1, когда переходные процессы обнаружены детектором переходных процессов 134 и настроен на подключение обычного блока на выходе 135-2 второго модуля преобразователя 138-2, когда переходные процессы не обнаружены детектором переходных процессов 134. Здесь, первый модуль преобразователя 138-1 приспособлен для выполнения преобразования добавленного блока с использованием первой длины преобразования, например, такой как 2N, в то время как второй модуль преобразователя 138-2 приспособлен для выполнения преобразования обычного блока с использованием второй длины преобразования, например, такой как N. Так как добавленный блок имеет длину выборки, большую, чем обычный блок, вторая длина преобразования короче, чем длина первого преобразования. В результате, получается соответственно первое спектральное представление на выходе 137-1 первого преобразователя 138-1 или второе спектральное представление на выходе 137-2 второго преобразователя 138-2, которое может затем обрабатываться с использованием алгоритма расширения полосы пропускания, как было показано ранее.

В альтернативном варианте осуществления настоящего изобретения, модуль обработки окна 102 включает в себя процессор анализа окна 140, который настроен на использование функции анализа окна для последовательного блока аудио выборок, например, для последовательного блока 704 на фиг.7. Функция анализа окна, применяемая процессором анализа окна 140, в частности, включает по крайней мере один охранный интервал на начальной стадии функции окна, например, интервал времени, начинающийся с первой выборки 718 (то есть, с выборки 500) в функции окна 709 слева от последовательного блока 704 на фиг.7b, или конечное положение функции окна, например, интервал времени, заканчивающийся последней выборкой 720 (то есть выборкой 1500) в функции окна 709 справа от последовательного блока 704 на фиг.7b.

На фиг.6 показан альтернативный вариант осуществления настоящего изобретения дополнительно содержит переключатель охраны окна 142, который настроен на управление процессором анализа окна 140 в зависимости от информации об обнаружении переходного процесса, как это предусмотрено на выходе 135 детектора переходных процессов 134. Процессор анализа окна 140 управляется таким образом, что первый последовательный блок на выходе 139-1 переключателя охраны окна 142, имеющий первый размер окна, создается при обнаружении детектором переходных процессов 134 переходного процесса и затем, если переходные процессы не обнаружены, детектором переходных процессов 134 генерируется последовательный блок на выходе 139-2 переключателя охраны окна 142, имеющий второй размер окна. Здесь, процессор анализа окна 140 настроен на использование функции анализа окна, например, окна Ханна с охранным интервалом, как показано на фиг.9а, для последовательного блока на выходе 139-1 или следующего последовательного блока на выходе 139-2, так что получается соответственно либо добавленный блок на выходе 141-1 либо обычный блок на выходе 141-2.

На фиг.9а добавленный блок на выходе 141-1, например, включает в себя первый охранный интервал 910 и второй охранный интервал 920, в которых значения аудио выборок охранных интервалов 910, 920 устанавливаются в ноль. Здесь, охранные интервалы 910, 920 окружают зону 930, соответствующую характеристикам оконной функции, в данном случае, дается характеристика формы окна Ханна. Кроме того, по отношению к фиг.9б, значения аудио выборок охранных интервалов 940, 950 также близки к нулю. Вертикальными линиями на фиг.9 показаны первая выборка 905 и последняя выборка 915 из зоны 930. Кроме того, охранные интервалы 910, 940 начинаются с первой выборки 901 оконной функции, в то время как охранные интервалы 920, 950 заканчиваются на последней выборке 903 функции окна. Длина выборки 900 из полного окна с центром в области окна Ханна, включающая охранные интервалы 910, 920 на фиг.9а, например, в два раза больше длины выборки из зоны 930.

В случае, если переходные процессы обнаружены детектором переходных процессов 134, последовательный блок на выходе 139-1 обрабатывается с использованием взвешивания с учетом характерной формы функции анализа окна, например, нормированного окна Ханна 901 с охранными интервалами 910, 920, как показано на фиг.9а, а в случае, если переходные процессы не обнаружены детектором переходных процессов 134, последовательный блок на выходе 139-2 обрабатывается с использованием взвешенной характерной формы зоны 930 функции анализа окна, например, только такой, как зона 930 нормированного окна Ханна 901 на фиг.9а.

В связи с изложенным, в случае, когда добавленный блок или обычный блок на выходах 141-1, 141-2 формируются с использованием функции анализа окна, содержащей охранный интервал, добавленные значения или значения аудио сигнала, полученные взвешиванием аудио выборок, соответственно, с помощью функции окна с охранным интервалом или без охранного (характеристического) интервала. Здесь, и добавленные значения и значения аудио сигнала представляют собой взвешенные значения, причем добавленные значения находятся практически около нуля. В частности, добавленный блок или обычный блок на выходах 141-1, 141-2, может соответствовать аналогичным блокам на выходах 103, 135-2, в варианте, показанном на фиг.5.

Из-за взвешивания при использовании оконной функции анализа желательно, чтобы детектор переходных процессов 134 и процессор анализа окна 140 были устроены таким образом, чтобы обнаружение переходных процессов в детекторе переходных процессов 134 происходило до применения функции анализа окна в процессоре анализа окна 140. В противном случае на выявление переходного процесса существенное влияние будет оказывать процесс взвешивания, что особенно относится к случаям, когда переходной процесс находится внутри охранного интервала или близко к границе интервала, не являющегося охранным (характеристическим), так как в этом интервале, весовые коэффициенты, соответствующие значениям функции анализа окна всегда близки к нулю.

Добавленный блок на выходе 141-1 и обычный блок на выходе 141-2 последовательно преобразуются в спектральные представления на выходах 143-1, 143-2 с использованием первого преобразователя 138-1 с длиной первого преобразования и второго преобразователя 138-2 со второй длиной преобразования, причем первая и вторая длины преобразования соответствуют длинам выборок преобразованных блоков, соответственно. Спектральные представления на выходах 143-1, 143-2 могут быть дополнительно обработаны, как изложено выше, для вариантов воплощения.

На фиг.8 показан обзор воплощений реализации расширения диапазона частот. В частности, фиг.8 включает в себя блок 800, обозначенный "аудио сигнал/добавленные параметры", формирующий звуковой сигнал 100, обозначенный на выходе блока "низкочастотные (НЧ) аудио данные". Кроме того, блок 800 обеспечивает декодированные параметры, которые поступают на вход 101 регулятора огибающей 130 на фиг.2 и 3.

Параметры на выходе 101 блока 800 могут быть последовательно обработаны регулятором огибающей 130 и/или корректором тональности 150. Регулятор огибающей 130 и корректор тональности 150, например, могут быть настроены на использование предварительно определенных искажений объединенного сигнала 127 и получение сигнала искажений 151, который соответствует скорректированному сигналу 129 на фиг.2 и 3.

Блок 800 может включать дополнительную информацию об обнаружении переходного процесса, предоставляемую кодировщиком реализации расширения диапазона частот. В этом случае дополнительная информация передается с потоком битов 810, как показано пунктирной линией, проведенной к детектору переходных процессов 134 в блоке декодировщика.

Предпочтительно, однако, чтобы детектирование переходных процессов осуществлялось для множества последовательных блоков выборок на выходе 111 процессора анализа окна 110, обозначенного здесь как модуль 102-1 "фрейм". Другими словами, дополнительная информация о переходных процессах предоставляется либо детектором переходных процессов 134, имеющимся в декодировщике, либо она передается в потоке битов 810 от кодировщика (пунктирная линия). Первое решение не увеличивает передаваемый битрейт, а второе - облегчает обнаружение, так как исходный сигнал по-прежнему доступен.

В частности, на фиг.8 показана блок-схема аппаратной части, настроенной для выполнения гармонического расширения диапазона частот (НВЕ). В реализации, показанной на фиг.13, использован переключатель 136, управляемый детектором переходных процессов 134, для выполнения адаптивной обработки сигналов в зависимости от информации о возникновении переходного процесса на выходе 135.

На фиг.8 множество последовательных блоков на выходе 111 модуля фрейма 102-1 передается в модуль анализа окна 102-2, который настроен на применение функции анализа окна с заранее определенной формой окна, например косинусное окно, для которого характерны менее глубокие фланги, по сравнению с прямоугольной формой окна, которая обычно применяется в операциях с фреймами. В зависимости от решения о переключении, принятом в переключателе 136 и обозначенном "переходной процесс" или "нет переходного процесса", блок 135-1 включает переходные процессы или блок 135-2 не включает переходные процессы, соответственно. Затем множество последовательных блоков, обработанных в окне (то есть фреймированных и взвешенных), на выходе 811 устройства анализа окна 102-2, что можно обнаружить с помощью детектора переходных процессов 134, подвергаются дальнейшей обработке, как было подробно изложено выше. Отметим, что модуль заполнения нулевыми значениями 102-3, который может замещаться модулем формирования добавленных значений 112 окна 102 на фиг.2, 4 и 5, предпочтительно использовать для вставки нулевых значений за пределами временного блока 135-1, так что дополненный нулями блок 803, которому может соответствовать добавленный блок 103 с длиной выборки 2N, получается в два раза больше длины выборки N временного блока 135-2. Детектор переходных процессов 134 обозначается как "детектор положения переходного процесса", потому что он может быть использован для определения" положения" (т.е. времени и места нахождения) последовательного блока 135-1 по отношению к множеству последовательных блоков на выходе 811, то есть из последовательности последовательных блоков на выходе 811 можно выделить соответствующий временной блок, который содержит переходной процесс.

В одном из вариантов, добавленный блок всегда генерируется из конкретного последовательного блока, для которого обнаружен переходной процесс, независимо от его местоположения в пределах блока. В этом случае детектор переходных процессов 134 просто настроить на определение (идентификацию) блока, содержащего переходной процесс. Кроме того, в альтернативном варианте детектор переходных процессов 134 может быть сконфигурирован для определения точного расположения переходного процесса по отношению к блоку. В первом варианте может быть использована простая реализация детектора переходных процессов 134, а в последнем варианте может быть уменьшена вычислительная сложность обработки, так как будет создан добавленный блок и дальнейшая обработка потребуется, только если переходной процесс будет находиться в определенном месте, например, вблизи границы блока. Другими словами, в последнем варианте нулевое заполнение или охранный интервал будут нужны, только если переходной процесс находится недалеко от границы блока (то есть, если переходные процессы расположены не в центре).

Аппаратная часть на фиг.8, по существу, представляет собой способ противодействия эффекту циклической свертки путем введения так называемых "охранных интервалов" с заполнением нулями обоих концов блока каждый раз перед поступлением его на обработку в фазовый вокодер. Обработка в фазовом вокодере начинается с работы первого или второго преобразователей 138-1, 138-2, содержащих, например, процессор с FFT преобразованием длины 2N или N, соответственно.

В частности, первый модуль преобразователя 104 может быть реализован для выполнения преобразования Фурье с коротким временным интервалом (STFT) для добавленного блока 103, в то время как второй модуль преобразователя 108 может быть реализован для выполнения обратного STFT на основе магнитуды и фазы измененного спектрального представления на выходе 105.

Например, в соответствии с фиг.8, после вычисления новых фаз и проведения синтеза обратного STFT или обратного дискретного преобразования Фурье (IDFT), охранные интервалы могут легко убираться из центральной части временного блока, который в дальнейшем обрабатывается с помощью этапа перекрытия (OLA) в вокодере. Кроме того, охранные интервалы не должны удаляться, но они подвергаются дальнейшей обработке на этапе OLA. Эта операция может эффективно использоваться для передискретизации сигнала.

В реализации в соответствии с фиг.8 на выходе 131 дополнительного сумматора 132 получается обработанный сигнал в расширенном диапазоне частот. Последующий модуль фрейма 160 может быть использован для изменения фрейма (т.е. размера окна для множества последовательных временных блоков) аудио сигнала на выходе 131, обозначаемого "аудио сигнал высокой частоты (HF)", предварительно обработанного определенным образом, например, таким, что последовательный блок аудио выборок на выходе 161 в последующем модуле фрейма 160 будет иметь тот же размер окна как и исходный звуковой сигнал 800.

Возможные преимущества использования охранных интервалов при обработке переходных процессов в фазовом вокодере, как, например, изложено в варианте на фиг.8, представлены визуально на фиг.7, фиг.а), которая показывает, переходной процесс, расположенный в центре окна анализа (“тонкие пунктирные” линии показывают исходный сигнал). В этом случае, охранный интервал не оказывает существенного влияния на обработку окна, которую можно также использовать для изменения переходного процесса ("Тонкая сплошная" линия - с использованием охранных интервалов, “толстая сплошная” линия - без охранных интервалов). Однако, как показано на фиг.б), если переходной процесс смещен относительно центра окна ("тонкие пунктирные" линии указывают на исходный сигнал), то при этом возникает сдвиг по времени на этапе изменения фазы при обработке вокодером. Если этот сдвиг выходит за пределы длительности окна, возникают циклические свертки “толстая сплошная” линия - без охранных интервалов), что в итоге приводит к неправильному расположению переходного процесса (или его частей), приводящему к ухудшению восприятия качества звука.

В качестве альтернативы представленного выше способа реализации заполнения нулевыми значениями, могут быть использованы уже упоминавшиеся окна с охранными интервалами (см. фиг.9). В случае окон с охранными интервалами, значения с одной или обеих сторон окна близки к нулевым. Они могут быть точно равны нулю или иметь значения, близкие к нулю, что позволяет получить преимущество, связанное с отсутствием необходимости перемещения нулевых значений из охранного интервала в окно, с помощью адаптации фазы малых значений. На фиг.9 показаны оба типа окон. В частности, на фиг.9, показано различие между оконными функциями 901, 902, связанное с тем, что на фиг.9а оконная функция 901 содержит охранные интервалы 910, 920 со значениями выборок, точно равными нулю, в то время как на фиг.9б оконная функция 902 содержит охранные интервалы 940, 950 со значениями выборок, близкими к нулю. Таким образом, в последнем случае малые, а не нулевые, значения будут сдвинуты при адаптации фазы из охранных интервалов 940 или 950 в зону 930 окна.

Как упоминалось ранее, применение охранных интервалов может увеличить вычислительную сложность из-за необходимости передискретизации, поэтому преобразования анализа и синтеза должны быть рассчитаны на аудио блоки значительно большей длины (обычно в 2 раза). С одной стороны, это гарантирует улучшение качества восприятия, по крайней мере, для переходных процессов в блоках сигнала, но это происходит лишь в отдельных блоках обычного музыкального звукового сигнала. С другой стороны, сложность обработки неуклонно возрастает при обработке всего сигнала.

Воплощения изобретения основаны на том, что передискретизация выгодна только для некоторых выбранных блоков сигнала. В частности, варианты изобретения позволяют создать новый способ адаптивной обработки сигнала, который включает в себя механизм обнаружения и применяет передискретизацию только тех блоков сигнала, для которых он действительно улучшает качество восприятия. Более того, в контексте настоящего изобретения избирательное переключение при обработке сигналов между стандартной и улучшенной обработкой может значительно увеличить эффективность обработки сигналов, что позволяет снизить вычислительные затраты.

Чтобы проиллюстрировать различие между стандартной обработкой и улучшенной обработкой, далее будет проведено сравнение обычного гармонического расширения диапазона частот (НВЕ) при реализация по фиг.13 с реализацией по фиг.8.

На фиг.13 представлен обзор НВЕ. Здесь фазовый вокодер на нескольких этапах работает с той же частотой дискретизации, как вся система. На фиг.8 показан способ обработки с использованием заполнения нулевыми значениями/передискретизации только тех участков сигнала, где это действительно полезно и приводит к улучшению качества восприятия. Это достигается за счет принятия решения о переключении в зависимости от места обнаружения переходного процесса, которое позволяет выбрать соответствующий путь сигнала при последующей обработке. По сравнению с НВЕ, показанном на фиг.13, в вариантах изобретения алгоритм обработки дополнен, как показано на фиг.8. При обнаружении расположения переходного процесса детектором 134 (в сигнале или потоке битов), переключатель 136 направляет сигнал по правой ветви алгоритма, начиная с операции заполнения нулевыми значениями, выполняемой модулем формирования нулевых значений 102-3 и заканчивая (дополнительно) удалением заполнения, выполняемого модулем удаления заполнения 118.

В одном из вариантов осуществления настоящего изобретения, модуль обработки окна 102 настроен для генерации множества 111 последовательных блоков аудио выборок, составляющих временную последовательность, которая включает по крайней мере первую пару 145-1 обычных блоков 133-2, 141-2 и последовательных добавленных блоков 103, 141-1 и вторую пару 145-2 добавленных блоков 103, 141-1 и последовательных обычных блоков 133-2, 141-2 (см. фиг.12). Первая и вторая пара последовательных блоков 145-1, 145-2 подвергаются дальнейшей обработке в контексте реализации расширения диапазона частот, а соответствующие аудио выборки удаляются на выходах 147-1, 147-2 модуля передискретизации 120, соответственно. Удаленные выборки 147-1, 147-2 затем подаются в сумматор перекрытия 124, который настроен для добавления перекрывающихся блоков в удаленные выборки 147-1, 147-2 из первой пары 145-1 или второй пары 145-2.

Кроме того, модуль передискретизации 120 также может быть размещен после сумматора перекрытия 124, как описано выше.

Тогда для первой пары 145-1 промежуток времени b', который может соответствовать промежутку времени b на фиг.2, между первой выборкой 151, 155 из обычного блока 133-2, 141-2 и первой выборкой 153, 157 значений аудио сигнала добавленного блока 103, 141-1, соответственно, формируется сумматором перекрытия 124, таким образом, чтобы сигнал в целевом диапазоне частот алгоритма расширения полосы пропускания поступал на выход 149-1 сумматора перекрытия 124.

Для второй пары 145-2 промежуток времени b' между первой выборкой 153, 157 значений аудио сигнала добавленного блока 103, 141-1 и первой выборкой 151, 155 обычного блока 133-2, 141-2, соответственно, формируется сумматором перекрытия 124, таким образом, чтобы сигнал в диапазоне целевой частоты алгоритма расширения диапазона частот поступал на выход 149-2 сумматора перекрытия 124.

Как и прежде, в случае, если модуль передискретизации 120 размещен в цепи обработки перед сумматором перекрытия 124, как показано на фиг.2, необходимо учитывать возможное влияние удаления заполнения на соответствующий промежуток времени b'.

Следует отметить, что хотя настоящее изобретение было описано в контексте блок-схемы, в котором блоки представляют собой фактические или логические компоненты в аппаратном исполнении, настоящее изобретение также может быть реализовано на компьютере. В этом случае блоки представляют собой соответствующие этапы способа реализации, причем эти этапы означают функциональное исполнение соответствующих логических или физических блоков в аппаратной части.

Описанные варианты осуществления только иллюстрируют принцип данного изобретения. Понятно, что улучшение и изменение аппаратного исполнения и деталей описания, представленных здесь, будут очевидны для других специалистов в данной области. Поэтому ограничения связаны только с формулой изобретения, а не с конкретными деталями, представленными в виде описания и объяснения воплощений настоящего изобретения.

В зависимости от определенных требований к реализации способов изобретения, способы могут быть реализованы в аппаратном исполнении или в программном обеспечении. Реализация может быть выполнена с использованием цифровых носителей, в частности, дисков, DVD или компакт-дисков с читаемыми электронным способом управляющими сигналами, хранящимися на них, которые совместимы с компьютерной системой и могут выполнять способы изобретения. Как правило, настоящее изобретение может быть реализовано в виде компьютерного программного продукта с кодом программы, хранящимся на машиночитаемом носителе и способным выполнять на компьютере способы, представленные в изобретении. Другими словами, способы изобретения реализованы в компьютерной программе, имеющей программный код для выполнения хотя бы один из способов при запуске программы на компьютере. Обработанный в соответствии с изобретением аудио сигнал может быть сохранен на любом машиночитаемом носителе информации, например цифровом.

Преимущества новой обработки состоят в том, что вышеупомянутые варианты исполнения, то есть аппаратное исполнение, способы или компьютерные программы, описанные в данном изобретении, позволяют исключить дорогостоящую чрезмерно сложную вычислительную обработку, если в этом нет необходимости. При такой обработке выполняется обнаружение местоположения переходного процесса и определяются временные блоки, содержащие переходной процесс, находящийся, например, не в центре блока, и происходит переключение на улучшенную обработку, то есть передискретизацию с помощью охранных интервалов, только в тех случаях, когда это приводит к улучшению качества восприятия.

Представленный способ обработки можно использовать для любого блока, созданного приложениями для аудио обработки, например, вокодировщиком фазы или приложениями параметрического объемного звука (Herre J.; Faller C.; Ertel C.; Hilpert J.; Holzer A.; Sponger C., "МР3 Surround: Efficient and Compatible Coding of Multi-Channel Audio," 116^th Conv. Aud. Eng. Soc., May 2004), где эффекты временной циклической свертки приводят к алиасингу и, в то же время, имеются ограничения по вычислительной мощности.

Наиболее успешно можно использовать представленный способ в аудио декодировщиках, которые часто применяются в портативных устройствах и, следовательно, работают от аккумуляторов.

Изобретение относится к передаче аудио сигнала и предназначено для обработки аудио сигнала с помощью изменения фаз спектральных значений звукового сигнала, реализуемого в схеме расширения диапазона частот. Технический результат - повышение качества звука. Для этого устройство и способ обработки аудио сигнала содержат модуль обработки окна для генерации множества последовательных блоков выборок, множество последовательных блоков, содержащих, по крайней мере, один добавленный блок аудио выборок, добавленный блок, имеющий добавленные значения и значения аудио сигнала, первый преобразователь для преобразования добавленного блока в спектральное представление, имеющее спектральные значения, модификатор фазы для изменения фаз спектральных значений и получения модифицированного спектрального представления и второй преобразователь для преобразования модифицированного спектрального представления в измененный во временной области аудио сигнал. 3 н. и 17 з.п. ф-лы, 15 ил.

1. Устройство для обработки аудио сигнала, включающее модуль обработки окна для генерации множества последовательных блоков выборок, содержащих, по крайней мере, один добавленный блок аудио выборок, содержащий добавленные значения и значения аудио сигнала; первый преобразователь для преобразования добавленного блока в спектральное представление, имеющее спектральные значения; модификатор фазы для изменения фазы спектральных значений для получения модифицированного спектрального представления; и второй преобразователь для преобразования модифицированного спектрального представления в модифицированный звуковой сигнал во временной области.

2. Устройство по п.1, дополнительно содержащее модуль передискретизации для прореживания измененного во временной области звукового сигнала или перекрытия добавленных блоков измененных во временной области аудио выборок для получения сокращенного сигнала во временной области, причем характеристика сокращения зависит от характеристики модификации фазы, используемой модификатором фазы.

3. Устройство по п.2, которое приспособлено для выполнения расширения диапазона частот с использованием аудио сигнала, дополнительно содержащее полосно-пропускающий фильтр для получения полосового сигнала из спектрального представления или из аудио сигнала, в котором характеристики полосы пропускания полосно-пропускающего фильтра выбираются в зависимости от характеристики модификации фазы, применяемой в модификаторе фазы, так что полоса пропускания сигнала преобразуется при последующей обработке в целевой диапазон частот, не включенный в аудио сигнал.

4. Устройство по п.2, дополнительно включающее сумматор перекрытия для перекрытия добавленных блоков из удаленных выборок или измененных во временной области аудио выборок для получения сигнала в целевом диапазоне частот с использованием алгоритма расширения диапазона частот.

5. Устройство по п.4, дополнительно включающее модуль масштабирования для масштабирования спектральных значений с коэффициентом, зависящим от перекрытия добавленных характеристик таким образом, что учитываются характеристики окна, а также отношение первого промежутка времени (а) для добавленного перекрытия, примененного в модуле обработки окна, и другого промежутка времени (b), примененного в сумматоре перекрытия.

6. Устройство по п.1, в котором модуль обработки окна содержит процессор анализа окна для генерации множества последовательных блоков, имеющих одинаковый размер; и модуль формирования добавленных значений для заполнения блока множества последовательных блоков аудио выборок и получения добавленного блока с помощью включения добавленных значений в заданные моменты времени перед первой выборкой последовательного блока аудио выборки или после последней выборки последовательного блока аудио выборки.

7. Устройство по п.1, в котором модуль обработки окна настроен на включение добавленных значений в заданные моменты времени перед первой выборкой последовательного блока аудио выборок или после последней выборки последовательного блока аудио выборок, устройство дополнительно содержащее модуль удаления заполнения для удаления выборок в моменты времени модифицированного во временной области звукового сигнала, моменты времени, соответствующие моментам времени, применяемым в модуле обработки окна.

8. Устройство по п.1, дополнительно содержащее модуль синтеза окна для обработки окон сокращенного во временной области сигнала или модифицированного во временной области звукового сигнала, имеющего функцию синтеза окна, соответствующую функции анализа, применяемой в модуле обработки окна.

9. Устройство по п.1, в котором модуль обработки окна настроен на включение добавленных значений в заданные моменты времени перед первой выборкой последовательного блока аудио выборок или после последней выборки последовательного блока аудио выборок, в которых сумма ряда добавленных значений и количества значений в последовательном блоке аудио выборок, по крайней мере, в 1,4 раза больше количества значений в последовательном блоке аудио выборок.

10. Устройство по п.7, в котором модуль обработки окна настроен на симметричные вставки добавленных значений перед первой выборкой последовательного блока аудио выборок и после последней выборки в центре последовательного блока аудио выборок, так что добавленный блок приспособлен к обработке в первом преобразователе и втором преобразователе.

11. Устройство по п.1, в котором модуль обработки окна настроен для применения функции окна, имеющей, по крайней мере, один охранный интервал в начальной позиции; функции окна или в конечной позиции функции окна.

12. Устройство по п.1, которое дополнительно включает полосовой фильтр, модуль передискретизации и сумматор перекрытия, использующие коэффициент расширения диапазона частот (σ), причем полосовой фильтр, модуль передискретизации и сумматор перекрытия сконфигурированы для выполнения алгоритма расширения диапазона частот, включающего коэффициент расширения диапазона частот (σ), при этом коэффициент расширения диапазона частот (σ) управляет сдвигом частоты в диапазоне частот звукового сигнала и целевых диапазонах частот, причем модификатор фазы настроен на масштабирование фаз спектральных значений диапазона звукового сигнала с коэффициентом расширения диапазона частот (σ), так что, по крайней мере, одна выборка последовательного блока выборок циклически сворачивается в блоке.

13. Устройство по п.2, которое дополнительно содержит полосовой фильтр, модуль передискретизации и сумматор перекрытия, использующие различные коэффициенты расширения диапазона частот (σ), причем полосовой фильтр, модуль передискретизации и сумматор перекрытия сконфигурированы для выполнения алгоритма расширения диапазона частот, использующего различные коэффициенты расширения диапазона частот (σ), при этом коэффициент расширения диапазона частот (σ) управляет сдвигом частоты в диапазоне частот звукового сигнала и целевых диапазонах частот, причем первый преобразователь, модификатор фазы, второй преобразователь и модуль передискретизации настроены на работу с использованием различных коэффициентов расширения диапазона частот (σ), так что получаются различные модифицированные во времени аудио сигналы с различными целевыми диапазонами частот, дополнительно содержащее сумматор перекрытия для выполнения перекрытия добавленных блоков с использованием различных коэффициентов расширения диапазона частот (σ) и сумматор для суммирования результатов добавленного перекрытия, для получения объединенного сигнала, включающего различные целевые диапазоны частот.

14. Устройство по п.1, дополнительно содержащее детектор переходных процессов для определения переходного процесса, расположенного не в центре окна анализа аудио сигнала, причем первый модуль преобразователя настроен для преобразования добавленного блока, когда детектор переходных процессов обнаруживает переходной процесс в блоке звукового сигнала, соответствующий добавленному блоку, и причем первый преобразователь настроен для преобразования обычного блока, имеющего только значения аудио сигнала, обычный блок, соответствующий блоку аудио сигнала, когда переходной процесс не обнаружен в блоке.

15. Устройство по п.14, в котором модуль обработки окна включает в себя модуль формирования добавленных значений для вставки добавленных значений в заданные моменты времени перед первой выборкой последовательного блока аудио выборок или после последней выборки последовательного блока аудио выборок, устройство дополнительно включает переключатель, который управляется детектором переходных процессов, причем переключатель настроен для управления модулем формирования добавленных значений, так что добавленный блок генерируется, когда переходной процесс обнаруживается детектором переходных процессов, добавленный блок с добавленными значениями и значениями аудио сигнала, а также переключатель, настроенный для управления модулем формирования добавленных значений, так что обычный блок создается, когда переходной процесс не обнаруживается детектором переходных процессов, обычный блок, имеющий только значения аудио сигнала, причем первый преобразователь включает в себя первый модуль преобразователя и второй модуль преобразователя, причем переключатель, кроме того, настроен на передачу добавленного блока в первый модуль преобразователя для выполнения преобразования, имеющего первую длину преобразования, когда переходной процесс обнаруживается детектором переходных процессов и передачу обычного блока во второй модуль преобразователя для выполнения преобразования, имеющего вторую длину, меньшую первой длины, когда переходной процесс не обнаруживается детектором переходных процессов.

16. Устройство по п.14, в котором модуль обработки окна включает в себя процессор анализа окна для применения функции анализа окна к последовательному блоку аудио выборки, процессор анализа окна, управляемый таким образом, что функция анализа окна включает в себя охранный интервал на начальной позиции функции окна или конечном положении функции окна, устройство дополнительно включает переключатель охраны окна, который управляется детектором переходных процессов, причем переключатель охраны окна настроен на управление процессором анализа окна, так что добавленный блок формируется из последовательного блока выборок с использованием функции анализа окна, содержащей охранный интервал, добавленный блок, имеющий добавленные значения и значения аудио сигнала при обнаружении переходного процесса детектором переходных процессов, и также переключатель охраны окна, настроенный на управление процессором анализа окна, так что генерируется обычный блок, обычный блок, содержащий только значения аудио сигнала, когда переходной процесс не обнаруживается детектором переходных процессов, причем первый преобразователь содержит первый модуль преобразователя и второй модуль преобразователя, причем переключатель охраны окна, кроме того, настроен на передачу добавленного блока, в первый модуль преобразователя для выполнения преобразования, имеющего первую длину преобразования, когда переходной процесс обнаруживается детектором переходных процессов и переключатель охраны окна настроен на передачу обычного блока во второй модуль преобразователя для выполнения преобразования, имеющего вторую длину, меньшую, чем первая длина, когда переходной процесс не обнаруживается детектором переходных процессов.

17. Устройство по п.4, дополнительно содержащее: регулятор огибающей для настройки огибающей сигнала в целевом диапазоне частот или суммарного сигнала на основе переданных параметров для получения скорректированного сигнала, а также дополнительный сумматор для суммирования звукового сигнала и скорректированного сигнала для получения обработанного сигнала, который имеет расширенный диапазон частот.

18. Устройство по п.14, в котором модуль обработки окна настроен па генерацию множества последовательных блоков аудио выборок, множества последовательных блоков, содержащее, по крайней мере, первую пару обычных блоков и последовательный добавленный блок и вторую пару добавленных блоков и последовательный обычный блок, устройство дополнительно включает модуль передискретизации для удаления измененных во временной области аудио выборок или добавления перекрывающихся блоков измененных во временной области аудио выборок первой пары для получения удаленных выборок первой пары или для удаления измененных во временной области аудио выборок или добавления перекрывающихся блоков измененных во временной области аудио выборок второй пары для получения удаленных выборок второй пары, и сумматор перекрытия, причем сумматор перекрытия настроен на добавление перекрывающихся блоков в удаленные аудио выборки, или изменение во временной области аудио выборок первой пары или второй пары, причем для первой пары промежуток времени (b') между первой выборкой обычного блока и первой выборкой значений аудио сигнала добавленного блока определяется сумматором перекрытия, а для второй пары временной интервал (b') между первой выборкой значений аудио сигнала добавленного блока и первой выборкой обычного блока также определяется сумматором перекрытия, для получения сигнала в целевом диапазоне частот с помощью алгоритма расширения полосы пропускания.

19. Способ обработки аудио сигнала, включающий генерацию множества последовательных блоков выборок, содержащих, по меньшей мере, один добавленный блок аудио выборок, который имеет добавленные значения и значения аудио сигнала, преобразование добавленного блока в спектральное представление, имеющее спектральные значения; модификацию фаз спектральных значений для получения модифицированного спектрального представления; и преобразование модифицированного спектрального представления в модифицированный во временной области аудио сигнал.

20. Носитель информации, с записанной на нем компьютерной программой, имеющей программный код для осуществления способа по п.19, когда компьютерная программа выполняется на компьютере.