ДЕКОДЕР ЗВУКОВОГО СИГНАЛА, КОДИРУЮЩЕЕ УСТРОЙСТВО ЗВУКОВОГО СИГНАЛА, СПОСОБЫ И КОМПЬЮТЕРНАЯ ПРОГРАММА, ИСПОЛЬЗУЮЩИЕ ЗАВИСЯЩЕЕ ОТ ЧАСТОТЫ ВЫБОРКИ КОДИРОВАНИЕ КОНТУРА ДЕФОРМАЦИИ ВРЕМЕНИ Российский патент 2016 года по МПК G10L19/02 G10L19/22 

Осуществления согласно изобретению связаны с декодером звукового сигнала. Дальнейшие осуществления согласно изобретению связаны с кодирующим устройством звукового сигнала. Дальнейшие осуществления согласно изобретению связаны со способом декодирования звукового сигнала, со способом кодирования звукового сигнала и с компьютерной программой. Некоторые осуществления согласно изобретению связаны с зависящей от частоты дискретизации (выборки) квантизацией изменения высоты звука.

В дальнейшем будет дано краткое введение в область звукового кодирования с деформацией времени (с изменением шкалы времени), концепции которого могут применяться в соединении с некоторыми из осуществлений изобретения.

В последние годыбыли разработаны методы преобразования звукового сигнала в представление частотной области и эффективного кодирования представления частотной области, например, принимая во внимание перцепционные пороги маскирования. Этаконцепция кодирования звукового сигнала особенно эффективна, если длина блока, для которого передается набор кодированных спектральных коэффициентов, длинная, и если только сравнительно небольшое число спектральных коэффициентов находится намного выше глобального (общего) порога маскирования, в то время как большое число спектральных коэффициентов находится около или ниже глобального порога маскирования и ими можно, таким образом, пренебречь (или закодированы с минимальной длиной кода). Спектр, в котором указанное условие сохраняется, иногда называется разреженным спектром.

Например, основанные на косинусе или основанные на синусе смодулированные перекрывающие преобразования часто используются для кодирования источника, ввиду их свойств сжатия энергии. Таким образом, для гармонических тонов с постоянными основными частотами (высота звука) они концентрируют энергию сигнала до низкого числа спектральных компонентов (поддиапазоны), что приводит к эффективному представлению сигнала.

Вообще, (основная) высота сигнала должна пониматься как самая низкая преобладающая частота, различимая в спектре сигнала. В обычной речевой модели высота-это частота инициирующего сигнала, смодулированного человеческим горлом. Если бы присутствовала только одна единственная основная частота, спектр был бы чрезвычайно простым, включающим только основную частоту и обертоны. Такой спектр может быть закодирован высокоэффективно. Для сигналов с переменной высотой, однако, энергия, соответствующая каждому гармоническому компоненту, распространяется по нескольким коэффициентам преобразования, таким образом, приводя к снижению эффективности кодирования.

Чтобы преодолеть снижение эффективности кодирования, звуковой сигнал, подлежащий кодированию, фактически, подвергается повторной выборке по неоднородной временной сетке. При последующей обработке обрабатываются положения выборки, полученные посредством неоднородной повторной выборки, как если бы они представляли значения на однородной временной сетке. Эта операция обычно обозначается фразой«деформация времени». Время выборки может быть преимущественно выбрано в зависимости от временного колебания высоты, таким образом, что колебание высоты в версии с деформацией времени звукового сигнала меньше, чем колебание высоты в оригинальной версии звукового сигнала (до деформации времени). После деформации времени звукового сигнала версия с деформацией времени звукового сигнала преобразуется в частотную область. Зависящая от высоты (звука) деформация времени имеет тот эффект, что представление частотной области звукового сигнала с деформацией времени обычно проявляет сжатие энергии в значительно меньшее число спектральных компонентов, чем представление частотной области оригинала (звукового сигнала без деформации времени).

На стороне декодера представление частотной области звукового сигнала с деформацией времени преобразуется во временную область, таким образом, что представление временной области звукового сигнала с деформацией времени доступно на стороне декодера. Однако, в представлении временной области, восстановленного на стороне декодера звукового сигнала с деформацией времени, включаются оригинальные (исходные) колебания высоты входного звукового сигнала на стороне кодирующего устройства. Соответственно, применяется еще одна деформация времени посредством повторной выборки представления временной области, восстановленного на стороне декодера звукового сигнала с деформацией времени.

Чтобы получить хорошее восстановление в декодеревходного звукового сигнала со стороны кодирующего устройства, желательно, чтобы деформация времени на стороне декодера была, по крайней мере, приблизительно, обратной операцией относительно деформации времени на стороне кодирующего устройства. Чтобы получить соответствующую деформацию времени, желательно иметь доступную информацию в декодере, которая обеспечивает регулирование деформации времени на стороне декодера.

Поскольку обычно требуется передавать такую информацию от кодирующего устройства звукового сигнала декодерузвукового сигнала, желательно сохранять скорость передачи битов, требуемую для этой передачи, небольшой, в тоже время, обеспечивая надежное восстановление требуемой информации о деформации времени на стороне декодера.

Ввиду этой ситуации существует потребность иметь концепцию, которая позволяет получить надежное восстановление информации о деформации времени на основе эффективно закодированного представления информации о деформации времени.

Осуществление согласно изобретению создает звуковой декодер, формируемый, чтобы обеспечить декодированное представление звукового сигнала на основе кодированного представления звукового сигнала, включающего информацию о частоте дискретизации (выборки) и, кодированную информацию о деформации времени и кодированное представление спектра. Декодер звукового сигнала включает вычислитель деформации времени (который может, например, брать на себя функцию декодера деформации времени) и декодер деформации. Вычислитель деформации времени формируется, чтобы отобразить кодированную информацию о деформации времени на декодированной информации о деформации времени. Вычислитель деформации времени формируется, чтобы адаптировать правило отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени, описывающих декодированную информацию о деформации времени в зависимости от информации о частоте дискретизации. Декодер деформации формируется, чтобы обеспечить декодированное представление звукового сигнала на основе кодированного представления спектра и в зависимости от декодированной информации о деформации времени.

Это осуществление согласно изобретению основывается на обнаружении того, что деформация времени (которая, например, описывается контуром деформации времени) может быть эффективно закодирована, если правило отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени адаптируется к частоте дискретизации, потому что было обнаружено, что желательно предоставлять большую деформацию времени на выборку для более низких частот дискретизации, чем для более высоких частот дискретизации. Было обнаружено, что эта потребность возникает вследствие того, что лучше, если деформация времени на единицу времени, представляемая набором кодовых слов кодированной информации о деформации времени, почти не зависит от частоты дискретизации, которая переводится в последовательность, чтобы деформация времени, представляемая данным набором кодовых слов, была больше для меньших частот дискретизации, чем для более высоких частот дискретизации при допущении того, что число кодовых слов деформации времени на звуковую выборку (или на звуковой фрейм) оставалось, по крайней мере, примерно, постоянным, независимо от основной (рабочей) частоты дискретизации.

Суммируя вышесказанное, было обнаружено, что лучше адаптировать правило отображения для отображения кодовых слов кодированной информации о деформации времени (также кратко обозначенных как кодовые слова деформации времени) на декодированных значениях деформации времени в зависимости от частоты дискретизации кодированного звукового сигнала (представленного кодированным представлением звукового сигнала), потому что это позволяет представить релевантные (соответствующие) значения деформации времени, используя небольшой (и, следовательно, эффективный в отношении скорости передачи битов) набор кодовых слов деформации времени, как для случая относительно высокой частоты дискретизации, так и для случая относительно низкой частоты дискретизации.

Посредством адаптации правила отображения можно кодировать относительно небольшой диапазон значений деформации времени, используя высокое разрешение для относительно высокой частоты дискретизации, и кодировать относительно большой диапазон значений деформации времени с более грубым разрешением для относительно небольшой частоты дискретизации, что, в свою очередь, приводит к хорошей эффективности относительно скорости передачи битов.

В предпочтительном осуществлении кодовые слова кодированной информации о деформации времени описывают временную эволюцию контура деформации времени. Вычислитель деформации времени предпочтительно формируется, чтобы оценить предварительно определенное число кодовых слов кодированной информации о деформации времени для звукового фрейма кодированного звукового сигнала, представленного кодированным представлением звукового сигнала. Предварительно определенное число кодовых слов не зависит от частоты дискретизации кодированного звукового сигнала. Соответственно, можно добиться того, что формат битового потока остается, по существу, независимым от частоты дискретизации, в то же время можно также эффективно кодировать деформацию времени. При использовании предварительно определенного числа кодовых слов деформации времени для звукового фрейма кодированного звукового сигнала, где предварительно определенное число предпочтительно не зависит от частоты дискретизации кодированного звукового сигнала, формат битового потока не изменяется с частотой дискретизации, и анализатор битового потока звукового декодера не должен приспосабливаться к частоте дискретизации. Однако, эффективное кодирование деформации времени все же достигается посредством адаптации правила отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени, так как отображение кодовых слов деформации времени на декодированных значениях деформации времени может адаптироваться к частоте дискретизации так, что представляемый диапазон значений деформации времени приводит к хорошему компромиссу между разрешением и максимальной кодируемой деформацией времени для различных частот дискретизации.

В предпочтительном осуществлении вычислитель деформации времени сконфигурирован, чтобы адаптировать правило отображения так, чтобы декодированные значения деформации времени, на которых отображаются кодовые слова данного набора кодовых слов кодированной информации о деформации времени, были больше для первой частоты дискретизации, чем для второй частоты дискретизации, при условии, что первая частота дискретизации будет меньше, чем вторая частота дискретизации. Соответственно, те же самые кодовые слова, которые кодируют относительно небольшой диапазон значений деформации времени для относительно высокой частоты дискретизации, кодируют относительно большой диапазон значений деформации времени для относительно небольшой частоты дискретизации. Таким образом, можно обеспечить возможность кодирования приблизительно той же деформации времени за единицу времени (определенную, например, в октавах в секунду, кратко обозначаемых "oct/s") для высокой частоты дискретизации и низкой частоты дискретизации, даже если больше кодовых слов передается за единицу времени для относительно высокой частоты дискретизации, чем для относительно низкой частоты дискретизации.

В предпочтительном осуществлении декодированные значения деформации времени являются значениями контура деформации времени, представляющими значения контура деформации времени, или значения изменения контура деформации времени, представляющими изменения значений контура деформации времени.

В предпочтительном осуществлении вычислитель деформации времени формируется, чтобы адаптировать правило отображения так, чтобы максимальное изменение высоты (звука) по данному числу выборок (образцов), которое представляется данным набором кодовых слов кодированной информации о деформации времени, больше для первой частоты дискретизации, чем для второй частоты дискретизации, при условии, что первая частота дискретизации меньше, чем вторая частота дискретизации. Соответственно, тот же набор кодовых слов используется для описания различных диапазонов декодированных величин деформации времени, который хорошо адаптируется к различным частотам дискретизации.

В предпочтительном осуществлении вычислитель деформации времени формируется, чтобы адаптировать правило отображения так, чтобы максимальное изменение высоты (звука) на протяжении данного периода времени, который представляется данным набором кодовых слов кодированной информации о деформации времени при первой частоте дискретизации, отличается от максимального изменения высоты (звука) на протяжении данного периода времени, который представляется данным набором кодовых слов кодированной информации о деформации времени при второй частоте дискретизации, не более, чем на 10% для первой частоты дискретизации и второй частоте дискретизации, отличающейся, по крайней мере, на 30%. В соответствии с данным изобретением можно избежать того, что данный набор кодовых слов традиционно представлял бы значительно отличающуюся деформацию времени на единицу времени для различных частот дискретизации, посредством адаптации правила отображения. Таким образом, число различных кодовых слов может сохраняться разумно малым, что приводит к хорошей эффективности кодирования, где разрешение для кодирования деформации времени, тем не менее, адаптируется к частоте дискретизации.

В предпочтительном осуществлении вычислитель деформации времени формируется, чтобы использовать различные таблицы отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени в зависимости от информации о частоте дискретизации. Посредством предоставления различных таблиц отображения механизм декодирования может оставаться очень простым за счет требуемого объема и конфигурации памяти.

В другом предпочтительном осуществлении вычислитель деформации времени сконфигурирован, чтобы адаптировать (стандартное) правило отображения, которое описывает декодированные значения деформации времени, связанные с различными кодовыми словами кодированной информации о деформации времени для стандартной частоты дискретизации, к основной (рабочей) частоте дискретизации, отличной от стандартной частоты дискретизации. Соответственно, требования к памяти могут сохраняться незначительными, так как необходимо только сохранять значения отображения (т.е. декодированные значения деформации времени), связанные с набором различных кодовых слов для одиночной стандартной частоты дискретизации. Было обнаружено, что можно с небольшими вычислительными усилиями адаптировать значения отображения к иной частоте дискретизации.

В предпочтительном осуществлении вычислитель деформации времени сконфигурирован, чтобы масштабировать часть значений отображения, и эта часть описывает деформацию времени в зависимости от соотношения между основной (рабочей) частотой дискретизации и стандартной частотой дискретизации. Было обнаружено, что такое линейное масштабирование части значений отображения создает особо эффективное решение для получения значений отображения для различных частот дискретизации.

В предпочтительном осуществлении декодированные значения деформации времени описывают изменение контура деформации времени на предварительно определенном числе образцов кодированного звукового сигнала, представленного кодированным представлением звукового сигнала. В этом случае вычислитель деформации времени предпочтительно сконфигурирован, чтобы объединить множество декодированных значений деформации времени, которое представляет изменение контура деформации времени, чтобы получить узловое значение контура деформации так, чтобы отклонение полученного узлового значения деформации от стандартного узлового значения деформации было больше, чем отклонение, представляемое одиночным значением декодированных значений деформации времени. Посредством объединения множества декодированных значений деформации времени можно поддерживать требуемый диапазон для индивидуальных значений деформации времени достаточно маленьким. Это повышает эффективность кодирования значений деформации времени. В то же время можно регулировать диапазон представляемых деформаций времени посредством адаптации правила отображения.

В предпочтительном осуществлении кодированные значения деформации времени описывают относительное изменение контура деформации времени на предварительно определенном числе выборок кодированного звукового сигнала, представленного кодированным представлением звукового сигнала. В этом случае вычислитель деформации времени сконфигурирован, чтобы получить декодированную информацию о деформации времени из декодированных значений деформации времени так, чтобы декодированная информация о деформации времени описывала контур деформации времени. Комбинирование использования значений деформации времени, которые описывают относительное изменение контура деформации времени на предварительно определенном числе выборок кодированного звукового сигнала, и адаптации правила отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени способствует высокой эффективности кодирования, так как можно гарантировать, что по существу идентичный или, по крайней мере, аналогичный диапазон деформации времени (в единицах oct/s) может кодироваться для различных частот дискретизации, даже если число кодовых слов деформации времени на выборку кодированного звукового сигнала может сохраняться постоянным, в случае изменения частоты дискретизации.

В предпочтительном осуществлении вычислитель деформации времени сконфигурирован, чтобы вычислить опорные точки контура деформации времени на основе декодированных значений деформации времени. В этом случае вычислитель деформации времени сконфигурирован, чтобы интерполировать между опорными точками, чтобы получить контур деформации времени в качестве декодированной информации о деформации времени. В этом случае число декодированных значений деформации времени на звуковой фрейм является предварительно определенным и независимым от частоты дискретизации. Соответственно, схема интерполяции между опорными точками может оставаться неизмененной, что позволяет сохранить сложность вычисления незначительной.

Осуществление согласно изобретению создает кодирующее устройство звукового сигнала для обеспечения кодированного представления звукового сигнала. Кодирующее устройство звукового сигнала включает кодирующее устройство контура деформации времени, сконфигурированное, чтобы отображать значения деформации времени, описывающие контур деформации времени, на кодированной информации о деформации времени. Кодирующее устройство контура деформации времени сконфигурировано, чтобы адаптировать правило отображения для отображения значений деформации времени, описывающих контур деформации времени, на кодовых словах кодированной информации о деформации времени в зависимости от частоты дискретизации звукового сигнала. Кодирующее устройство звукового сигнала также включает кодирующее устройство сигнала с деформацией времени, сконфигурированное, чтобы получить кодированное представление спектра звукового сигнала, принимая во внимание деформацию времени, описанную информацией о контуре деформации времени. В этом случае кодированное представление звукового сигнала включает кодовые слова кодированной информации о деформации времени, кодированное представление спектра и информацию о частоте дискретизации, описывающую частоту дискретизации. Указанное кодирующее устройство звукового сигнала хорошо подходит для обеспечения кодированного представления звукового сигнала, которое используется вышеописанным декодером звукового сигнала. Кроме того, кодирующее устройство звукового сигнала предоставляет те же преимущества, которые обсуждались выше в отношении декодера звукового сигнала, и основывается на тех же самых соображениях.

Другое осуществление согласно изобретению создает способ обеспечения декодированного представления звукового сигнала на основе кодированного представления звукового сигнала.

Другое осуществление согласно изобретению создает способ обеспечения кодированного представления звукового сигнала.

Другое осуществление согласно изобретению создает компьютерную программу для выполнения одного или обоих указанных способов.

Краткое описание рисунков

Осуществления согласно данному изобретению будут впоследствии описаны со ссылкой на приложенные чертежи, где:

Фиг.1 показывает блок-схему кодирующего устройства звукового сигнала согласно осуществлению данного изобретения;

Фиг.2 показывает блок-схему декодера звукового сигнала согласно осуществлению данного изобретения;

Фиг.3а показывает блок-схему кодирующего устройства звукового сигнала согласно другому осуществлению данного изобретения;

Фиг.3b показывает блок-схему декодера звукового сигнала согласно другому осуществлению данного изобретения;

Фиг.4а показывает блок-схему устройства отображения для отображения кодированной информации о деформации времени на декодированных значениях деформации времени согласно осуществлению изобретения;

Фиг.4b показывает блок-схему устройства отображения для отображения кодированной информации о деформации времени на декодированных значениях деформации времени согласно другому осуществлению изобретения;

Фиг.4с показывает табличное представление деформаций обычной схемы квантизации;

Фиг.4d показывает табличное представление отображения показателей (индексов) кодовых слов на декодированных значениях деформации времени для различных частот дискретизации согласно осуществлению изобретения;

Фиг.4е показывает табличное представление отображения показателей (индексов) кодовых слов на декодированных значениях деформации времени для различных частот дискретизации согласно другому осуществлению изобретения;

Фиг.5а, 5b показывают детальный фрагмент блок-схемы декодера звукового сигнала, согласно осуществлению изобретения;

Фиг.6а, 6b показывают детальный фрагмент блок-схемы устройства отображения для обеспечения декодированного представления звукового сигнала согласно осуществлению изобретения;

Фиг.7а показывает легенду определений элементов данных и справочных элементов, которые используются в звуковом декодере согласно осуществлению изобретения;

Фиг.7b показывает легенду определений констант, которые используются в звуковом декодере согласно осуществлению изобретения;

Фиг.8 показывает табличное представление отображения коэффициента кодового (ключевого) слова на соответствующее декодированное значение деформации времени;

Фиг.9 показывает представление псевдо управляющей программы алгоритма для линейного интерполирования между равномерно распределенными узлами деформации;

Фиг.10а показывает представление псевдо управляющей программы вспомогательной функции "warp_time_inv";

Фиг.10b показывает представление псевдо управляющей программы вспомогательной функции "warp_inv_vec";

фиг.11a, 11b показывают представление псевдо управляющей программы алгоритма для вычисления вектора положения выборки и длины перехода;

Фиг.12 показывает табличное представление значений длины окна синтеза N в зависимости от последовательности окон и длины фрейма основного кодирующего устройства;

фиг.13 показывает матричное представление допустимых последовательностей окон;

Фиг.14a, 14b показывают представление псевдо управляющей программы алгоритма для управления окнами и для внутреннего наложения - добавления последовательности окон типа "EIGHT_SHORT_SEQUENCE" (последовательность восьми коротких);

Фиг.15 показывает представление псевдо управляющей программы алгоритма для управления окнами и внутреннего наложения - добавления других последовательностей окон, которые не являются последовательностями окон типа "EIGHT_SHORT_SEQUENCE" (последовательность восьми коротких);

Фиг.16 показывает представление псевдо управляющей программы алгоритма для повторной выборки; и

Фиг.17a-17f показывают представления элементов синтаксиса звукового потока согласно осуществлению изобретения.

Детальное описание осуществлений

1. Кодирующее устройство звукового сигнала с деформацией времени согласно фиг.1

Фиг.1 показывает блок-схему кодирующего устройства звукового сигнала с деформацией времени 100 согласно осуществлению изобретения.

Кодирующее устройство звукового сигнала 100 сконфигурировано, чтобы получить входной звуковой сигнал 110 и обеспечить на его основе кодированное представление 112 входного звукового сигнала 110. Кодированное представление 112 входного звукового сигнала 110 включает, например, кодированное представление спектра, кодированную информацию о деформации времени (которая может обозначаться, например, "twdata", и которая может, например, включать кодовые слова twratio[i]) и информацию о частоте дискретизации.

Кодирующее устройство звукового сигнала может, факультативно, включать анализатор деформации времени 120, который может формироваться, чтобы получить входной звуковой сигнал 110, чтобы анализировать входной звуковой сигнал, и чтобы предоставить информацию о контуре деформации времени 122 таким образом, чтобы информация о контуре деформации времени 122 описывала, например, временную эволюцию высоты (звука) звукового сигнала 110. Однако, кодирующее устройство звукового сигнала 100 может, альтернативно, получать информацию о контуре деформации времени, предоставляемую анализатором деформации времени, находящемся вне кодирующего устройства звукового сигнала.

Кодирующее устройство звукового сигнала 100 также включает кодирующее устройство контура деформации времени 130, которое сконфигурировано, чтобы получить информацию о контуре деформации времени 122, и чтобы обеспечить, на ее основе, кодированную информацию о деформации времени 132. Например, кодирующее устройство контура деформации времени 130 может получить значения деформации времени, описывающие контур деформации времени. Значения деформации времени могут, например, описывать абсолютные значения нормализованного или ненормализованного контура деформации времени или относительные изменения с течением времени нормализованного или ненормализованного контура деформации времени. Вообще говоря, кодирующее устройство контура деформации времени 130 сконфигурировано, чтобы отображать значения деформации времени, описывающие контур деформации времени 122, на кодированной информации о деформации времени 132.

Кодирующее устройство контура деформации времени 130 сконфигурировано, чтобы адаптировать правило отображения для отображения значений деформации времени, описывающих контур деформации времени, на кодовых словах кодированной информации о деформации времени 132 в зависимости от частоты дискретизации звукового сигнала. С этой целью, кодирующее устройство контура деформации времени 130 может получать информацию о частоте дискретизации, чтобы, таким образом, адаптировать указанное отображение 134.

Кодирующее устройство звукового сигнала 100 также включает кодирующее устройство сигнала с деформацией времени 140, которое сконфигурировано, чтобы получить кодированное представление 142 спектра звукового сигнала 110, принимая во внимание деформацию времени, описываемую информацией о контуре деформации времени 122.

Следовательно, кодированное представление звукового сигнала 112 может быть предоставлено, например, посредством использования поставщика битового потока таким образом, чтобы кодированное представление 112 звукового сигнала 110 включало кодовые слова кодированной информации о деформации времени 132, кодированное представление 142 спектра и информацию о частоте дискретизации 152, описывающую частоту дискретизации (например, частоту дискретизации входного звукового сигнала 110 и/или (среднюю) частоту дискретизации, используемую кодирующим устройством сигнала с деформацией времени 140 в контексте преобразования временной области в частотную область).

Относительно функциональных возможностей кодирующего устройства звукового сигнала 100 можно сказать, что спектр звукового сигнала, который изменяет его высоту на протяжении звукового фрейма (где длина звукового фрейма, в переводе на звуковые выборки, может быть равной длине преобразования временной области в частотную область, используемой кодирующим устройством сигнала с деформацией времени) может уплотняться посредством изменяющейся во времени повторной выборки. Соответственно, изменяющаяся во времени повторная выборка, которая может выполняться кодирующим устройством сигнала с деформацией времени 140 в зависимости от информации о контуре деформации времени 122, дает в результате спектр (повторно выбранного (дискретизированного) звукового сигнала), который может кодироваться с лучшей эффективностью относительно скорости передачи битов, чем спектр оригинального входного звукового сигнала 110.

Однако, деформация времени, которая применяется в кодирующем устройстве сигнала с деформацией времени 140, подает сигнал декодеру звукового сигнала 200 согласно фиг.2, используя кодированную информацию о деформации времени. Кроме того, кодирование информации о деформации времени, которая может включать отображение значений деформации времени на кодовых словах, адаптируется в зависимости от информации о частоте дискретизации так, чтобы различные отображения значений деформации времени на кодовых словах использовались для различных частот дискретизации входного звукового сигнала 110 или для различных частот дискретизации, при которых работает кодирующее устройство сигнала с деформацией времени 140 (или его преобразование временной области в частотную область).

Таким образом, наиболее эффективное в отношении скорости передачи битов отображение может выбираться для каждой из возможных частот дискретизации, которое может управляться кодирующим устройством сигнала с деформацией времени 140. Такая адаптация имеет смысл, так как было обнаружено, что скорость передачи битов кодированной информации о деформации времени может поддерживаться небольшой даже в случае множественных возможных частот дискретизации, используемых кодирующим устройством сигнала с деформацией времени 140, если отображение значений деформации времени, описывающих контур деформации времени, на кодовых словах соответствует текущей частоте. Соответственно, можно гарантировать, что небольшой набор различных кодовых слов будет достаточным для кодирования контура деформации времени со значительно более высоким разрешением, а также в значительно большем динамическом диапазоне, как в случае сравнительно небольших частот дискретизации, так и сравнительно больших частот дискретизации, даже если число кодовых слов на звуковой фрейм остается постоянным при различных частотах дискретизации (что, в свою очередь, предусматривает битовый поток, независимый от частоты дискретизации, и, поэтому, способствует формированию, хранению, синтаксическому анализу и оперативной обработке кодированного представления звукового сигнала 112).

Дальнейшие детали относительно адаптации отображения 134 будут обсуждаться ниже.

2. Декодер звукового сигнала с деформацией времени согласно фиг.2

Фиг.2 показывает принципиальную блок-схему декодера звукового сигнала с деформацией времени 200 согласно осуществлению изобретения.

Декодер звукового сигнала 200 сконфигурирован, чтобы обеспечить декодированное представление звукового сигнала 212 (например, в форме представления временной области звукового сигнала) на основе кодированного представления звукового сигнала 210. Кодированное представление звукового сигнала 210 может, например, включать кодированное представление спектра 214 (которое может быть идентичным кодированному представлению спектра 142, предоставленному кодирующим устройством звукового сигнала с деформацией времени 140), кодированную информацию о деформации времени 216 (которая может, например, быть идентичной кодированной информации о деформации времени 132, предоставленной кодирующим устройством контура деформации времени 130) и информацию о частоте дискретизации 218 (которая может, например, быть идентичной информации о частоте дискретизации 152).

Декодер звукового сигнала 200 включает вычислитель деформации времени 230, который также может рассматриваться как декодер деформации времени. Вычислитель деформации времени 230 сконфигурирован, чтобы отображать кодированную информацию о деформации времени 216 на декодированной информации о деформации времени 232. Кодированная информация о деформации времени 216 может, например, включать кодовые слова деформации времени "twratio[i]", а декодированная информация о деформации времени может, например, принимать форму информации о контуре деформации времени, описывающей контур деформации времени. Вычислитель деформации времени 230 формируется, чтобы адаптировать правило отображения 234 для отображения кодовых слов (деформации времени) кодированной информации о деформации времени 216 на декодированных значениях деформации времени, описывающих декодированную информацию о деформации времени в зависимости от информации о частоте дискретизации 218. Соответственно, различные отображения кодовых слов кодированной информации о деформации времени 216 на значениях деформации времени декодированной информации о деформации времени 232 могут быть выбраны для различных частот дискретизации, сообщаемых информацией о частоте дискретизации.

Декодер звукового сигнала 200 также включает декодер деформации 240, который формируется, чтобы получить кодированное представление 214 спектра и предоставить декодированное представление звукового сигнала 212 на основе кодированного представления спектра 214 и в зависимости от декодированной информации о деформации времени 232.

Соответственно, декодер звукового сигнала 200 обеспечивает эффективное декодирование кодированной информации о деформации времени, как для сравнительно высокой частоты дискретизации, так и для сравнительно низкой частоты дискретизации, так как отображение кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени зависит от частоты дискретизации. Таким образом, можно получить высокое разрешение контура деформации времени для сравнительно высокой частоты дискретизации, в то же время предусматривая достаточно большую деформацию времени за единицу времени для сравнительно небольших частот дискретизации, и в то же время используя тот же набор кодовых слов, как для сравнительно маленькой частоты дискретизации, так и для сравнительно высокой частоты дискретизации. Таким образом, формат битового потока, в основном, не зависит от частоты дискретизации, в то же время можно описать деформацию времени с соответствующей точностью и подходящим динамическим диапазоном, как в случае сравнительно высокой частоты дискретизации, так и сравнительно небольшой частоты дискретизации.

Дальнейшие детали относительно адаптации отображения 234 будут описаны ниже. Также, дальнейшие детали относительно декодера деформации 240 будут описаны ниже.

3. Кодирующее устройство звукового сигнала с деформацией времени согласно фиг.3а

Фиг.3а показывает принципиальную блок-схему кодирующего устройства звукового сигнала с деформацией времени 300 согласно осуществлению изобретения.

Кодирующее устройство звукового сигнала 300 согласно фиг.3а аналогично кодирующему устройству звукового сигнала 100 согласно фиг.1, так что идентичные сигналы и устройства обозначаются идентичными ссылочными цифрами. Однако, фиг.3а показывает больше деталей относительно кодирующего устройства сигнала с деформацией времени 140.

Так как данное изобретение связано с кодированием звука с деформацией времени и декодированием звука с деформацией времени, будет дан краткий обзор деталей кодирующего устройства звукового сигнала с деформацией времени 140. Кодирующее устройство звукового сигнала с деформацией времени 140 формируется, чтобы получить входной звуковой сигнал 110 и обеспечить кодированное представление спектра 142 входного звукового сигнала 110 для последовательности фреймов. Кодирующее устройство звукового сигнала с деформацией времени 140 включает блок выборки или блок повторной выборки 140а, который адаптируется, чтобы произвести выборку или повторную выборку входного звукового сигнала 110, чтобы получить блоки сигналов (выборочные представления) 140d, используемые в качестве основы для преобразования частотной области. Блок выборки/блок повторной выборки 140а включает вычислитель положения выборки 140b, который формируется, чтобы вычислить положения выборки, которые адаптируются к деформации времени, описанной информацией о контуре деформации времени 122, и которые, вследствие этого, являются не эквидистантными (не равноудаленными) во времени, если деформация времени (или колебание высоты (звука) или колебание основной частоты) отлична от нуля. Блок выборки/блок повторной выборки 140а также включает сэмплер (синтезатор выборки) или ресэмплер (синтезатор повторной выборки) 140с, который формируется, чтобы произвести выборку или повторную выборку части (например, звуковой фрейм) входного звукового сигнала 110, используя временно не эквидистантные (не равноудаленные) положения выборки, полученные посредством вычислителя положения выборки

Кодирующее устройство звукового сигнала с деформацией времени 140 далее включает вычислитель окна преобразования 140е, который адаптируется, чтобы получить окна масштабирования для выбранных (дискретизированных) или повторно выбранных (редискретизированных) представлений 140d, производимых блоком выборки или блоком повторной выборки 140а. Информация об окне масштабирования 140 ти выбранные/повторно выбранные представления 140d являются вводом в устройство управления окнами 140g, которое адаптируется, чтобы применить окна масштабирования, описанные информацией об окне масштабирования 140f, к соответствующим выбранным или повторно выбранным представлениям 140d, произведенным блоком выборки/ блоком повторной выборки 140а. В других осуществлениях кодирующее устройство звукового сигнала с деформацией времени 140 может дополнительно включать преобразователь частотной области 140i, чтобы получить представление частотной области 140) (например, в форме коэффициентов преобразования или спектральных коэффициентов) выбранного (дискретизированного) или реализуемого посредством организации окна представления 140h входного звукового сигнала 110. Представление частотной области 140) может быть, например, постобработано. Кроме того, представление частотной области 140j или его постобработанная версия может кодироваться посредством использования кодирования 140k, чтобы получить кодированное представление спектра 142 входного звукового сигнала 110.

Кодирующее устройство звукового сигнала с деформацией времени 140 далее использует контур высоты (звука) входного звукового сигнала 110, где контур высоты (звука) может описываться информацией о контуре деформации времени 122. Информация о контуре деформации времени 122 может предоставляться кодирующему устройству звукового сигнала 300 в качестве входной информации, или может производиться кодирующим устройством звукового сигнала 300. Кодирующее устройство звукового сигнала 300 может, поэтому, факультативно, включать анализатор деформации времени 120, который может работать как блок оценки высоты (звука) для получения информации о контуре деформации времени 122 так, чтобы информация о контуре деформации времени 122 составляла информацию о контуре высоты (звука) или описывала контур высоты (звука) или основную частоту.

Блок выборки/блок повторной выборки 140а может работать на непрерывном представлении входного звукового сигнала 110. Альтернативно, однако, блок выборки/блок повторной выборки 140а может работать на ранее выбранном представлении входного звукового сигнала 110. В первом случае блок 140а может выбирать входной звуковой сигнал (и может, поэтому, рассматриваться как блок выборки), и в последнем случае блок 140а может повторно выбрать ранее выбранное представление входного звукового сигнала 110 (и может, поэтому, рассматриваться как блок повторной выборки). Блок выборки 140а может, например, адаптироваться к близлежащим перекрывающимся звуковым блокам с деформацией времени так, чтобы перекрывающаяся часть имела постоянную высоту (звука) или уменьшенные колебания высоты (звука) в каждом из входных блоков после выборки или повторной выборки.

Вычислитель окна преобразования 140е может, факультативно, производить окна масштабирования для звуковых блоков (например, для звуковых фреймов), в зависимости от деформации времени, выполненной сэмплером (синтезатором выборки) 140а. Чтобы закончить, факультативный блок настройки 140l может присутствовать, чтобы определить правило деформации, используемое сэмплером (синтезатором выборки), которое затем также предоставляется вычислителю окна преобразования 140е.

В альтернативном осуществлении блок настройки 140l может не включаться, а контур высоты (звука), описываемый информацией о контуре деформации времени 122, может быть предоставлен непосредственно вычислителю окна преобразования 140е, который сам может выполнять соответствующие вычисления. К тому же, блок выборки/блок повторной выборки 140а может передавать примененную выборку вычислителю окна преобразования 140е, чтобы запустить вычисление соответствующих окон масштабирования.

Однако, в некоторых других осуществлениях управление окнами может быть, в основном, независимым от деталей деформации времени.

Деформация времени выполняется блоком выборки/блоком повторной выборки 140а так, чтобы контур высоты (звука) выбранных (или повторно выбранных) звуковых блоков (или звуковых фреймов) с деформацией времени и выбранных (или повторно выбранных) блоком 140а был более постоянным, чем контур высоты (звука) оригинального входного звукового сигнала 110. Соответственно, размывание спектра, вызываемое временными колебаниями контура высоты (звука), уменьшается посредством выборки или повторной выборки, выполняемой блоком 140а. Таким образом, спектр выбранного или повторно выбранного звукового сигнала 140d менее размытый (и, обычно, проявляет более явные спектральные пики и спектральные провалы), чем спектр входного звукового сигнала 110. Соответственно, обычно можно кодировать спектр выбранного (или повторно выбранного) звукового сигнала 140d, используя меньшую скорость передачи битов по сравнению со скоростью передачи битов, которая потребовалась бы для кодирования спектра входного звукового сигнала 110 с той же точностью.

Здесь следует заметить, что входной звуковой сигнал 110 обычно обрабатывается по фреймам, где фреймы могут перекрываться или не перекрываться в зависимости от особых требований. Например, каждый из фреймов входного звукового сигнала может индивидуально выбираться (дискретизироваться) или повторно выбираться (повторно дискретизироваться) блоком 140а, чтобы, таким образом, получить последовательность выбранных (повторно выбранных) фреймов, описываемых соответствующими наборами выборок временной области 140d. Так же, управление окнами может применяться индивидуально к выбранным (повторно выбранным) фреймам, представленным соответствующими наборами выборок временной области 140d, посредством управления окнами 140g. Кроме того, реализуемые посредством организации окна и повторно выбранные фреймы, описываемые соответствующими наборами реализуемых посредством организации окна и повторно выбранных выборок (образцов) временной области 140h, могут преобразовываться индивидуально в частотную область посредством преобразования 140i. Тем не менее, может быть некоторое (временное) перекрывание индивидуальных фреймов.

Кроме того, следует заметить, что звуковой сигнал 110 может выбираться (дискретизироваться) с предварительно определенной частотой дискретизации (также обозначаемой как частота выборки). При повторной выборке, которая выполняется сэмплером (синтезатором выборки) или ресэмплером (синтезатором повторной выборки) 140 с, повторная выборка может выполняться так, чтобы повторно выбранный блок (фрейм) входного звукового сигнала 110 мог включать среднюю частоту дискретизации (частоту выборки), которая идентична (или, по крайней мере, приблизительно идентична, например, в пределах допуска +/- 5%) частоте дискретизации (частоте выборки) входного звукового сигнала 110. Однако, кодирующее устройство звукового сигнала 300 может, альтернативно, формироваться, чтобы работать с входными звуковыми сигналами различных частот дискретизации (или частот выборки).

Соответственно, средняя частота дискретизации (или частота выборки) повторно выбранных блоков или фреймов, представленных выборками временной области 140d, может изменяться в зависимости от частоты дискретизации или частоты выборки входного звукового сигнала 110 в некоторых осуществлениях.

Однако, естественно, также возможно, что средняя частота дискретизации или частота выборки блоков или фреймов выбранного или повторно выбранного звукового сигнала, представленного выборками временной области 140d, отличается от частоты выборки входного звукового сигнала 110, потому что сэмплер (синтезатор выборки) 140а может выполнять, как преобразование частоты выборки в соответствии с желаниями или требованиями оператора, так и деформацию времени.

Следовательно, можно сказать, что блоки или фреймы выбранного или повторно выбранного звукового сигнала, представляемого набором выборок временной области 140d, могут быть предоставлены при различных частотах дискретизации или частотах выборки в зависимости от средней частоты дискретизации или частоты выборки входного звукового сигнала 110 и/или желания пользователя.

Однако, в некоторых осуществлениях длина блоков или фреймов выбранного или повторно выбранного звукового сигнала, представленного набором спектральных значений 140d, в переводе на звуковые выборки (образцы) может быть постоянной даже для различных средних частот дискретизации или частот выборки. Однако, переключение между двумя возможными длинами (в переводе на звуковые выборки (образцы) на блок или фрейм) может иметь место в некоторых осуществлениях, где длина блока или длина фрейма в первом (короткий блок) режиме может быть независимой от средней частоты дискретизации, и где длина блока или длина фрейма (в переводе на звуковые выборки (образцы)) во втором (длинный блок) режиме также может быть независимой от средней частоты дискретизации или частоты выборки.

Соответственно, управление окнами, которое выполняется устройством управления окнами 140g, преобразование, которое выполняется преобразователем 140i, и кодирование, которое выполняется кодирующим устройством 140k, может быть, в основном, независимым от средней частоты дискретизации или частоты выборки выбранного или повторно выбранного звукового сигнала 140d (кроме возможного переключения между режимом короткого блока и режимом длинного блока, которое может иметь место независимо от средней частоты дискретизации или частоты выборки).

В заключение, кодирующее устройство сигнала с деформацией времени 140 позволяет эффективно кодировать входной звуковой сигнал 110, потому что выборка или повторная выборка, выполняемая сэмплером (синтезатором выборки) 140а, дает в результате повторно выбранный звуковой сигнал 140d, имеющий менее размытый спектр, чем входной звуковой сигнал 110, в случае, если входной звуковой сигнал 110 включает временное колебание высоты (звука), что в свою очередь способствует эффективному в отношении скорости передачи битов кодированию (посредством кодирующего устройства 140k) спектральных коэффициентов 140), предоставляемых преобразователем 140i на основе выбранной/повторно выбранной или реализуемой посредством организации окна версии 140h входного звукового сигнала 110.

Кодирование контура деформации времени, которое выполняется кодирующим устройством контура деформации времени 130 способом, зависящим от частоты дискретизации, способствует эффективному относительно скорости передачи битов кодированию информации о контуре деформации времени 122 для различных частот дискретизации (или средних частот дискретизации) выбранного/повторно выбранного звукового сигнала 140d, чтобы битовый поток, включающий кодированное представление спектра 142 и кодированную информацию о деформации времени 132, был эффективным в отношении скорости передачи битов.

4. Декодер звукового сигнала с деформацией времени согласно фиг.3b

Фиг.3b показывает принципиальную блок схему декодера звукового сигнала 350 согласно осуществлению изобретения.

Декодер звукового сигнала 350 аналогичен декодеру звукового сигнала 200 согласно фиг.2, так что идентичные сигналы и приспособления будут обозначаться идентичными ссылочными цифрами и еще раз объясняться не будут.

Декодер звукового сигнала 350 формируется для получения кодированного представления спектра первого выбранного звукового фрейма с деформацией времени, а также для получения кодированного представления спектра второго выбранного звукового фрейма с деформацией времени. В сущности, декодер звукового сигнала 350 формируется для получения последовательности кодированных представлений спектра повторно выбранных звуковых фреймов с деформацией времени, где указанные кодированные представления спектра могут, например, предоставляться кодирующим устройством сигнала с деформацией времени 140 кодирующего устройства звукового сигнала 300. В дополнение, декодер звукового сигнала 350 получает дополнительную информацию, такую как, например, кодированная информация о деформации времени 216 и информация о частоте дискретизации 218.

Декодер деформации 240 может включать декодер 240а, который формируется, чтобы получить кодированное представление 214 спектра, чтобы декодировать кодированное представление 214 этого спектра и предоставить декодированное представление 240b спектра. Декодер деформации 240 также включает обратный преобразователь 240 с, который формируется, чтобы получить декодированное представление 240b спектра, и, таким образом, получить представление временной области 240d блока или фрейма выбранного звукового сигнала с деформацией времени, описываемого кодированным представлением спектра 214. Декодер деформации 240 также включает устройство управления окнами 240е, которое формируется, чтобы применить управление окнами к представлению временной области 240d блока или фрейма, и, таким образом, получить реализуемое посредством организации окна представление временной области 240f блока или фрейма. Декодер деформации 240 также включает повторную выборку 240g, в которой реализуемое посредством организации окна представление временной области 240f повторно выбирается в соответствии с информацией о положении выборки 240h, чтобы, таким образом, получить реализуемое посредством организации окна и повторно выбранное представление временной области 240i для блока или фрейма. Декодер деформации 240 также включает устройство наложения - сумматор 240j, которое формируется, чтобы наложить (перекрыть) и добавить последующие блоки или фреймы реализуемого посредством организации окна и повторно выбранного представления временной области, чтобы, таким образом, получить гладкий переход между последующими блоками или фреймами реализуемого посредством организации окна и повторно выбранного представления временной области 240i, и, чтобы, таким образом, получить декодированное представление звукового сигнала 212 в результате процедуры наложения и добавления.

Декодер деформации 240 включает вычислитель положения выборки 240k, который формируется, чтобы получить декодированную информацию о деформации времени 232 от вычислителя деформации времени (или декодера деформации времени) 230, и чтобы предоставить информацию о положении выборки 240h на ее основе. Соответственно, декодированная информация о деформации времени 232 описывает изменяющуюся во времени повторную выборку, которая выполняется ресэмплером (синтезатором повторной выборки)240g.

Факультативно, декодер деформации 240 может включать регулятор формы окна 240l, который может формироваться, чтобы отрегулировать форму окна, используемого устройством управления окнами 240е, в зависимости от требований. Например, регулятор формы окна 240l может, факультативно, получать декодированную информацию о деформации времени 232 и регулировать окно в зависимости от указанной декодированной информации о деформации времени 232. Альтернативно, или в дополнение, регулятор формы окна 2401 может формироваться, чтобы регулировать форму окна, используемую устройством управления окнами 240е в зависимости от информации, указывающей на то, используется ли режим длинного блока или режим короткого блока, если декодер деформации 240 является переключаемым между таким режимом длинного блока или режимом короткого блока. Альтернативно, или в дополнение, регулятор формы окна 240l может формироваться, чтобы выбрать соответствующую форму окна для использования устройством управления окнами 240е в зависимости от информации о последовательности окон, если различные типы окон используются декодером деформации 240. Однако, следует заметить, что регулирование формы окна, которое выполняется регулятор формы окна 2401, должно рассматриваться как факультативное и не особенно важное для данного изобретения.

Кроме того, декодер деформации 240 может, факультативно, включать регулятор частоты выборки 240m, который может формироваться, чтобы управлять регулятором формы окна 240l и/или вычислителем положения выборки 240k в зависимости от информации о частоте дискретизации 218. Однако, регулирование частоты выборки 240 т может рассматриваться как факультативное и не является особенно важным для данного изобретения.

Относительно функциональных возможностей декодера деформации 240, можно сказать, что кодированное представление 214 спектра, которое может, например, включать набор коэффициентов преобразования (также обозначаемые как спектральные коэффициенты) для каждого из множества звуковых фреймов (или даже множества наборов спектральных коэффициентов для некоторых звуковых фреймов), сначала декодируется посредством использования декодера 240а, чтобы получить декодированное представление спектра 240b. Декодированное представление спектра 240b блока или фрейма кодированного звукового сигнала преобразовывается в представление временной области (включающее, например, предварительно определенное число выборок (образцов) временной области на звуковой фрейм) указанного блока или фрейма звукового содержания (контента). Обычно, но не обязательно, декодированное представление 240b спектра включает отчетливые пики и провалы, потому что такой спектр может эффективно кодироваться. Следовательно, представление временной области 240d включает сравнительно небольшое колебание высоты (звука) на протяжении одиночного блока или фрейма (что соответствует спектру, имеющему отчетливые пики и провалы).

Управление окнами 260е применяется к представлению временной области 240d звукового сигнала, чтобы способствовать процедуре наложения и добавления. Впоследствии, реализуемое посредством организации окна представление временной области 240f повторно выбирается зависящим от времени способом, где повторная выборка выполняется в зависимости от информации о деформации времени, включенной, в кодированной форме, в кодированное представление звукового сигнала 210. Соответственно, повторно выбранное представление звукового сигнала 240i обычно включает значительно большее колебание высоты (звука), чем реализуемое посредством организации окна представление временной области 240f, при условии, что кодированная информация о деформации времени описывает деформацию времени или, эквивалентно, колебание высоты (звука). Таким образом, звуковой сигнал, включающий значительное колебание высоты (звука) на протяжении одиночного звукового фрейма, может предоставляться на выходе ресэмплера (синтезатора повторной выборки) 240g, даже если выходной сигнал 240d обратного преобразователя 240с включает значительно меньшее колебание высоты (звука) на протяжении одиночного звукового фрейма.

Однако, декодер деформации 240 может формироваться, чтобы управлять кодированными представлениями спектра, которые предоставляются посредством использования различных частот дискретизации, и чтобы предоставить декодированное представление звукового сигнала 212 с различными частотами дискретизации. Однако, число выборок (образцов) временной области на звуковой фрейм или звуковой блок может быть идентичным для множества различных частот дискретизации. Альтернативно, однако, декодер деформации 240 может переключаться между режимом короткого блока, в котором звуковой блок включает сравнительно небольшое число выборок (образцов) (например, 256 выборок (образцов)), и режимом длинного блока, в котором звуковой блок включает сравнительно большое число выборок (образцов) (например, 2048 выборок (образцов)). В этом случае, число выборок (образцов) на звуковой блок в режиме короткого блока идентично для различных частот дискретизации, а число звуковых выборок (образцов) на звуковой блок (или звуковой фрейм) в режиме длинного блока идентично для различных частот дискретизации. Так же, число кодовых слов деформации времени на звуковой фрейм обычно идентично для различных частот дискретизации. Соответственно, может быть достигнут однородный формат битового потока, который, в основном, независим (по крайней мере, относительно числа выборок (образцов) временной области, кодированных на звуковой фрейм, и относительно числа кодовых слов деформации времени на звуковой фрейм) от частоты дискретизации.

Однако, чтобы получить и эффективное в отношении скорости передачи битов кодирование информации о деформации времени, и достаточное разрешение информации о деформации времени, кодирование информации о деформации времени адаптируется к частоте дискретизации на стороне кодирующего устройства звукового сигнала 300, которое предоставляет кодированное представление звукового сигнала 210. Следовательно, декодирование кодированной информации о деформации времени 216, которая включает отображение кодовых слов деформации времени на декодированных значениях деформации времени, адаптируется к частоте дискретизации. Детали, относительно этой адаптации декодирования информации о деформации времени будут описаны впоследствии.

5. Адаптация кодирования и декодирования деформации времени

5.1. Концептуальный обзор

В дальнейшем, будут описаны детали относительно адаптации кодирования и декодирования деформации времени в зависимости от частоты дискретизации звукового сигнала, подлежащего кодированию, или звукового сигнала, подлежащего декодированию. Другими словами, будет описана зависящая от частоты дискретизации квантизация колебания высоты (звука). Чтобы облегчить понимание, сначала будут описаны некоторые традиционные концепции.

В традиционных звуковых кодирующих устройствах и звуковых декодерах, использующих деформацию времени, таблица квантизации для колебания высоты (звука) или деформации фиксируется для всех частот дискретизации. В качестве примера, делается ссылка на Рабочий проект 6 Объединенного кодирования речи и звука ("WD6 of USAC", ISO/IECJTC1/SC29/WG11 N11213, 2010). Так как обновленное расстояние в выборках (образцах) (например, расстояние, в переводе на звуковые выборки (образцы), временных экземпляров, для которых значение деформации времени передается от звукового кодирующего устройства звуковому декодеру) также фиксируется (как в традиционных кодирующих устройствах /декодерах звука с деформацией времени, так и в кодирующих устройствах /декодерах звука с деформацией времени согласно данному изобретению), применение такой схемы кодирования при более низкой скорости передачи битов приводит к меньшему диапазону действительных изменений высоты (звука) (например, в переводе на изменение высоты в единицу времени), которые могут быть предусмотрены. Типичные максимальные изменения основной частоты речи ниже примерно 15 oct/s (15 октав в секунду).

Таблица фиг.4с предоставляет данные о том, что для определенных частот дискретизации, которые используются в кодировании звука, схема кодирования, описанная в ссылке [3], не может отображать желаемый диапазон колебаний высоты (звука) и, поэтому, приводит к суб-произвольной эффективности кодирования. Чтобы показать этот эффект, таблица фиг.4с показывает деформации для различных частот дискретизации для таблицы (например, таблица отображения для отображения кодовых слов деформации времени на декодированных значениях деформации времени), используемой в звуковом декодере, описанном в ссылке [3]. Формула для получения этих значений деформации в oct/s(октав в секунду):

$$w={\log }_2\left(p_{rel}{}^{\frac{f_s\cdot n_p}{n_f}}\right)\left(1\right)$$

В вышеприведенном уравнении w обозначает деформацию, p_rel обозначает коэффициент изменения относительной высоты (звука), f_s обозначает частоту дискретизации, n_p обозначает число узлов высоты (звука) в одном фрейме и n_f обозначает длину фрейма в выборках (образцах).

Соответственно, таблица фиг.4с показывает деформации схемы квантизации, используемой в звуковом декодере, описанном в ссылке [3], где n_f=1024 и n_p=16.

В соответствии с данным изобретением было обнаружено, что полезно адаптировать отображение индекса значения деформации (который может рассматриваться как кодовое слово деформации времени) на соответствующем значении деформации времени p_rel в зависимости от частоты дискретизации. Другими словами, было обнаружено, что решение вышеназванных проблем состоит в создании отдельных таблиц квантизации для различных частот дискретизации таким образом, чтобы абсолютный диапазон предусмотренных колебаний высоты (звука) в oct/s (октавы в секунду) был тем же самым (или, по крайней мере, приблизительно, тем же самым) для всех частот дискретизации. Было обнаружено, что это может быть сделано, например, посредством предоставления нескольких точных таблиц квантизации, каждая из которых используется для узкого диапазона рядом расположенных частот дискретизации, или посредством оперативного вычисления таблицы квантизации для используемых частот дискретизации.

В соответствии с осуществлением изобретения это может быть сделано посредством предоставления таблицы значений деформации и вычисления таблицы квантизации для коэффициента изменения относительной высоты (звука) посредством преобразования вышеприведенной формулы:

$$p_{rel}=2^{\frac{n_f\cdot w}{f_s\cdot n_p}}\left(2\right)$$

В вышеприведенном уравнении p_rel обозначает коэффициент изменения относительной высоты (звука), n_f обозначает длину фрейма в выборках (образцах), w обозначает деформацию, f_s обозначает частоту дискретизации и n_p обозначает число узлов высоты (звука) в одном фрейме. При использовании указанного уравнения могут быть получены коэффициенты изменения относительной высоты (звука) p_rel, которые показаны в таблице фиг.4d.

Со ссылкой на фиг.4d первая колонка 480 обозначает индекс; этот индекс может рассматриваться как кодовое слово деформации времени, и этот индекс может включаться в битовый поток, представляющий кодированное представление звукового сигнала 210. Вторая колонка 482 описывает максимальную представляемую деформацию времени (в единицах октава/сек.), которая может представляться n_p коэффициентов изменения относительной высоты (звука) p_rel, связанных с индексом, показанным в первой колонке и в соответствующем ряду. Третья колонка 484 описывает коэффициент изменения относительной высоты (звука), связанный с индексом, приведенным в первой колонке 480 соответствующего ряда для частоты дискретизации в 24000 Гц. Четвертая колонка 486 показывает коэффициенты изменения относительной высоты (звука), связанные со значениями индекса, показанными в первой колонке 480 соответствующего ряда для частоты дискретизации в 12000 Гц. Как можно видеть, индексы 0, 1 и 2 соответствуют коэффициентам изменения относительной высоты (звука) p_rel для «отрицательного» изменения высоты (звука) (т.е., для уменьшения высоты (звука)), значение индекса 3 соответствует коэффициенту изменения относительной высоты (звука), равному 1, который представляет постоянную высоту (звука), а индексы 4, 5, 6 и 7 связаны с коэффициентами изменения относительной высоты (звука) p_rel, описывающими «положительную» деформацию времени, т.е., увеличение высоты (звука).

Однако, было обнаружено, что существуют другие концепции получения коэффициентов изменения относительной высоты (звука). Было обнаружено, что одним из других способов получения коэффициентов изменения относительной высоты (звука) является создание таблицы значений квантизации для коэффициента изменения относительной высоты (звука) и соответствующей исходной частоты выборки. Реальная таблица квантизации для данной частоты дискретизации тогда может быть просто получена из созданной таблицы, посредством использования следующей формулы:

$$p_{rel}=1+\left(p_{rel,ref}-1\right)\frac{f_s{}_{,ref}}{f_s}\left(3\right)$$

p_rel описывает коэффициент изменения относительной высоты (звука) для текущей частоты дискретизации f_s. В дополнение, p_relref описывает коэффициент изменения относительной высоты (звука) для исходной частоты дискретизации f_sref. Набор коэффициентов изменения исходной высоты (звука) p_relref, связанный с различными индексами (кодовыми словами деформации времени), может сохраняться в таблице, где известна исходная частота дискретизации f_sref, которой соответствуют коэффициенты изменения исходной (относительной) высоты (звука).

Было обнаружено, что последняя формула дает обоснованное приближение к результатам, полученным посредством использования вышеприведенной формулы, в то же время она является менее сложной с точки зрения вычисления.

Фиг.4е показывает представление таблицы коэффициентов изменения относительной высоты (звука) p_ref, которые получаются из исходных коэффициентов изменения относительной высоты (звука) p_relref, где таблица применяется для исходной частоты дискретизации f_sref=24000 Гц.

Первая колонка 490 описывает индекс, который может рассматриваться как кодовое слово деформации времени. Вторая колонка 492 описывает исходные коэффициенты изменения относительной высоты (звука) p_relref, связанные с индексами (или кодовыми словами), показанными в первой колонке 490 в соответствующем ряду. Третья колонка 494 и четвертая колонка 496 описывает коэффициенты изменения (относительной) высоты (звука), связанные с индексами первой колонки 490 для частоты дискретизации f_s=24000 Гц (третья колонка 494) и f_s=12000 Гц (четвертая колонка 496). Как можно видеть, коэффициенты изменения относительной высоты (звука) p_rel для частоты дискретизации f_s=24000 Гц, которые показаны в третьей колонке 494, идентичны исходным коэффициентам изменения относительной высоты (звука), показанным во второй колонке 492, потому что частота дискретизации f_s=24000 Гц равна исходной частоте дискретизации f_sref. Однако, четвертая колонка 496 показывает коэффициенты изменения относительной высоты (звука) p_rel при частоте дискретизации f_s=12000 Гц, которые получаются из исходных коэффициентов изменения относительной высоты (звука) второй колонки 492 в соответствии с вышеприведенным уравнением (3).

Конечно, такие процедуры нормализации, как описано выше, могут легко применяться прямо к любому другому представлению изменения в частоте или высоте (звука), например, также к схеме кодирования абсолютной высоты (звука) или значений частоты, а не их относительных изменений.

5.2. Выполнение согласно фиг.4а

Фиг.4а показывает принципиальную блок-схему адаптивного отображения 400, которое может использоваться в осуществлении согласно изобретению.

Например, адаптивное отображение 400 может занять место отображения 234 в декодере звукового сигнала 200 или отображения 234 в декодере звукового сигнала 350.

Адаптивное отображение 400 формируется, чтобы получить кодированную информацию о деформации времени, например, так называемая "twdata" информация, включающая кодовые слова деформации времени "tw_ratio[i]". Соответственно, адаптивное отображение 400 может предоставить декодированные значения деформации времени, например, декодированные значения соотношения, которые иногда обозначаются как значения "warp_value_tbl[tw_ratio]", и которые иногда обозначаются как коэффициенты изменения относительной высоты (звука) p_rel. Адаптивное отображение 400 также получает информацию о частоте дискретизации, которая описывает, например, частоту дискретизации f_s представления временного диапазона 240d, обеспеченную посредством обратного преобразования 230с, или среднюю частоту дискретизации реализованного посредством организации окна и повторно выбранного представления временной области 240i, обеспеченную посредством повторной выборки 240g, или частоту дискретизации декодированного представления звукового сигнала 212.

Адаптивное отображение включает устройство отображения 420, которое обеспечивает декодированное значение деформации времени как функцию кодового слова деформации времени кодированной информации о деформации времени. Селектор правила отображения 430 выбирает таблицу отображения из множества таблиц отображения 432, 434 для использования устройством отображения 420 в зависимости от информации о частоте дискретизации 406. Например, селектор таблицы отображения 430 выбирает таблицу отображения, которая представляет отображение, определенное первой колонкой 480 таблицы фиг.4d и третьей колонкой 484 таблицы фиг.4d, если текущая частота дискретизации равна 24000 Гц, или если текущая частота дискретизации находится в предварительно определенном окружении, равном 24000 Гц. И наоборот, селектор таблицы отображения 430 может выбирать таблицу отображения, которая представляет отображение, определенное первой колонкой 480 таблицы фиг.4d и четвертой колонкой 486 таблицы фиг.4d, если частота дискретизации f_s равна 12000 Гц, или если частота дискретизации f_s находится в предварительно определенном окружении, равном 12000 Гц.

Соответственно, кодовые слова деформации (также обозначаемые как «индексы») 0-7 отображаются на соответствующих декодированных значениях деформации времени (или коэффициентах изменения относительной высоты (звука)), показанных в третьей колонке 484 таблицы фиг.4d, если частота дискретизации равна 24000 Гц, и на соответствующих декодированных значениях деформации времени (или коэффициентах изменения относительной высоты (звука)), показанных в четвертой колонке 486 таблицы фиг.4d, если частота дискретизации равна 12000 Гц.

Чтобы суммировать, различные таблицы отображения могут быть выбраны селектором таблицы отображения 430 в зависимости от частоты дискретизации, чтобы, таким образом, отобразить кодовое слово деформации времени (например, значение «индекс», включенное в битовый поток, представляющий декодированный звуковой сигнал) на декодированном значении деформации времени (например, коэффициент изменения относительной высоты (звука) p_rel, или значение деформации времени "warp_value_tbl").

5.3. Выполнение согласно фиг.4b

Фиг.4b показывает принципиальную блок-схему адаптивного отображения 450, которое может использоваться в осуществлениях согласно изобретению. Например, адаптивное отображение 450 может занять место отображения 234 в декодере звукового сигнала 200 или отображения 234 в декодере звукового сигнала 350. Адаптивное отображение 450 формируется, чтобы получить кодированную информацию о деформации времени, где содержатся вышеупомянутые объяснения относительно адаптивного отображения 400.

Прежде всего, адаптивное отображение 450 формируется, чтобы представить декодированные значения деформации времени, где содержатся вышеупомянутые объяснения относительно адаптивного отображения 400.

Адаптивное отображение 450 включает устройство отображения 470, которое формируется, чтобы получить кодовое слово кодированной деформации времени и предоставить декодированное значение деформации времени. Адаптивное отображение 450 также включает вычислительное устройство значения отображения или вычислительное устройство таблицы отображения 480.

В случае вычислительного устройства значения отображения декодированное значение деформации времени вычисляется согласно вышеприведенному уравнению (3). С этой целью, вычислительное устройство значения отображения может включать исходную таблицу отображения 482. Исходная таблица отображения 482 может, например, описывать информацию об отображении, которая определяется первой колонкой 490 и второй колонкой 492 таблицы фиг.4е. Соответственно, вычислительное устройство значения отображения 480 и устройство отображения 470 могут объединяться так, чтобы соответствующий исходный коэффициент изменения относительной высоты (звука) выбирался для данного кодового слова деформации времени на основе исходной таблицы отображения и так, чтобы коэффициент изменения относительной высоты (звука) p_rel, соответствующий указанному данному кодовому слову деформации времени, вычислялся в соответствии с уравнением (3) посредством использования информации о текущей частоте дискретизации f_s и возвращался как декодированное значение деформации времени. В этом случае, даже нет необходимости сохранять все входы (элементы) таблицы отображения, адаптированные к текущей частоте дискретизации f_s, за счет вычисления декодированного значения деформации времени (коэффициент изменения относительной высоты (звука)) для каждого кодового слова деформации времени.

Альтернативно, однако, вычислительное устройство таблицы отображения 480 может предварительно вычислять таблицу отображения, адаптированную к текущей частоте дискретизации f_s, для использования устройством отображения 470. Например, вычислительное устройство таблицы отображения может формироваться, чтобы вычислить входы (элементы) четвертой колонки 496 фиг.4е в ответ на обнаружение того, что выбрана текущая частота дискретизации 12000 Гц. Вычисление указанных коэффициентов изменения относительной высоты (звука) p_rel для частоты дискретизации f_s, равной 12000 Гц, может основываться на исходной таблице отображения (включающей, например, отображение, определенное первой колонкой 490 и второй колонкой 492 таблицы фиг.4е), и может выполняться посредством использования уравнения (3).

Соответственно, указанная предварительно вычисленная таблица отображения может использоваться для отображения кодового слова деформации времени на декодированном значении деформации времени. Кроме того, предварительно вычисленная таблица отображения может обновляться каждый раз, когда изменяется частота повторной выборки.

Чтобы суммировать, правило отображения для отображения кодовых слов деформации времени на декодированных значениях деформации времени может быть оценено или вычислено на основе исходной таблицы отображения 482, где может выполняться предварительное вычисление таблицы отображения, адаптированной к текущей частоте дискретизации, или оперативное вычисление декодированного значения деформации времени.

6. Детальное описание вычисления информации о регулировании деформации времени

В дальнейшем, будут описаны детали, относительно вычисления информации о регулировании деформации времени на основе информации об эволюции контура деформации времени.

6.1. Устройство согласно фиг.5а и 5b

Фиг.5а и 5b показывают принципиальную блок-схему устройства 500 для предоставления информации о регулировании деформации времени 512 на основе информации об эволюции контура деформации времени 510, которая может быть декодированной информацией о деформации времени, и которая может, например, включать декодированные значения деформации времени, предоставленные посредством отображения 234, выполненного вычислителем деформации времени 230. Устройство 500 включает средство (прибор) 520 для предоставления восстановленной информации о контуре деформации времени 522 на основе информации об эволюции контура деформации времени 510, и вычислитель информации о регулировании деформации времени 530, чтобы предоставить информацию о регулировании деформации времени 512 на основе восстановленной информации о контуре деформации времени 522.

В дальнейшем, будет описана структура и функциональные возможности средства (прибора) 520.

Средство (прибор) 520 включает вычислитель контура деформации времени 540, который формируется, чтобы получить информацию об эволюции контура деформации времени 510 и предоставить, на ее основе, новую информацию о части контура деформации времени 542. Например, набор информации об эволюции контура деформации времени (например, набор предварительно определенного числа декодированных значений деформации времени, предоставленных посредством отображения 234) может передаваться средству (прибору) 500 для каждого фрейма звукового сигнала, подлежащего восстановлению. Тем не менее, набор информации об эволюции контура деформации времени 510, связанной с фреймом звукового сигнала, подлежащего восстановлению, может использоваться для восстановления множества фреймов звукового сигнала в некоторых случаях. Аналогично, множество наборов информации об эволюции контура деформации времени может использоваться для восстановления звукового содержания (контента) одиночного фрейма звукового сигнала, что будет детально обсуждено в дальнейшем. В качестве заключения, можно утверждать, что в некоторых осуществлениях информация об эволюции контура деформации времени может обновляться с той же скоростью, с которой обновляются наборы коэффициентов области преобразования звукового сигнала, подлежащего восстановлению (1 набор информации об эволюции контура деформации времени 510 на фрейм звукового сигнала и/или одна часть контура деформации времени на фрейм звукового сигнала).

Вычислитель контура деформации времени 540 включает вычислитель значений узлов деформации 544, который формируется, чтобы вычислить множество (или временную последовательность) значений узлов контура деформации на основе множества (или временной последовательности) значений соотношений контура деформации времени, где значения соотношений деформации времени включаются в информацию об эволюции контура деформации времени 510. Другими словами, декодированные значения деформации времени, предоставленные посредством отображения 234, могут составлять значения соотношений деформации времени (например, warp_value_tbl[tw_ratio[]]). С этой целью, вычислитель значений узлов деформации 544 формируется, чтобы запустить предоставление значений узлов контура деформации времени при предварительно определенном начальном (стартовом) значении (например, 1), и чтобы вычислить последующие значения узлов контура деформации времени, используя значения соотношений контура деформации времени, как будет описано ниже.

Далее, вычислитель контура деформации времени 544, факультативно, включает интерполятор 548, который формируется, чтобы интерполировать между последующими значениями узлов контура деформации времени. Соответственно, получается описание 542 новой части контура деформации времени, где новая часть контура деформации времени обычно начинается с предварительно определенного начального (стартового) значения, используемого вычислителем узлов деформации 524. Кроме того, средство (прибор) 520 формируется, чтобы сохранить так называемую «последнюю часть контура деформации времени» и так называемую «текущую часть контура деформации времени» в памяти, не показанной на фиг.5.

Однако, средство (прибор) 520 также включает устройство изменения масштаба 550, которое формируется, чтобы изменить масштаб «последней части контура деформации времени» и «текущей части контура деформации времени», чтобы избежать (или уменьшить, или исключить) любых неоднородностей в полной секции контура деформации времени, которая основывается на «последней части контура деформации времени», «текущей части контура деформации времени» и «новой части контура деформации времени».С этой целью, устройство изменения масштаба 550 формируется, чтобы получить сохраненное описание «последней части контура деформации времени» и «текущей части контура деформации времени», и чтобы одновременно изменить масштаб «последней части контура деформации времени» и «текущей части контура деформации времени», чтобы получить версии с измененным масштабом «последней части контура деформации времени» и «текущей части контура деформации времени». Некоторые детали относительно этих функциональных возможностей будут описаны ниже.

Кроме того, устройство изменения масштаба 550 может также формироваться, чтобы получить, например, из памяти, не показанной на фиг.5, суммарное значение, связанное с «последней частью контура деформации времени» в другом суммарном значении, связанном с «текущей частью деформации времени». Эти суммарные значения иногда обозначаются как «последняя сумма деформации» и «текущая сумма деформации», соответственно. Устройство изменения масштаба 550 формируется, чтобы изменить масштаб суммарных значений, связанных с частями контура деформации времени, посредством использования того же коэффициента изменения масштаба, с которым изменяется масштаб соответствующих частей контура деформации времени. Соответственно, получаются суммарные значения с измененным масштабом.

В некоторых случаях средство (прибор) 520 может включать блок обновления 560, который формируется, чтобы многократно обновлять ввод частей контура деформации времени в устройство изменения масштаба 550, а также ввод суммарных значений в устройство изменения масштаба 550. Например, блок обновления 560 может формироваться, чтобы обновлять указанную информацию со скоростью смены фреймов. Например, «новая часть контура деформации времени» данного цикла фреймов может служить «текущей частью контура деформации времени» в следующем цикле фреймов. Аналогично, «текущая часть контура деформации времени» с измененным масштабом текущего цикла фреймов может служить «последней частью контура деформации времени» в следующем цикле фреймов. Соответственно, создается эффективное выполнение памяти, потому что «последняя часть контура деформации времени» текущего цикла фреймов может не учитываться по завершении «текущего цикла фреймов».

Чтобы суммировать вышесказанное, средство (прибор) 520 формируется, чтобы предоставить для каждого цикла фреймов (за исключением нескольких специальных циклов фреймов, например, в начале последовательности фреймов, или в конце последовательности фреймов, или в фрейме, в котором деформация времени не активна) описание секции контура деформации времени, включающей описание «новой части контура деформации времени», «текущей части контура деформации времени с измененным масштабом» и «последней части контура деформации времени с измененным масштабом». Кроме того, средство (прибор) 520 может предоставить для каждого цикла фреймов (за исключением вышеперечисленных специальных циклов фреймов) представление суммарных значений контура деформации, например, включающее «суммарное значение новой части контура деформации времени», «суммарное значение текущего контура деформации времени с измененным масштабом» и «суммарное значение последнего контура деформации времени с измененным масштабом».

Вычислитель информации о регулировании деформации времени 530 формируется, чтобы вычислить информацию о регулировании деформации времени 512 на основе восстановленной информации о контуре деформации времени 542, предоставленной средством (прибором) 520. Например, вычислитель информации о регулировании деформации времени 530 включает вычислитель контура времени 570, который формируется, чтобы вычислить контур времени 572 (например, представление по выборкам (по образцам) контура деформации времени) на основе восстановленной информации о контуре деформации времени. Кроме того, вычислитель информации о контуре деформации времени 530 включает вычислитель положения выборки (образца) 574, который предоставляется, чтобы получить контур времени 572, и чтобы предоставить, на его основе, информацию о положении выборки (образца), например, в форме вектора положения выборки (образца) 576. Вектор положения выборки (образца) 576 описывает деформацию времени, выполненную, например, ресэмплером (синтезатором повторной выборки) 240g.

Вычислитель информации о регулировании деформации времени 530 также включает вычислитель длины перехода, который формируется, чтобы произвести информацию о длине перехода из восстановленной информации о регулировании деформации времени. Информация о длине перехода 582 может, например, включать информацию, описывающую длину левого перехода, и информацию, описывающую длину правого перехода. Длина перехода может, например, зависеть от длины сегментов времени, описанных терминами «последняя часть контура деформации времени», «текущая часть контура деформации времени» и «новая часть контура деформации времени». Например, длина перехода может быть укорочена (по сравнению со стандартной длиной перехода), если временное расширение сегмента времени, описанное «последней частью контура деформации времени», короче, чем временное расширение сегмента времени, описанное «текущей частью контура деформации времени», или если временное расширение сегмента времени, описанное «новой частью контура деформации времени», короче, чем временное расширение сегмента времени, описанное «текущей частью контура деформации времени».

В дополнение, вычислитель информации о регулировании деформации времени 530 может далее включать вычислитель первого (исходного) и последнего положения 584, который формируется, чтобы вычислить так называемое «первое (исходное) положение» и так называемое «последнее положение» на основе длины левого и правого перехода. «Первое (исходное) положение» и «последнее положение» увеличивают эффективность ресэмплера (синтезатора повторной выборки), если области за пределами этих положений тождественны нулю после управления окнами и, поэтому, нет необходимости учитывать их для деформации времени. Здесь следует заметить, что вектор положения выборки (образца) 576 включает, например, информацию, используемую (или даже требуемую) для деформации времени, выполняемой ресэмплером (синтезатором повторной выборки) 240g. Более того, длина левого и правого перехода 582 и «первое (исходное) положение» и «последнее положение» 586 составляют информацию, которая, например, используется (или даже требуется) устройством управления окнами 240е.

Соответственно, можно сказать, что средство (прибор) 520 и вычислитель информации о регулировании деформации времени 530 вместе могут брать на себя функциональные возможности регулирования частоты выборки 240 т, регулирования формы окна 2401 и вычисления положения выборки 240k.

6.2. Функциональное описание согласно фиг.6а и 6b

В дальнейшем, функциональные возможности звукового декодера, включающего средство (прибор) 520 и вычислитель информации о регулировании деформации времени 530 будут описаны со ссылкой на фиг.6а и 6b.

Фиг.6а и 6b показывают блок-схему способа декодирования кодированного представления звукового сигнала согласно осуществлению изобретения. Способ 600 включает предоставление восстановленной информации о контуре деформации времени, где предоставление восстановленной информации о контуре деформации времени включает отображение 604 кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени, вычисление 610 значений узлов деформации, интерполирование 620 между значениями узлов деформации и изменение масштаба 630 одной или более ранее вычисленных частей контура деформации и одного или более ранее вычисленных суммарных значений контура деформации. Способ 600 далее включает вычисление 640 информации о регулировании деформации времени посредством использования «новой части контура деформации времени», полученной на стадиях 610 и 620, ранее вычисленные части контура деформации времени с измененным масштабом («текущая часть контура деформации времени», «последняя часть контура деформации времени»), а также, факультативно, использование ранее вычисленных суммарных значений контура деформации с измененным масштабом. В результате, информация о контуре времени, и/или информация о положении выборки, и/или информация о длине перехода, и/или информация о первом (исходном) положении и последнем положении могут быть получены на стадии 640.

Способ 600 далее включает выполнение 650 восстановления сигнала с деформацией времени посредством использования информации о регулировании деформации времени, полученной на стадии 640. Детали, относительно восстановления сигнала с деформацией времени, будут описаны впоследствии.

Способ 600 также включает стадию 660 обновления памяти, как будет описано ниже.

7. Детальное описание алгоритма

7.1. Краткий обзор

В дальнейшем будут подробно описаны некоторые из алгоритмов, выполняемых звуковым декодером согласно осуществлению изобретения. С этой целью, ссылка делается на фиг.5а, 5b, 6а, 6b, 7а, 7b, 8, 9, 10а, 10b, 11, 12, 13, 14, 15 и 16.

Прежде всего, ссылка делается на фиг.7а, который показывает легенду определений элементов данных и легенду определений справочных элементов. Кроме того, ссылка делается на фиг.7b, который показывает легенду определений констант.

В общем, можно сказать, что способы, описанные здесь, могут использоваться для декодирования звукового потока, закодированного согласно измененному дискретному косинусному преобразованию с деформацией времени. Таким образом, когда TW-MDCT задействован для звукового потока (который может быть обозначен флагом (флажком), например, называемым "twMDCT" флагом (флажком), который может включаться в информацию об определенной конфигурации), гребенка фильтров с деформацией времени и переключение блоков могут заменить стандартную гребенку фильтров и переключение блоков в звуковом декодере. Дополнительно к инверсному измененному дискретному косинусному преобразованию (IMDCT), гребенка фильтров с деформацией времени и переключение блоков включает отображение временной области на временной области от произвольно расположенной временной сетки до нормальной регулярно расположенной или линейно расположенной сетки времени и соответствующую адаптацию форм окна.

Здесь следует заметить, что алгоритм декодирования, описанный здесь, может выполняться, например, декодером деформации 240 на основе кодированного представления 214 спектра и также на основе кодированной информации о деформации времени 232.

7.2. Определения:

Относительно определения элементов данных, справочных элементов и констант, ссылка делается на фиг.7а и 7b.

7.3. Процесс декодирования- контур деформации

Индексы шифровальной книги узлов контура деформации декодируются следующим образом, чтобы деформировать значения для индивидуальных узлов:

$$wap\_node\_values\left[i\right]=\{\begin{array}{cc}\begin{array}{l}1\\ 1\\ {\displaystyle \prod _{k=0}^{i-1}warp\_value\_tbl\left[tw\_ratio\left[k\right]\right]}\end{array}& \begin{array}{l}fortw\_data\_present=\mathrm{0,}0\le i\le NUM\_TW\_NODES\\ fortw\_data\_present=\mathrm{1,}i=0\\ fortw\_data\_present=\mathrm{1,}0<i\le NUM\_TW\_NODES\end{array}\end{array}$$

Однако, отображение кодовых (ключевых) слов деформации времени "tw_ratio [k]" на декодированные значения деформации времени, обозначенные здесь как "warp_value_tbl [tw_ratio [k]]", зависит от частоты дискретизации в осуществлениях согласно изобретению. Соответственно, в осуществлениях согласно изобретению нет ни одной таблицы отображения, но есть индивидуальные таблицы отображения для различных частот дискретизации.

Например, результирующие значения "warp_value_tbl [tw_ratio [k]]", которые возвращаются в прежнее состояние посредством таблицы отображения, доступны для таблицы отображения, соответствующей текущей частоте дискретизации и могут рассматриваться как декодированные значения деформации времени и могут быть предоставлены посредством отображения 234, посредством адаптивного отображения 400 или адаптивного отображения 450 на основе кодовых слов деформации времени "tw_ratio[k]", включенных в битовый поток, который составляет (или представляет) кодированное представление звукового сигнала 210.

Чтобы получить данные нового контура деформации"new_warp_contour []" по образцам (выборкам) (n_longsamples), значения узлов деформации "warp_node_values []" теперь интерполируются линейно между одинаково расположенными (interp_distapart) узлами, используя алгоритм, представление псевдо управляющей программы которого показано на фиг.9.

Прежде, чем получить полный контур деформации для этого фрейма (например, для текущего фрейма), масштаб буферизованных значений от прошлого может быть измерен так,

чтобы значение последней деформации прошлого контура деформации "past_warp_contour []"=1

$$norm\_fac=\frac{1}{past\_warp\_contour\left[2\cdot n\_long-1\right]}$$

past_warp_contour[i]=past_warp_contour[i]·norm_fac for 0≤i<2·n_long

last_warp_sum=last_warp_sum·norm_fac

cur_warp_sum=cur_warp_sum·norm_fac

Полный контур деформации "warp_contour []" получается посредством соединения прошлого контура деформации "past_warp_contour" и нового контура деформация "new_warp_contour", и новая сумма деформации "new_warp_sum" вычисляется как сумма по всем новым значениям контура деформации "new_warp_contour []":

$$new\_warp\_sum={\displaystyle \sum _{i=0}^{n\_long-1}new\_warp\_contour\left[i\right]}$$

7.4. Процесс декодирования - положение выборки и регулирование длины окна

Из контура деформации "warp_contour []" вычисляется вектор положений выборки деформированных образцов на линейной шкале времени. Для этого контур деформации времени получается в соответствии со следующими уравнениями:

$$time\_contour\left[i\right]=\{\begin{array}{cc}\begin{array}{l}-w_{res}\cdot last\_warp\_sum\\ w_{res}\left(-last\_warp\_sum+{\displaystyle \sum _{k=0}^{i-1}warp\_contour\left[k\right]}\right)\end{array}& \begin{array}{l}fori=0\\ for0<i\le 3\cdot n\_long\end{array}\end{array}$$

$$where{w}_{res}=\frac{n\_long}{cur\_warp\_sum}$$

При помощи вспомогательных функций "warp_inv_vec ()" и "warp_time_inv ()", представления псевдо управляющей программы которых показаны на фиг.10а и 10b, соответственно, вычисляется вектор положения выборки и длина перехода в соответствии с алгоритмом, представление псевдо управляющей программы которого показано на фиг.11.

7.5. Процесс декодирования - инверсное измененное дискретное косинусное преобразование (IMDCT)

В дальнейшем будет кратко описано инверсное измененное дискретное косинусное преобразование.

Аналитическое выражение инверсного измененного дискретного косинусного преобразования выглядит следующим образом:

$$x_{i,n}=\frac{2}{N}{\displaystyle \sum _{k=0}^{\frac{N}{2}-1}spec\left[i\right]\left[k\right]\cos \left(\frac{2\pi }{N}\left(n+n_0\right)\left(k+\frac{1}{2}\right)\right)}$$ для 0≤n<N

where: где: n = sample index n = индекс выборки i = window index k = spectral coefficient index i = индекс окна N = window length based on the window sequence n₀=(N/2+1)/2 k = индекс спектрального коэффициента N = длина окна, основанная на значении последовательности окон n₀=(N/2+1)/2

Длина окна синтеза для инверсного преобразования является функцией элемента синтаксиса "window_sequence" (который может быть включен в битовый поток) и алгоритмического контекста. Длина окна синтеза может, например, определяться в соответствии с таблицей фиг.12.

Значимые блочные переходы перечислены в таблице фиг.13. Штриховая метка в данной ячейке таблицы показывает, что за последовательностью окон, представленной в этом конкретном ряду, может следовать последовательность окон, представленная в этой конкретной колонке.

Относительно разрешенных последовательностей окон следует заметить, что звуковой декодер может, например, быть переключаемым между окнами различной длины. Однако, переключение длин окна не имеет особого значения для данного изобретения. Скорее, данное изобретение может пониматься на основе предположения о том, что имеется последовательность окон типа "only_long_sequence", и что длина фрейма основного кодирующего устройства равна 1024.

Кроме того, следует заметить, что декодер звукового сигнала может быть переключаемым между режимом кодирования частотной области и режимом кодирования временной области. Однако, эта возможность не имеет особого значения для данного изобретения. Скорее, данное изобретение применимо в декодерах звукового сигнала, которые способны управлять только режимом кодирования частотной области, как обсуждалось, например, в отношении фиг.1, 2, 3а и 3b.

7.6. Процесс декодирования - управление окнами и переключение блока

В дальнейшем, будет описано управление окнами и переключение блока, которое может выполняться декодером деформации 240 и, в частности, его устройством для управления окнами 240е.

В зависимости от элемента "window_shape" (который может быть включен в битовый поток, представляющий звуковой сигнал) используются различные супердискретизированные прототипы окна преобразования, а длина супердискретизированных окон -

N_OS=2·n_long·OS_FACTOR_WIN

Для window_shape(длина окна) = 1, коэффициенты окна представленыполученным окном Кайзера-Бесселя (KBD) следующим образом:

$$W_{KBD}\left(n-\frac{N_{OS}}{2}\right)=\sqrt{\frac{{\displaystyle \sum _{p=0}^{N_{OS}-n-1}\left[W\left(p,\alpha \right)\right]}}{{\displaystyle \sum _{p=0}^{N_{OS}/2}\left[W\left(p,\alpha \right)\right]}}}$$ for $$\frac{N_{OS}}{2}\le n<N_{OS}$$

где:

W', кернфункция Кайзера-Бесселя определяется следующим образом:

$$W\text{'}\left(n,\alpha \right)=\frac{I_0\lfloor \pi \alpha \sqrt{1.0-\left(\frac{n-N_{OS}/4}{N_{OS}/4}\right)}\rfloor }{I_0\left[\pi \alpha \right]}$$ for $$0\le n\le \frac{N_{OS}}{2}$$

$$I_0\left[x\right]={\displaystyle \sum _{k=0}^{\infty }{\left[\frac{{\left(\frac{x}{2}\right)}^k}{k!}\right]}^2}$$

α = kernel window alpha factor, α=4

(α = альфа фактор базового окна)

Иначе, для window_shape=0, синусоидальное окно используется следующим образом:

$$W_{SIN}\left(n-\frac{N_{OS}}{2}\right)=\sin \left(\frac{\pi }{N_{OS}}\left(n+\frac{1}{2}\right)\right)$$ for $$\frac{N_{OS}}{2}\le n<N_{OS}$$

Для всех видов последовательностей окон используемый прототип для левой части окна определяется формой окна предыдущего блока. Следующая формула выражает этот факт:

$$left\_window\_shape\left[n\right]=\{\begin{array}{l}{W}_{KBD}\left[n\right],ifwindow\_shape\_previous\_block==1\\ W_{SIN}\left[n\right],ifwindow\_shape\_previous\_block==0\end{array}$$

Аналогично, прототип для правой формы окна определяется следующей формулой:

$$right\_window\_shape\left[n\right]=\{\begin{array}{l}{W}_{KBD}\left[n\right],ifwindow\_shape==1\\ W_{SIN}\left[n\right],ifwindow\_shape==0\end{array}$$

Так как длины перехода уже определены, следует только дифференцировать между последовательностью окна типа "EIGHT_SHORT_SEQUENCE" и всеми другими последовательностями окна.

В случае, если текущий фрейм является фреймом типа "EIGHT_SHORT_SEQUENCE", выполняется управление окнами и внутреннее (внутри фрейма) наложение - добавление. Часть, подобная С-коду фиг.14, описывает управление окнами и внутреннее наложение -добавление фрейма, имеющего тип окна "EIGHT_SHORT_SEQUENCE".

Для фреймов любых других типов может использоваться алгоритм, представление псевдо управляющей программы которого показано на фиг.15.

7.7. Процесс декодирования- зависящая от времени повторная выборка

В дальнейшем будет описана зависящая от времени повторная выборка, которая может выполняться декодером деформации 240 и, в частности, ресэмплером (синтезатором повторной выборки) 240g.

Реализуемый посредством организации окна блок z [] подвергается повторной выборке согласно положениям выборки (которые предоставляются вычислителем положения выборки 240k на основе декодированных значений деформации времени, предоставленных посредством отображения 234) посредством использования следующей импульсной характеристики:

$$b\left[n\right]=I_0{\left[\alpha \right]}^{-1}\cdot I_0\left[\alpha \sqrt{1-\frac{n^2}{IP\_LEN\_2^2}}\right]\cdot \frac{\sin \left(\frac{\pi n}{OS\_FACTOR\_RESAMP}\right)}{\frac{\pi n}{OS\_FACTOR\_RESAMP}}$$ for 0≤n<IP_SIZE-1

α=8

Перед повторной выборкой реализуемый посредством организации окна блок заполняется нолями на обоих концах:

$$zp\left[n\right]=\{\begin{array}{cc}\begin{array}{l}\mathrm{0,}\\ z\left[n-IP\_LEN\_2S\right]\\ \mathrm{0,}\end{array}& \begin{array}{l}for0\le n<IP\_LEN\_2S\\ forIP\_LEN\_2S\le n<N\_f+IP\_LEN\_2S\\ for2\cdot N\_f+IP\_LEN\_2S\le n<N\_f+2\cdot IP\_LEN\_2S\end{array}\end{array}$$

Сама повторная выборка описывается в части псевдо управляющей программы, показанной на фиг.16.

7.8. Процесс декодирования - наложение и добавление с предыдущими последовательностями окна

Наложение и добавление, которое выполняется устройством наложения/сумматором 240j декодера деформации 240, является тем же самым для всех последовательностей и может описываться математически следующим образом:

$$ou{t}_{i,n}=\{\begin{array}{cc}\begin{array}{l}{y}_{i,n}^{\text{'}}+y_{i-\mathrm{1,}n+n\_long}^{\text{'}}+y_{i-\mathrm{2,}n+2\cdot n\_long}^{\text{'}}\\ y_{i,n}^{\text{'}}+y_{i-\mathrm{1,}n+n\_long}^{\text{'}}\end{array}& \begin{array}{l}for0\le n<n\_long/2\\ forn\_long/2\le n<n\_long\end{array}\end{array}$$

7.9. Процесс декодирования - обновление памяти

В дальнейшем будет описано обновление памяти. Хотя никакие характерные возможности на фиг.3d не показаны, следует заметить, что обновление памяти может выполняться декодером деформации 240.

Буферы памяти, необходимые для декодирования следующего фрейма, обновляются следующим образом:

past_warp_contour[n]=warp_contour[n+n_long], for 0≤n<2·n_long

cur_warp_sum=new_warp_sum

last_warp_sum=cur_warp_sum

Прежде, чем декодировать первый фрейм или, если последний фрейм был закодирован оптическим кодирующим устройством области LPC (кодирование с линейным предсказанием), состояния памяти устанавливаются следующим образом:

past_warp_contour[n]=1, for 0≤n<2·n_long

cur_warp_sum=n_long

last_warp_sum=n_long

7.10. Процесс декодирования - Заключение

Чтобы суммировать вышесказанное, был описан процесс декодирования, который может выполняться декодером деформации 240. Как можно видеть, представление временной области предоставляется для звукового фрейма, например, 2048 образцов временной области и последующие звуковые фреймы могут, например, перекрываться приблизительно на 50%, так что обеспечивается гладкий переход между представлениями временной области последующих звуковых фреймов.

Набор, например, NUM_TW_NODES=16 декодированных значений с деформацией времени, может быть связан с каждым из звуковых фреймов (при условии, что деформация времени является активной в указанном звуковом фрейме), независимо от фактической частоты выборки образцов временной области звукового фрейма.

8. Звуковой поток согласно фиг.17a-17f

В дальнейшем будет описан звуковой поток, который включает кодированное представление одного или более каналов звукового сигнала и одного или более контуров деформации времени. Звуковой поток, описанный в дальнейшем, может, например, нести кодированное представление звукового сигнала 112 или кодированное представление звукового сигнала 210.

Фиг.17а показывает графическое представление так называемого "USAC_raw_data_block" элемента потока данных, который может включать элемент одиночного канала (SCE), элемент пары каналов (СРЕ) или комбинацию одного или более элементов одиночного канала и/или одного или более элементов пары каналов.

"USAC_raw_data_block" обычно может включать блок кодированных звуковых данных, в то время как дополнительная информация о контуре деформации времени может быть предоставлена в отдельном элементе потока данных. Однако, естественно, можно закодировать некоторые данные контура деформации времени в "USAC_raw_data_block".

Как можно видеть по фиг.17b, элемент одиночного канала обычно включает поток канала частотной области ("fd_channel_stream"), что будет подробно объяснено со ссылкой на фиг.17d.

Как можно видеть по фиг.17с, элемент пары каналов ("channel_pair_element") обычно включает множество потоков канала частотной области. Кроме того, элемент пары каналов может включать информацию о деформации времени, как, например, флаг (флажок) активации деформации времени ("tw_MDCT"), который может быть передан в элементе конфигурации потока данных или в "USAC_raw_data_block", и который определяет, включена ли информация о деформации времени в элемент пары каналов. Например, если "tw_MDCT" флаг (флажок) показывает, что деформация времени активна, элемент пары каналов может включать флаг (флажок) ("common_tw"), который показывает, есть ли общая деформация времени для звуковых каналов элемента пары каналов. Если указанный флаг (флажок) ("common_tw") показывает, что есть общая деформация времени для многократных звуковых каналов, то общая информация о деформации времени ("tw_data") включается в элемент пары каналов, например, отдельно от потоков канала частотной области.

Теперь со ссылкой на фиг.17d, описывается поток канала частотной области. Как можно видеть по фиг.17d, поток канала частотной области, например, включает информацию о глобальном усилении. Кроме того, поток канала частотной области включает данные деформации времени, если деформация времени активна (флаг (флажок) "tw_MDCT" активный), и если нет общей информации о деформации времени для многократных каналов звукового сигнала (флаг (флажок) "common_tw" неактивный).

Далее, поток канала частотной области также включает данные масштабного коэффициента ("scale_factor_data") и кодировнные спектральные данные (например, арифметически закодировные спектральные данные "ac_spectral_data").

Теперь со ссылкой на фиг.17е, кратко обсуждается синтаксис данных деформации времени. Данные деформации времени могут, например, факультативно, включать флаг (флажок) (например, "tw_data_present" или "active_pitch_data"), показывающий, присутствуют ли данные деформации времени. Если данные деформации времени присутствуют (то есть, контур деформации времени не является плоским), данные деформации времени могут включать последовательность множества кодированных значений соотношения деформации времени (например, "tw_ratio[i]" или "pitchIdx[i]"), которые могут, например, быть закодированы согласно таблице шифровальной книги, зависящей от частоты выборки, как было описано выше.

Таким образом, данные деформации времени могут включать флаг (флажок), показывающий, что нет доступных данных деформации времени, которые могут быть установлены кодирующим устройством звукового сигнала, если контур деформации времени является постоянным (соотношения деформации времени приблизительно равны 1.000). Наоборот, если контур деформации времени изменяется, соотношения между последующими узлами контура деформации времени могут кодироваться посредством использования коэффициентов шифровальной книги, создавая "tw_ratio" информацию.

Фиг.17f показывает графическое представление синтаксиса арифметически закодированных спектральных данных "ac_spectral_data ()". Арифметически закодированные спектральные данные кодируются в зависимости от статуса флага (флажка) независимости (здесь: "indepFlag"), который показывает, если активен, что арифметически закодированные данные не зависят от арифметически закодированных данных предыдущего фрейма. Если флаг (флажок) независимости "indepFlag" активен, арифметический флаг (флажок) восстановления "arith_reset_flag" устанавливается в активное состояние. В противном случае, значение арифметического флага (флажка) восстановления определяется битом (двоичным разрядом) в арифметически закодированных спектральных данных.

Кроме того, арифметически закодированный спектральный блок данных "ac_spectral_data ()" включает одну или более единиц арифметически закодированных данных, где число единиц арифметически закодированных данных "arith_data ()" зависит от числа блоков (или окон) в текущем фрейме. В режиме длинного блока есть только одно окно на звуковой фрейм. Однако, в режиме короткого блока может быть, например, восемь окон на звуковой фрейм. Каждая единица арифметически закодированных спектральных данных "arith_data" включает набор спектральных коэффициентов, которые могут служить входом для преобразования частотной области во временную область, которое может выполняться, например, посредством инверсного преобразования 240с.

Число спектральных коэффициентов на единицу арифметически закодированных данных "arith_data" может, например, быть независимым от частоты выборки, но может зависеть от режима длины блока (режим короткого блока "EIGHT_SHORT_SEQUENCE" или режим длинного блока "ONLY_LONG_SEQUENCE").

9. Заключения

Чтобы суммировать вышесказанное, было описано усовершенствование измененного дискретного косинусного преобразования с деформацией времени (TW-MDCT). Изобретение, описанное выше, находится в контексте MDCT кодера преобразования с деформацией времени, и создает способы улучшения работы MDCT кодера преобразования с деформацией. Для получения деталей относительно измененного дискретного косинусного преобразования с деформацией времени, читателю следует обратить внимание на ссылки [1] и[2].

Одно выполнение такого MDCT кодера преобразования с деформацией времени реализуется в действующей MPEGUSAC стандартизации звукового кодирования (см., например, ссылку [3]). Детали используемого выполнения MDCT c деформацией времени могут быть найдены, в ссылке [4].

Более того, следует заметить, что кодирующее устройство звукового сигнала и декодер звукового сигнала, описанные здесь, включают характеристики, которые описываются в международных заявках на патент WO/2010/003583, WO/2010/003618, WO/1010/003581 и WO/2010/003582. Сюда подробно включены идеи указанных четырех международных заявок на патент. Свойства и характеристики, раскрытые в указанных четырех международных заявках на патент, могут быть включены в осуществления согласно данному изобретению

10. Альтернатива выполнения

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствует этапу способа или характеристике этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или пункта или характеристики соответствующего устройства. Некоторые или все этапы способа могут выполняться (или использоваться) аппаратными средствами, как например, микропроцессор, программируемый компьютер или электронная схема. В некоторых осуществлениях один или более самых важных этапов способа могут быть выполнены таким устройством.

Закодированный звуковой сигнал согласно изобретению может быть сохранен на цифровом носителе данных или может быть передан на передающую среду, такую как беспроводная передающая среда или проводная передающая среда, такая как Интернет.

В зависимости от определенных требований к выполнению осуществления изобретения могут выполняться в аппаратных средствах или в программном обеспечении. Выполнение может реализовываться посредством использования цифрового носителя данных, например, дискета, DVD, Blue-Ray, CD, ROM (постоянное запоминающее устройство, ПЗУ), PROM (программируемое постоянное запоминающее устройство, ППЗУ), EPROM (стираемое программируемое постоянное запоминающее устройство, СППЗУ), EEPROM (электрически стираемое программируемое постоянное запоминающее устройство, ЭСППЗУ) или флэш-память, с хранящимися на них электронно-считываемыми управляющими сигналами, которые взаимодействуют (или могут взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Поэтому, цифровой носитель данных может быть читаемым посредством компьютера.

Некоторые осуществления согласно изобретению включают носитель данных с электронносчитываемыми управляющими сигналами, которые могут взаимодействовать с программируемой компьютерной системой таким образом, чтобы выполнялся один из описанных здесь способов.

В общем, осуществления данного изобретения могут реализовываться как компьютерный программный продукт с управляющей программой; управляющая программа служит для выполнения одного из способов, когда компьютерный программный продукт запущен на компьютере. Управляющая программа может, например, храниться на машиночитаемом носителе.

Другие осуществления включают хранящуюся на машиночитаемом носителе компьютерную программу для выполнения одного из описанных здесь способов.

Другими словами, осуществление способа согласно изобретению, поэтому. представляет собой компьютерную программу, имеющую управляющую программу для выполнения одного из описанных здесь способов, когда компьютерная программа запущена на компьютере.

Дальнейшее осуществление способов согласно изобретению, поэтому, представляет собой носитель данных (или цифровую запоминающую среду, или читаемую компьютером среду), включающий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов. Носитель данных, цифровая запоминающая среда или записанная среда обычно реальные и/или непереходные.

Дальнейшее осуществление способа согласно изобретению, поэтому, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов могут, например, формироваться, чтобы быть переданными через канал передачи данных, например, через Интернет.

Дальнейшее осуществление включает средство обработки, например, компьютер, или программируемое логическое устройство, формируемое для или приспособленное к выполнению одного из описанных здесь способов.

Дальнейшее осуществление включает компьютер с установленной на нем компьютерной программой для выполнения одного из описанных здесь способов.

Дальнейшее осуществление согласно изобретению включает устройство или систему, формируемую, чтобы передавать (например, электронно или оптически) приемнику (ресиверу) компьютерную программу для выполнения одного из описанных здесь способов. Приемник может, например, быть компьютером, мобильным устройством, запоминающим устройством и т.д. Устройство или система может, например, включать файловый сервер для передачи компьютерной программы приемнику.

В некоторых осуществлениях программируемое логическое устройство (например, логическая матрица с эксплуатационным программированием) может использоваться для выполнения некоторых или всех функциональных возможностей описанных здесь способов. В некоторых осуществлениях логическая матрица с эксплуатационным программированием может взаимодействовать с микропроцессором для выполнения одного из описанных здесь способов. В общем, способы предпочтительно выполняются любыми аппаратными средствами устройства.

Описанные выше осуществления просто иллюстрируют принципы данного изобретения. Следует понимать, что модификации и изменения схем и деталей, описанных здесь, будут очевидны для специалистов, сведущих в этой области техники. Поэтому, цель состоит в том, чтобы ограничиться только областью патентной формулы, а не определенными деталями, представленными здесь посредством описания и объяснения осуществлений.

Ссылки

[1] БерндЭдлер и др., "MDCT с деформацией времени", US 61/042,314, Предварительная заявка на патент.

[2] Л. Виллемоус, "Кодирование с преобразованием с деформацией времени звуковых сигналов",РСТ/ЕР2006/010246, Международная заявка на патент, ноябрь 2005 г.

[3] "WD6 USAC", ISO/IEC JTC1/SC29/WG11 N11213, 2010 г.

[4] БерндЭдлер и др., "Подход MDCTc деформацией времени к кодированию с преобразованием речи", 126-ое Соглашение AES, Мюнхен, май 2009 г., препринт 7710

[5] Николаус Майне, "Векторное квантование и контекст-зависимое арифметическое кодирование для MPEG-4 AAC", VDI, Ганновер, 2007 г.

Изобретение относится к средствам кодирования и декодирования звукового сигнала. Технический результат заключается в повышении эффективности кодирования. Декодер звукового сигнала, сформированный для обеспечения декодированного представления звукового сигнала на основе кодированного представления звукового сигнала, включающего информацию о частоте дискретизации, кодированную информацию о деформации времени и кодированное представление спектра, включает вычислитель деформации времени и декодер деформации. Вычислитель деформации времени формируется, чтобы адаптировать правило отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени, описывающих декодированную информацию о деформации времени в зависимости от информации о частоте дискретизации. Декодер деформации, сформированный, чтобы обеспечить декодированное представление звукового сигнала на основе кодированного представления спектра и в зависимости от декодированной информации о деформации времени. 6 н. и 11 з.п. ф-лы, 35 ил.

1. Декодер звукового сигнала (200; 350) для обеспечения декодированного представления звукового сигнала (212) на основе кодированного представления звукового сигнала (112, 210), включающего информацию о частоте дискретизации (218), кодированную информацию о деформации времени (216, tw_ratio[i]) и кодированное представление спектра (214, ac_spectral_data ()), характеризующийся тем, что включает вычислитель деформации времени (230 604), который сконфигурирован, чтобы отобразить кодированную информацию о деформации времени (216, tw_ratio[i]) на декодированной информации о деформации времени (232, warp_value_tbl[tw_ratio], р_rel), где вычислитель деформации времени сконфигурирован, чтобы адаптировать правило отображения для отображения кодовых слов (tw_ratio[i], index) кодированной информации о деформации времени (216) на декодированных значениях деформации времени (warp_value_tbl[tw_ratio], p_rel), описывающих декодированную информацию о деформации времени (232) в зависимости от информации о частоте дискретизации (218); и декодер деформации (240), сконфигурирован, чтобы обеспечить декодированное представление звукового сигнала (212) на основе кодированного представления спектра (214, ac_spectral_data()) и в зависимости от декодированной информации о деформации времени (232).

2. Декодер по п.1, характеризующийся тем, что кодовые слова (tw_ratio[i], index) кодированной информации о деформации времени (216) описывают временную эволюцию контура деформации времени (time_contour[]) и вычислитель деформации времени (230, 604) сконфигурирован, чтобы оценить предварительно определенное число (Num_tw_nodes) кодовых слов (tw_ratio[i], index) кодированной информации о деформации времени (216) для звукового фрейма кодированного звукового сигнала, представленного кодированным представлением звукового сигнала (214, ac_spectral_data()), где предварительно определенное число кодовых слов не зависит от частоты дискретизации кодированного звукового сигнала.

3. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени (230) сконфигурирован, чтобы адаптировать правило отображения так, чтобы диапазон декодированных значений деформации времени (warp_value_tbl[tw_ratio], p_rel), на который отображаются кодовые слова (tw_ratio[i], index) данного набора кодовых слов кодированной информации о деформации времени (216), был больше для первой частоты дискретизации, чем для второй частоты дискретизации, при условии, что первая частота дискретизации меньше, чем вторая частота дискретизации.

4. Декодер по п.3, характеризующийся тем, что декодированные значения деформации времени (warp_value_tbl[tw_ratio], p_rel) являются значениями контура деформации времени, представляющими значения контура деформации времени, или измененными значениями контура деформации времени, представляющими абсолютное или относительное изменение значений контура деформации времени (time_contour[]).

5. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени (230) сконфигурирован, чтобы адаптировать правило отображения таким образом, чтобы максимальное изменение высоты звука по данному числу выборок кодированного звукового сигнала, представленного кодированным представлением звукового сигнала (112; 210), которое представляется данным набором кодовых слов (tw_ratio[i], index) кодированной информации о деформации времени (216), было больше для первой частоты дискретизации, чем для второй частоты дискретизации, при условии, что первая частота дискретизации меньше, чем вторая частота дискретизации.

6. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени (230) сконфигурирован, чтобы адаптировать правило отображения так, чтобы максимальное изменение высоты на протяжении данного периода времени, который предоставляется данным набором кодовых слов (tw_ratio[i], index) кодированной информации о деформации времени (216) при первой частоте дискретизации, отличалось от максимального изменения высоты на протяжении данного периода времени, который предоставляется данным набором кодовых слов кодированной информации о деформации времени при второй частоте дискретизации, не более чем на 10% для первой частоты дискретизации, и второй частоте дискретизации, отличающейся, по крайней мере, на 30%.

7. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени (230) сконфигурирован, чтобы использовать различные таблицы отображения (480, 484; 480, 486) для отображения кодовых слов (tw_ratio[i], index) кодированной информации о деформации времени (216) на декодированных значениях деформации времени (warp_value_tbl[tw_ratio], p_rel) в зависимости от информации о частоте дискретизации (218).

8. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени сконфигурирован, чтобы адаптировать исходные значения отображения (494), которые описывают декодированные значения деформации времени (warp_value_tbl[tw_ratio], p_rel), связанные с различными кодовыми словами (tw_ratio[i], 490, index) кодированной информации о деформации времени (216) для исходной частоты дискретизации (f_s,ref), к основной (рабочей) частоте дискретизации (f_s), отличающейся от исходной частоты дискретизации (f_s), чтобы получить адаптированные значения отображения (496).

9. Декодер по п.1, характеризующийся тем, что вычислитель деформации времени сконфигурирован, чтобы масштабировать часть исходных значений отображений (494), которая описывает деформацию времени в зависимости от соотношения между основной частотой дискретизации (f_s) и исходной частотой дискретизации (f_s,ref).

10. Декодер по п.1, характеризующийся тем, что декодированные значения деформации времени (warp_value_tbl[tw_ratio], p_rel) описывают изменение контура деформации времени по предварительно определенному числу выборок кодированного звукового сигнала, представленного кодированным представлением звукового сигнала (210), и в котором декодер звукового сигнала включает вычислитель положения выборки, где вычислитель положения выборки сконфигурирован, чтобы объединить множество декодированных значений деформации времени (warp_value_tbl[tw_ratio], p_rel), которые представляют изменение контура деформации времени, чтобы произвести узловое значение контура деформации (warp_node_values[]) так, чтобы отклонение произведенных узловых значений контура деформации от исходного узлового значения деформации было больше, чем отклонение, представляемое одиночным значением декодированных значений деформации времени (warp_value_tbl[tw_ratio], p_rel).

11. Декодер по п.1, характеризующийся тем, что декодированные значения деформации времени (warp_value_tbl[tw_ratio], p_rel) описывают относительное изменение контура деформации времени по предварительно определенному числу выборок кодированного звукового сигнала, представленного кодированным представлением звукового сигнала (210), и где декодер звукового сигнала включает вычислитель положения выборки, где вычислитель положения выборки сконфигурирован, чтобы произвести информацию о контуре деформации времени из декодированных значений деформации времени.

12. Декодер по п.1, характеризующийся тем, что декодер звукового сигнала включает вычислитель положения выборки (240k), где вычислитель положения выборки сконфигурирован, чтобы вычислить опорные точки (warp_node_values[]) контура деформации времени на основе декодированных значений деформации времени (warp_value_tbl[tw_ratio]), и где вычислитель положения выборки сконфигурирован, чтобы интерполировать между опорными точками, чтобы получить контур деформации времени (time_contour[]), и где число декодированных значений деформации времени на звуковой фрейм не зависит от частоты дискретизации.

13. Кодирующее устройство звукового сигнала (100; 300) для обеспечения кодированного представления (112) звукового сигнала (110), характеризующийся тем, что включает кодирующее устройство контура деформации времени (130), сконфигурированное, чтобы отобразить значения деформации времени (p_rel), описывающие контур деформации времени, на кодированной информации о деформации времени (132); где кодирующее устройство контура деформации времени (130) сконфигурировано, чтобы адаптировать правило отображения (134) для отображения значений деформации времени (p_rel), описывающих контур деформации времени, на кодовых словах (tw_ratio[i], index) кодированной информации о деформации времени (132) в зависимости от частоты дискретизации (f_s) звукового сигнала (110); и кодирующее устройство сигнала с деформацией времени (140), сконфигурированое, чтобы получить кодированное представление (142) спектра звукового сигнала, принимая во внимание деформацию времени, описанную информацией о контуре деформации времени (122); где кодированное представление (112) звукового сигнала (110) включает кодовое слово (tw_ratio[i], index) кодированной информации о деформации времени (132), кодированное представление (142) спектра и информацию о частоте дискретизации (152), описывающую частоту дискретизации.

14. Способ обеспечения декодированного представления звукового сигнала на основе кодированного представления звукового сигнала, включающего информацию о частоте дискретизации, кодированную информацию о деформации времени и кодированное представление спектра, характеризующийся тем, что включает отображение кодированной информации о деформации времени на декодированной информации о деформации времени, где правило отображения для отображения кодовых слов кодированной информации о деформации времени на декодированных значениях деформации времени, описывающих декодированную информацию о деформации времени, адаптируется в зависимости от информации о частоте дискретизации; и обеспечение декодированного представления звукового сигнала на основе кодированного представления спектра и в зависимости от декодированной информации о деформации времени.

15. Способ обеспечения кодированного представления звукового сигнала, характеризующийся тем, что включает отображение значений деформации времени, описывающих контур деформации времени, на кодированной информации о деформации времени, где правило отображения для отображения значений деформации времени, описывающих контур деформации времени, на кодовых словах кодированной информации о деформации времени адаптируется в зависимости от частоты дискретизации звукового сигнала; получение кодированного представления спектра звукового сигнала, принимая во внимание деформацию времени, описанную информацией о контуре деформации времени, где кодированное представление звукового сигнала включает кодовые слова кодированной информации о деформации времени, кодированное представление спектра и информацию о частоте дискретизации, описывающую частоту дискретизации.

16. Носитель данных, содержащий компьютерную программу, предназначенную для осуществления способа по п. 14, когда компьютерная программа запущена на компьютере.

17. Носитель данных, содержащий компьютерную программу, предназначенную для осуществления способа по п. 15, когда компьютерная программа запущена на компьютере.