ДЕКОДЕР ЗВУКОВОГО СИГНАЛА, ПОСТАВЩИК ДАННЫХ КОНТУРА ВРЕМЕННОЙ ДЕФОРМАЦИИ, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА Российский патент 2014 года по МПК G10L21/04 G10L19/02 

Область применения изобретения

Осуществления согласно изобретению связаны с декодером звукового сигнала. Дальнейшие осуществления согласно изобретению связаны с поставщиком данных контура временной деформации. Дальнейшие осуществления согласно изобретению связаны со способом декодирования звукового сигнала, со способом предоставления данных контура временной деформации и компьютерной программой.

Некоторые осуществления согласно изобретению связаны со способами, предназначенными для MDCT (измененного дискретного косинусного преобразования) преобразующего кодера с временной деформацией.

В дальнейшем будет дана краткая информация относительно звукового кодирования с временной деформацией, концепции которого могут применяться в сочетании с некоторыми из осуществлений изобретения.

В последние годы были разработаны методики преобразования звукового сигнала в представление частотной области и эффективного кодирования этого представления частотной области, например, принимая во внимание перцепционные пороги маскирования. Эта концепция кодирования звукового сигнала особенно эффективна, если длина блока, для которого передается ряд закодированных спектральных коэффициентов, значительна и если только сравнительно небольшое количество спектральных коэффициентов находится намного выше глобального порога маскирования, в то время как большее количество спектральных коэффициентов находится около или ниже глобального порога маскирования, им можно пренебречь (или закодировать с минимальной длиной кода).

Например, основанные на косинусе или основанные на синусе модулированные перекрывающиеся преобразования часто используются в прикладных программах для кодирования источника благодаря их свойствам уплотнения энергии. Таким образом, для гармонических тонов с постоянными основными частотами (основной тон) они концентрируют энергию сигнала для незначительного числа спектральных компонентов (поддиапазонов), что приводит к эффективному представлению сигнала.

Обычно, (главный) основной тон сигнала должен пониматься как самая низкая доминирующая частота, выделяемая из спектра сигнала. В обычной речевой модели основной тон ~ это частота сигнала возбуждения, модулированного человеческим горлом. Если бы присутствовала только одна единственная основная частота, спектр был бы чрезвычайно прост и включал бы только основную частоту и обертоны. Такой спектр может быть закодирован высокоэффективно. Для сигналов с переменным основным тоном, однако, энергия, соответствующая каждому гармоническому компоненту, распространяется на несколько коэффициентов преобразования, что приводит к уменьшению эффективности кодирования.

Чтобы преодолеть это уменьшение эффективности кодирования, звуковой сигнал, подлежащий кодированию, эффективно подвергается повторной выборке на неоднородной временной сетке. При последующей обработке позиции выборки, полученные посредством неоднородной повторной выборки, обрабатываются так, как будто они представляют значения на однородной временной сетке. Эта операция обычно обозначается фразой «временная деформация». Время выборки может быть преимущественно выбрано в зависимости от временного изменения основного тона таким образом, что изменение основного тона в версии звукового сигнала с временной деформацией меньше, чем изменение основного тона в оригинальной версии звукового сигнала (до временной деформации). После временной деформации звукового сигнала версия звукового сигнала с временной деформацией преобразуется в частотную область. Зависящая от основного тона временная деформация производит тот эффект, что представление частотной области звукового сигнала с деформацией времени обычно проявляет уплотнение энергии в значительно меньшем числе спектральных компонентов, чем представление частотной области оригинального (без временной деформации) звукового сигнала.

На стороне декодера представление частотной области звукового сигнала с временной деформацией обратно преобразуется во временной интервал таким образом, что представление временного интервала звукового сигнала с временной деформацией доступно на стороне декодера. Однако в представлении временного интервала реконструированного звукового сигнала с временной деформацией на стороне декодера оригинальные изменения основного тона входного звукового сигнала на стороне кодирующего устройства не включаются. Относительно применяется еще одна временная деформация посредством повторной выборки реконструированного представления временного интервала звукового сигнала с временной деформацией на стороне декодера. Чтобы получить хорошую реконструкцию входного звукового сигнала со стороны кодирующего устройства в декодере, желательно, чтобы временная деформация на стороне декодера была, по крайней мере, приблизительно обратной операцией относительно временной деформации на стороне кодирующего устройства. Чтобы получить подходящую временную деформацию, желательно иметь в декодере информацию, которая позволяет регулировать временную деформацию на стороне декодера.

Поскольку обычно требуется передавать такую информацию от кодирующего устройства звукового сигнала декодеру звукового сигнала, желательно поддерживать необходимую для этой передачи невысокую скорость передачи битов, в то же время учитывая надежную реконструкцию необходимой информации о временной деформации на стороне декодера.

Ввиду вышеизложенного желательно иметь концепцию, учитывающую надежную реконструкцию информации о временной деформации на основе эффективно закодированного представления информации о временной деформации.

Краткое изложение сущности изобретения

Осуществление согласно изобретению создает декодер звуковых сигналов, формируемый, чтобы обеспечить представление декодированного звукового сигнала на основе представления закодированного звукового сигнала, включающего информацию об эволюции контура временной деформации. Декодер звукового сигнала включает вычислитель контура временной деформации, формируемый, чтобы многократно производить данные контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию контура временной деформации. Декодер звукового сигнала также включает устройство для изменения масштаба контура временной деформации, формируемый, чтобы изменить масштаб, по крайней мере, части данных контура временной деформации, таким образом, становится возможным избежать, уменьшить или устранить неоднородность при перезапуске в версии с измененным масштабом контура временной деформации. Декодер звукового сигнала также включает декодер временной деформации, формируемый, чтобы обеспечить представление декодированного звукового сигнала на основе представления закодированного звукового сигнала и использовать версию с измененным масштабом контура временной деформации.

Вышеупомянутое описанное осуществление основано на обнаружении того, что контур временной деформации может быть высокоэффективно закодирован, используя представление, которое описывает временную эволюцию, или относительное изменение контура временной деформации, потому что временное изменение контура временной деформации (также называемое «эволюцией») является, фактически, характеристическим значением контура временной деформации, в то время как его абсолютное значение не важно для кодирования/декодирования звукового сигнала с временной деформацией. Однако было обнаружено, что реконструкция контура временной деформации на основе информации об эволюции контура временной деформации, описывающей изменение контура временной деформации в течение долгого времени, создает проблему, состоящую в том, что допустимый диапазон значений в декодере может быть превышен, например в форме числового опустошения или переполнения. Это происходит из-за того, что декодеры обычно включают представление чисел, имеющее ограниченное разрешение. Далее было обнаружено, что риск опустошения или переполнения в декодере может быть устранен повторным перезапуском реконструкции контура временной деформации от предварительно определенного стартового значения контура временной деформации. Однако простой перезапуск реконструкции контура временной деформации создает проблему, заключающуюся в том, что существуют неоднородности в контуре временной деформации во время перезапуска. Таким образом, было обнаружено, что изменение масштаба может использоваться, чтобы избежать, устранить или, по крайней мере, уменьшить эту неоднородность при перезапуске, где реконструкция изохроны (контура времени) неоднократно перезапускается от предварительно определенного стартового значения контура временной деформации.

Чтобы суммировать вышесказанное, было обнаружено, что непрерывный контур временной деформации в виде блока может быть реконструирован без риска возникновения числового переполнения или опустошения, если реконструкция контура временной деформации многократно перезапускается от предварительно определенного стартового значения контура временной деформации и если неоднородность, возникающая при перезапуске, уменьшается или устраняется посредством изменения масштаба, по крайней мере, части контура временной деформации.

Относительно можно достигнуть того, чтобы контур временной деформации всегда находился в пределах четко определенного диапазона значений, окружающих стартовое значение контура временной деформации в пределах определенного временного окружения времени перезапуска. Этого во многих случаях бывает достаточно, потому что обычно только временная часть контура временной деформации, определенная относительно текущего времени реконструкции звукового сигнала, требуется для звуковой реконструкции звукового сигнала в виде блока, в то время как «более старые» части контура временной деформации не требуются для данной реконструкции звукового сигнала.

Чтобы суммировать вышесказанное, осуществление, описанное здесь, учитывает эффективное использование относительной информации о контуре временной деформации, описывающей временную эволюцию контура временной деформации, где можно избежать числового переполнения или опустошения в декодере посредством повторного перезапуска контура временной деформации и где непрерывность контура временной деформации, которая часто требуется для реконструкции звукового сигнала, может быть достигнута даже во время перезапуска посредством соответствующего изменения масштаба.

В дальнейшем будут обсуждены некоторые предпочтительные осуществления, которые включают дополнительные усовершенствования концепции изобретения.

В осуществлении изобретения вычислитель контура временной деформации формируется, чтобы вычислить, начиная с предварительно определенного стартового значения и используя первую относительную информацию об изменении, временную эволюцию первой части контура временной деформации и чтобы вычислить, начиная от предварительно определенного стартового значения и используя вторую относительную информацию об изменении, временную эволюцию второй части контура временной деформации, где первая часть контура временной деформации и вторая часть контура временной деформации являются последующими частями контура временной деформации. Предпочтительно, устройство для изменения масштаба контура временной деформации формируется для изменения масштаба одной из частей контура временной деформации, чтобы получить устойчивый переход между первой частью контура временной деформации и второй частью контура временной деформации.

Используя эту концепцию, и первая часть контура временной деформации, и вторая часть контура временной деформации могут быть произведены, начиная с четко определенного стартового значения, которые могут быть идентичны для реконструкции первой части контура временной деформации и реконструкции второй части контура временной деформации. Предполагая, что относительная информация об изменении описывает относительные изменения контура временной деформации в ограниченном диапазоне, можно гарантировать, что первая часть контура временной деформации и вторая часть контура временной деформации показывают ограниченный диапазон значений. Относительно можно избежать числового опустошения или числового переполнения.

Далее посредством изменения масштаба одной из частей контура временной деформации может быть уменьшена или даже устранена неоднородность при переходе от первой части контура временной деформации ко второй части контура временной деформации (то есть при перезапуске).

В предпочтительном осуществлении устройство для изменения масштаба контура временной деформации формируется, чтобы изменить масштаб первой части контура временной деформации таким образом, что последнее значение масштабированной версии первой части контура временной деформации принимает предварительно определенное стартовое значение или отклоняется от предварительно определенного стартового значения не больше, чем на предварительно определенное значение допуска.

Таким образом, можно достигнуть такого значения контура временной деформации, которое при переходе от первой части ко второй части принимает предварительно определенное значение. Относительно диапазон значений может поддерживаться очень малым, потому что фиксируется центральное значение (или масштабируется до предварительно определенного значения). Например, если и первая часть контура временной деформации и вторая часть контура временной деформации возрастают, минимальное значение масштабированной версии первой части лежит ниже предварительно определенного стартового значения, а конечное значение второй части лежит выше предварительно определенного стартового значения. Однако максимальное отклонение от предварительно определенного стартового значения определяется максимальным подъемом первой части и подъемом второй части. И наоборот, если первая часть и вторая часть были соединены непрерывным способом, не начиная со стартового значения и без изменения масштаба, то конец второй части отклонится от стартового значения на сумму подъема первой части и второй части.

Таким образом, можно заметить, что диапазон значений (максимальное отклонение от стартового значения) может быть уменьшен посредством масштабирования центрального значения при переходе между первой частью и второй частью, чтобы принять стартовое значение. Это сокращение диапазона значений особенно выгодно, потому что оно способствует использованию сравнительно низкого разрешения формата данных, имеющего ограниченный числовой диапазон, который в свою очередь учитывает дизайн дешевых и энергоэффективных потребительских устройств, являющихся постоянной проблемой в области звукового кодирования.

В предпочтительном осуществлении устройство для изменения масштаба формируется, чтобы умножить значения данных контура деформации на фактор нормализации, чтобы масштабировать часть контура временной деформации или разделить значения данных контура деформации на фактор нормализации, чтобы масштабировать часть контура временной деформации. Было обнаружено, что линейное масштабирование (а не, например, аддитивное смещение контура временной деформации) является особенно подходящим, потому что масштабируемое умножение или масштабируемое деление сохраняет относительные изменения контура временной деформации, которые важны для временной деформации, за исключением абсолютных значений контура временной деформации, которые не важны.

В другом предпочтительном осуществлении вычислитель контура временной деформации формируется, чтобы получить суммарное значение контура деформации данной части контура временной деформации и чтобы масштабировать данную часть контура временной деформации и суммарное значение контура деформации данной части контура временной деформации, используя общее значение масштабирования.

Было обнаружено, что в некоторых случаях желательно получить суммарное значение контура деформации из контура деформации, потому что такое суммарное значение контура деформации может использоваться для получения контура времени из контура временной деформации. Таким образом, можно использовать данный контур временной деформации и соответствующее суммарное значение контура деформации для вычисления первого временного контура. Далее было обнаружено, что масштабированная версия контура временной деформации и соответствующее масштабированное суммарное значение может потребоваться для последующего вычисления другого временного контура. Итак, было обнаружено, что необязательно повторно вычислять суммарное значение контура деформации для версии с измененным масштабом данного контура временной деформации из нового, потому что можно получить суммарное значение контура деформации версии с измененным масштабом данной части контура деформации, изменяя масштаб суммарного значения контура деформации оригинальной версии данной части контура деформации.

В предпочтительном осуществлении декодер звукового сигнала включает вычислитель временного контура, формируемый, чтобы вычислить первый временной контур, используя значения данных контура временной деформации первой части контура временной деформации, второй части контура временной деформации и третьей части контура временной деформации, и чтобы вычислить второй временной контур, используя значения данных контура временной деформации второй части контура временной деформации, третьей части контура временной деформации и четвертой части контура временной деформации. Другими словами, первое множество частей контура временной деформации (включающее три части) используется для вычисления первого временного контура, а второе множество частей (включающее три части) используется для вычисления второго временного контура, где первое множество частей перекрывается вторым множеством частей. Вычислитель контура временной деформации формируется, чтобы генерировать данные контура временной деформации первой части, начиная с предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию первой части. Далее вычислитель контура временной деформации формируется для изменения масштаба первой части контура временной деформации таким образом, что последнее значение первой части контура временной деформации включает предварительно определенное стартовое значение контура временной деформации, чтобы генерировать данные контура временной деформации второй части контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию второй части, и чтобы совместно изменить масштаб первой части и второй части, используя общий коэффициент масштабирования, таким образом, что последнее значение второй части включает предварительно определенное стартовое значение контура временной деформации, чтобы получить значения данных контура временной деформации с совместно измененным масштабом. Вычислитель контура временной деформации также формируется, чтобы генерировать оригинальные значения данных контура временной деформации третьей части контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации третьей части контура временной деформации.

Относительно первая часть, вторая часть и третья часть контура временной деформации генерируются таким образом, что они формируют непрерывный сегмент контура временной деформации. Относительно вычислитель временного контура формируется, чтобы вычислить первый временной контур, используя значения данных контура временной деформации с совместным изменением масштаба первой и второй части контура временной деформации и значения данных контура временной деформации третьей часть контура временной деформации.

Впоследствии вычислитель контура временной деформации формируется, чтобы совместно изменить масштаб второй масштабированной части и третьей оригинальной части контура временной деформации, используя другой общий коэффициент масштабирования, таким образом, что последнее значение третьей части контура временной деформации включает предварительно определенное стартовое значение временной деформации так, чтобы получить версию второй части с дважды измененным масштабом и версию третьей части контура временной деформации с однажды измененным масштабом. Далее вычислитель контура временной деформации формируется, чтобы генерировать оригинальные значения данных контура временной деформации четвертой части контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации четвертой части контура временной деформации. Далее вычислитель контура временной деформации формируется, чтобы вычислить второй временной контур, используя версию второй части с дважды измененным масштабом, версию третьей части с однажды измененным масштабом и оригинальную версию четвертой части контура временной деформации.

Таким образом, можно заметить, что вторая часть и третья часть контура временной деформации обе используются для вычисления первого временного контура и для вычисления второго временного контура. Однако происходит изменение масштаба второй части и третьей части между вычислением первого временного контура и вычислением второго временного контура, чтобы поддерживать используемый диапазон значений достаточно маленьким, гарантируя непрерывность сегмента контура временной деформации, предназначенного для вычисления соответствующих временных контуров.

В другом предпочтительном осуществлении декодер сигналов включает вычислитель управляющей информации о временной деформации, формируемый, чтобы вычислить управляющую информацию о временной деформации, используя множество частей контура временной деформации. Вычислитель управляющей информации о временной деформации формируется, чтобы вычислить управляющую информацию о временной деформации для реконструкции первого фрейма (структуры) звукового сигнала на основе данных контура временной деформации первого множества частей контура временной деформации и чтобы вычислить управляющую информацию о временной деформации для реконструкции второго фрейма (структуры) звукового сигнала, которая перекрывается или не перекрывается первым фреймом (структурой), на основе данных контура временной деформации второго множества частей контура временной деформации. Первое множество частей контура временной деформации перемещается во времени по сравнению со вторым множеством частей контура временной деформации. Первое множество частей контура временной деформации включает, по крайней мере, одну общую часть контура временной деформации со вторым множеством частей контура временной деформации. Было обнаружено, что изобретательный подход изменения масштаба дает определенные преимущества, если перекрывающиеся сегменты контура временной деформации (первое множество частей контура временной деформации и второе множество частей контура временной деформации) используются, чтобы получить управляющую информацию о временной деформации для реконструкции различных звуковых фреймов (структур) (первый звуковой фрейм (структура) и второй звуковой фрейм (структура)). Непрерывность контура временной деформации, полученная посредством изменения масштаба, дает определенные преимущества, если перекрывающиеся сегменты контура временной деформации используются для получения управляющей информации о временной деформации, потому что использование перекрывающихся сегментов контура временной деформации может привести к серьезному ухудшению результатов, если имелась неоднородность контура временной деформации.

В другом предпочтительном осуществлении вычислитель контура временной деформации формируется, чтобы генерировать новый контур временной деформации так, что контур временной деформации перезапускается от предварительно определенного стартового значения контура деформации в позиции в пределах первого множества частей контура временной деформации или в пределах второго множества частей контура временной деформации так, что имеется неоднородность контура временной деформации в месте перезапуска. Чтобы компенсировать это, устройство для изменения масштаба контура временной деформации формируется, чтобы изменить масштаб контура временной деформации таким образом, что неоднородность уменьшается или устраняется.

В другом предпочтительном осуществлении вычислитель контура временной деформации формируется, чтобы генерировать контур временной деформации так, что имеется первый перезапуск контура временной деформации от предварительно определенного стартового значения контура временной деформации в позиции в пределах первого множества частей контура временной деформации, так, что имеется первая неоднородность в позиции первого перезапуска. В этом случае устройство для изменения масштаба контура временной деформации формируется, чтобы изменить масштаб контура временной деформации таким образом, что первая неоднородность уменьшается или устраняется. Вычислитель временной деформации далее формируется, чтобы также генерировать контур временной деформации таким образом, что имеется второй перезапуск контура временной деформации от предварительно определенного стартового значения контура временной деформации, таким образом, что имеется вторая неоднородность в позиции второго перезапуска. Устройство для изменения масштаба также формируется, чтобы изменить масштаб контура временной деформации таким образом, что вторая неоднородность уменьшается или устраняется.

Другими словами, иногда предпочтительно иметь большое число перезапусков контура временной деформации, например один перезапуск на звуковой фрейм (структуру). Таким образом, алгоритм обработки может быть сделан регулярным. Кроме того, диапазон значений может поддерживаться очень маленьким.

В дальнейшем предпочтительном осуществлении вычислитель временной деформации формируется, чтобы периодически перезапускать контур временной деформации, начиная с предварительно определенного стартового значения контура временной деформации, таким образом, что имеется неоднородность при перезапуске. Устройство для изменения масштаба приспособлено для изменения масштаба, по крайней мере, части контура временной деформации, чтобы уменьшить или устранить неоднородность контура временной деформации при перезапуске. Декодер звукового сигнала включает вычислитель управляющей информации о временной деформации, формируемый, чтобы объединить данные контура временной деформации с измененным масштабом до перезапуска и данные контура временной деформации после перезапуска, чтобы получить управляющую информацию о временной деформации.

В дальнейшем предпочтительном осуществлении вычислитель контура временной деформации формируется для получения закодированной информации о коэффициенте деформации, чтобы получить последовательность значений коэффициентов деформации из закодированной информации о коэффициенте деформации и чтобы получить множество узловых значений контура деформации, начиная со стартового значения контура деформации. Соотношения между стартовым значением контура деформации, связанным со стартовым узлом контура деформации, и узловыми значениями контура деформации определяются значениями коэффициента деформации. Было показано, что реконструкция контура временной деформации на основе последовательности значений коэффициента деформации дает очень хорошие результаты, потому что значения коэффициента деформации очень эффективно кодируют относительное изменение контура временной деформации, что является ключевой информацией для применения временной деформации. Таким образом, информация о коэффициенте деформации оказалась очень эффективным описанием эволюции контура временной деформации.

В другом предпочтительном осуществлении вычислитель контура временной деформации формируется, чтобы вычислять узловое значение контура деформации данного узла контура деформации, который отстоит от стартовой точки контура временной деформации посредством промежуточного узла контура деформации на основе формирования продукта, включающего соотношение между стартовым значением контура деформации и узловым значением контура деформации промежуточного узла контура деформации и соотношение между узловым значением контура деформации промежуточного узла контура деформации и значением контура деформации данного узла контура деформации в качестве коэффициентов. Было обнаружено, что узловые значения контура деформации могут быть вычислены особенно эффективно посредством умножения множества значений коэффициента деформации. Кроме того, использование такого умножения учитывает реконструкцию контура деформации, хорошо приспособленную к идеальным характеристикам контура деформации.

Дальнейшее осуществление согласно изобретению создает поставщик данных контура временной деформации для предоставления данных контура временной деформации, представляющих временную эволюцию относительного основного тона звукового сигнала на основе информации об эволюции контура временной деформации. Поставщик данных контура временной деформации включает вычислитель контура временной деформации, формируемый, чтобы генерировать данные контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию контура временной деформации. Вычислитель контура временной деформации формируется для многократного или периодического перезапуска в позициях перезапуска; вычисления данных контура временной деформации из предварительно определенного стартового значения контура временной деформации, тем самым создавая неоднородности контура временной деформации и уменьшая диапазон значений данных контура временной деформации. Поставщик данных контура временной деформации далее включает устройство для изменения масштаба контура временной деформации, формируемое, чтобы многократно изменять масштаб частей контура временной деформации, чтобы уменьшить или устранить неоднородность в позициях перезапуска в сегментах с измененным масштабом контура временной деформации. Поставщик данных контура временной деформации основывается на той же самой идее, что и вышеупомянутый описанный декодер звуковых сигналов.

Дальнейшее осуществление согласно изобретению создает способ обеспечения представления декодированного звукового сигнала на основе представления закодированного звукового сигнала.

Еще одно осуществление изобретения создает компьютерную программу для обеспечения декодированного звукового сигнала на основе представления закодированного звукового сигнала.

Краткое описание рисунков.

Осуществления согласно изобретению будут последовательно описаны со ссылкой на приложенные рисунки, где:

Фиг.1 показывает блок-схему кодирующего устройства звука с временной деформацией;

Фиг.2 показывает блок-схему звукового декодера временной деформации;

Фиг.3 показывает блок-схему декодера звукового сигнала согласно осуществлению изобретения;

Фиг.4 показывает блок-схему способа обеспечения представления декодированного звукового сигнала согласно осуществлению изобретения;

Фиг.5 показывает детали блок-схемы декодера звукового сигнала согласно осуществлению изобретения;

Фиг.6 показывает детали блок-схемы способа обеспечения представления декодированного звукового сигнала согласно осуществлению изобретения;

Фиг.7А, 7B показывают графическое представление реконструкции контура временной деформации согласно осуществлению изобретения;

Фиг.8 показывает другое графическое представление реконструкции контура временной деформации согласно осуществлению изобретения;

Фиг.9А и 9B показывают алгоритмы вычисления контура временной деформации;

Фиг.9C показывает таблицу соответствия индекса отношения временной деформации и значения отношения временной деформации;

Фиг.10А и 10B показывают представления алгоритмов для вычисления изохроны (временного контура), позиции выборки, длины перехода, «первой позиции» и «последней позиции»;

Фиг.10C показывает представление алгоритмов для вычисления формы окна;

Фиг.10D и 10E показывают представление алгоритмов для применения окна;

Фиг.10F показывает представление алгоритмов для зависящей от времени повторной выборки;

Фиг.10G показывает графическое представление алгоритмов постобработки фрейма (структуры) временной деформации и перекрывания и добавления;

Фиг.11А и 11B показывают легенду;

Фиг.12 показывает графическое представление изохроны (контура времени), которая может быть извлечена из контура временной деформации;

Фиг.13 показывает детальную блок-схему прибора для обеспечения контура деформации согласно осуществлению изобретения;

Фиг.14 показывает блок-схему декодера звукового сигнала согласно другому осуществлению изобретения;

Фиг.15 показывает блок-схему другого вычислителя контура временной деформации согласно осуществлению изобретения;

Фиг.16А, 16B показывают графическое представление вычисления узловых значений временной деформации согласно осуществлению изобретения;

Фиг.17 показывает блок-схему другого кодирующего устройства звукового сигнала согласно осуществлению изобретения;

Фиг.18 показывает блок-схему другого декодера звукового сигнала согласно осуществлению изобретения; и

Фиг.19А-19F показывают представления синтаксических элементов звукового потока согласно осуществлению изобретения.

Детальное описание осуществлений

1. Кодирующее устройство звука с временной деформацией согласно Фиг.1

Поскольку данное изобретение связано с кодированием звука с временной деформацией и декодированием звука с временной деформацией, будет дан краткий обзор прототипов кодирующего устройства звука с временной деформацией и декодера звука с временной деформацией, в которых может быть применено данное изобретение.

Фиг.1 показывает блок-схему кодирующего устройства звука с временной деформацией, в которое могут быть интегрированы некоторые аспекты и осуществления изобретения. Кодирующее устройство звукового сигнала 100 фиг.1 формируется, чтобы получить входной звуковой сигнал 110 и обеспечить закодированное представление входного звукового сигнала 110 в последовательности фреймов (структур). Звуковое кодирующее устройство 100 включает сэмплер (синтезатор выборок) 104, который приспособлен, чтобы производить выборку звукового сигнала 110 (входной сигнал), чтобы получить блоки сигнала (выборочные представления) 105, используемые в качестве основания для преобразования частотной области. Звуковое кодирующее устройство 100 далее включает вычислитель преобразований окна 106, приспособленный, чтобы получать масштабированные окна для выборочных представлений 105, выходящих из сэмплера (синтезатора выборок) 104. Они вводятся в программу Windower 108, адаптированную для применения масштабированных окон к выборочным представлениям 105, полученным посредством сэмплера (синтезатора выборок) 104. В некоторых осуществлениях звуковое кодирующее устройство 100 может дополнительно включать преобразователь частотной области 108а, чтобы получать представление частотной области (например, в форме коэффициентов преобразования) выборочных и масштабированных представлений 105. Представления частотной области могут быть обработаны или далее переданы как закодированное представление звукового сигнала 110.

Звуковое кодирующее устройство 100 далее использует контур основного тона 112 звукового сигнала 110, который может быть предоставлен звуковому кодирующему устройству 100 или который может быть получен звуковым кодирующим устройством 100. Звуковое кодирующее устройство 100 поэтому может дополнительно включать эстиматор (оценочная функция) основного тона для получения контура основного тона 112. Сэмплер (синтезатор выборок) 104 может оперировать непрерывным представлением входного звукового сигнала 110. Альтернативно, сэмплер (синтезатор выборок) 104 может оперировать уже выбранным представлением входного звукового сигнала 110. В последнем случае сэмплер (синтезатор выборок) 104 может повторно делать выборку звукового сигнала 110. Сэмплер (синтезатор выборок) 104 может, например, быть приспособлен к временной деформации, соседствующей с перекрывающимися звуковыми блоками, таким образом, что перекрывающаяся часть имеет постоянный основной тон или сокращенный вариант основного тона в пределах каждого входного блока после осуществления выборки.

Вычислитель преобразований окна 106 получает масштабированные окна для звуковых блоков в зависимости от временной деформации, выполненной сэмплером (синтезатором выборок) 104. С этой целью может присутствовать дополнительный блок регулирования частоты выборки 114, чтобы определить норму временной деформации, используемую сэмплером (синтезатором выборок), который тогда также предоставляется вычислителю преобразований окна 106. В альтернативном осуществлении может быть опущен блок регулирования частоты выборки 114, а контур основного тона 112 может быть непосредственно предоставлен вычислителю преобразований окна 106, который может самостоятельно выполнить соответствующие вычисления. Кроме того, сэмплер (синтезатор выборок) 104 может передавать приложенную выборку вычислителю преобразований окна 106, чтобы обеспечить вычисление соответствующих масштабированных окон.

Временная деформация выполняется таким образом, что контур основного тона выборочных звуковых блоков с временной деформацией и выбранных сэмплером (синтезатором выборок) 104 является более постоянным, чем контур основного тона оригинального звукового сигнала 110 в пределах входного блока.

2. Декодер звука с временной деформацией согласно фиг.2

Фиг.2 показывает блок-схему декодера звука с временной деформацией 200 для обработки первого временного деформированного и выбранного представления или просто временного деформированного представления первого и второго фрейма (структуры) звукового сигнала, имеющего последовательность фреймов (структур), в которой второй фрейм (структура) следует за первым фреймом (структурой), и для дальнейшей обработки второго временного деформированного представления второго фрейма (структуры) и третьего фрейма (структуры), следующей за вторым фреймом (структурой) в последовательности фреймов (структур). Звуковой декодер 200 включает вычислитель преобразований окна 210, приспособленный для получения первого масштабированного окна для первого временного деформированного представления 211а, использующего информацию о контуре основного тона 212 первого и второго фрейма (структуры) и, чтобы получить второе масштабированное окно для второго временного деформированного представления 211b, использующего информацию о контуре основного тона второго и третьего фрейма (структуры), где масштабированные окна могут иметь идентичные числа выборки и где первое число выборки, которое использовалось, чтобы ослабить первое масштабированное окно, может отличаться от второго числа выборки, которое использовалось, чтобы усилить второе масштабированное окно. Звуковой декодер 200 далее включает программу Windower 216, приспособленную, чтобы применять первое масштабированное окно к первому представлению временной деформации и чтобы применять второе масштабированное окно ко второму представлению временной деформации. Звуковой декодер 200, кроме того, включает ресэмплер (синтезатор повторной выборки) 218, приспособленный для обратной временной деформации первого масштабированного представления временной деформации, чтобы получить первое выборочное представление, используя информацию о контуре основного тона первого и второго фрейма (структуры), и для обратной временной деформации второго масштабированного представления временной деформации, чтобы получить второе выборочное представление, используя информацию о контуре основного тона второго и третьего фрейма (структуры) таким образом, что часть первого выборочного представления, соответствующего второму фрейму (структуре), включает контур основного тона, который равняется в пределах предварительно определенной области допустимых значений контуру основного тона части второго выборочного представления, соответствующего второму фрейму (структуре). Чтобы получить масштабированное окно, вычислитель преобразований окна 210 может либо получить контур основного тона 212 непосредственно, либо получить информацию относительно временной деформации от дополнительного корректора частоты выборки 220, который получает контур основного тона 212 и который получает обратную стратегию временной деформации таким образом, что основной тон становится одинаковым в перекрывающихся областях, и дополнительно различные длины затухания перекрывающихся частей окна прежде, чем обратная временная деформация станет той же самой длины после обратной временной деформации.

Звуковой декодер 200, кроме того, включает дополнительный сумматор 230, который приспособлен, чтобы добавить часть первого выборочного представления, соответствующего второму фрейму (структуре), и часть второго выборочного представления, соответствующего второму фрейму (структуре), чтобы получить реконструированное представление второго фрейма (структуры) звукового сигнала в качестве выходного сигнала 242. Первое представление временной деформации и второе представление временной деформации могут в одном осуществлении быть предоставлены в качестве входа в звуковой декодер 200. В дальнейшем осуществлении звуковой декодер 200 может дополнительно включать обратный преобразователь частотной области 240, который может получать первое и второе представление временной деформации из первого и второго представления временной деформации, обеспеченных на входе обратного преобразователя частотной области 240.

3. Декодер звукового сигнала с временной деформацией согласно фиг.3

Далее будет описан упрощенный декодер звукового сигнала. Фиг.3 показывает блок-схему этого упрощенного декодера звукового сигнала 300. Декодер звукового сигнала 300 формируется, чтобы получать закодированное представление звукового сигнала 310 и обеспечить на его основе декодированное представление звукового сигнала 312, где закодированное представление звукового сигнала 310 включает информацию об эволюции контура временной деформации. Декодер звукового сигнала 300 включает вычислитель контура временной деформации 320, формируемый, чтобы генерировать данные контура временной деформации 322 на основе информации об эволюции контура временной деформации 316; информация об эволюции контура временной деформации описывает временную эволюцию контура временной деформации; и информация об эволюции контура временной деформации состоит из закодированных представлений звукового сигнала 310. При получении данных контура временной деформации 322 из информации об эволюции контура временной деформации 316 вычислитель контура временной деформации 320 многократно перезапускается от предварительно определенного стартового значения контура временной деформации, как будет подробно описано в дальнейшем. Перезапуск может иметь то последствие, что контур временной деформации включает неоднородности (пошаговые изменения, которые больше, чем стадии, закодированные информацией об эволюции контура временной деформации 316). Декодер звукового сигнала 300 далее включает устройство для изменения масштаба контура данных временной деформации 330, которое формируется, чтобы изменить масштаб, по крайней мере, части данных контура временной деформации 322 таким образом, что удается избежать, уменьшить или устранить неоднородности при перезапуске вычисления контура временной деформации в масштабированной версии 332 контура временной деформации.

Декодер звукового сигнала 300 также включает декодер деформации 340, формируемый, чтобы обеспечить декодированное представление звукового сигнала 312 на основе закодированного представления звукового сигнала 310 и посредством использования масштабированной версии 332 контура временной деформации.

Чтобы поместить декодер звукового сигнала 300 в контекст звукового декодирования с временной деформацией, следует заметить, что закодированное представление звукового сигнала 310 может включать закодированное представление коэффициентов преобразования 211, а также закодированное представление контура основного тона 212 (также определяется как контур временной деформации). Вычислитель контура временной деформации 320 и устройство для изменения масштаба данных контура временной деформации 330 может формироваться, чтобы обеспечить реконструированное представление контура основного тона 212 в форме масштабированной версии 332 контура временной деформации. Декодер деформации 340 может, например, принять функциональные возможности управления окнами 216, повторной выборки 218, регулирования частоты выборки 220 и регулирования формы окна 210. Далее декодер деформации 340 может, например, дополнительно включать функциональные возможности обратного преобразования 240 и перекрывания/добавления 230 таким образом, что декодированное представление звукового сигнала 312 может быть эквивалентным выходному звуковому сигналу 232 звукового декодера временной деформации 200.

Применяя изменение масштаба к контуру данных временной деформации 322, может быть получена непрерывная (или, по крайней мере, приблизительно непрерывная) версия с измененным масштабом 332 контура временной деформации, таким образом гарантируя то, что удастся избежать числового переполнения или опустошения даже при использовании эффективной для кодирования относительной информации об эволюции контура временной деформации.

4. Способ обеспечения декодированного представления звукового сигнала согласно фиг.4.

Фиг.4 показывает блок-схему способа обеспечения декодированного представления звукового сигнала на основе закодированного представления звукового сигнала, включающего информацию об эволюции контура временной деформации, которая может быть выполнена прибором 300 согласно фиг.3. Способ 400 включает первую стадию 410 производства данных контура временной деформации, многократно перезапуская от предварительно определенного стартового значения контура временной деформации, на основе информации об эволюции контура временной деформации, описывающей временную эволюцию контура временной деформации.

Способ 400 далее включает стадию 420 изменения масштаба, по крайней мере, части управляющих данных временной деформации таким образом, чтобы избежать, уменьшить или устранить неоднородности при одном из перезапусков в масштабированной версии контура временной деформации.

Способ 400 далее включает стадию 430 предоставления декодированного представления звукового сигнала на основе закодированного представления звукового сигнала, используя масштабированную версию контура временной деформации.

5. Детальное описание осуществления согласно изобретению со ссылкой на Фиг.5-9.

В дальнейшем будет подробно описано осуществление согласно изобретению со ссылкой на Фиг.5-9.

Фиг.5 показывает блок-схему прибора 500 для предоставления управляющей информации о временной деформации 512 на основе информации об эволюции контура временной деформации 510. Прибор 500 включает средство 520 для предоставления реконструированной информации о контуре временной деформации 522 на основе информации об эволюции контура временной деформации 510 и вычислитель управляющей информации о временной деформации 530, чтобы предоставить управляющую информацию о временной деформации 512 на основе реконструированной информации о контуре временной деформации 522.

Средство 520 для обеспечения реконструированной информации о контуре временной деформации

В дальнейшем будет описан фрейм (структура) и функциональные возможности средства 520. Средство 520 включает вычислитель контура временной деформации 540, который формируется, чтобы получить информацию об эволюции контура временной деформации 510 и обеспечить на ее основе новую часть информации о контуре деформации 542. Например, комплект информации об эволюции контура временной деформации может быть передан прибору 500 для каждого фрейма (структуры) звукового сигнала, подлежащего реконструкции. Однако комплект информации об эволюции контура временной деформации 510, связанный с фреймом (структурой) звукового сигнала, подлежащего реконструкции, может использоваться для реконструкции множества фреймов (структур) звукового сигнала. Точно так же множество комплектов информации об эволюции контура временной деформации может использоваться для реконструкции звукового содержания единственного фрейма (структуры) звукового сигнала, что будет подробно обсуждено в дальнейшем. В заключение можно заявить, что в некоторых осуществлениях информация об эволюции контура временной деформации 510 может обновляться с той же скоростью, с какой реконструируются или обновляются комплекты доменных коэффициентов преобразования звукового сигнала (одна часть контура временной деформации на фрейм (структуру) звукового сигнала).

Вычислитель контура временной деформации 540 включает вычислитель узлового значения деформации 544, который формируется, чтобы вычислить множество (или временную последовательность) узловых значений контура деформации на основе множества (или временной последовательности) значений соотношения контура временной деформации (или индексов коэффициентов временной деформации), где значения коэффициентов временной деформации (или индексы) состоят из информации об эволюции контура временной деформации 510. С этой целью вычислитель узлового значения деформации 544 формируется, чтобы запустить предоставление узловых значений контура временной деформации при предварительно определенном стартовом значении (например, 1) и чтобы вычислить последующие узловые значения контура временной деформации, используя значения соотношения контура временной деформации, что будет обсуждено ниже.

Далее вычислитель контура временной деформации 540 дополнительно включает интерполятор 548, который формируется, чтобы интерполировать между последующими узловыми значениями контура временной деформации. Относительно получается описание 542 новой части контура временной деформации, где новая часть контура временной деформации обычно начинается с предварительно определенного стартового значения, используемого вычислителем узлового значения деформации 524. Кроме того, средство 520 формируется, чтобы рассмотреть дополнительные части контура временной деформации, а именно так называемую «последнюю часть контура временной деформации» и так называемую «текущую часть контура временной деформации», для предоставления полного сегмента контура временной деформации. С этой целью средство 520 формируется, чтобы сохранить так называемую «последнюю часть контура временной деформации» и так называемую «текущую часть контура временной деформации» в памяти, не показанной на фиг.5.

Однако средство 520 также включает устройство для изменения масштаба 550, которое формируется, чтобы изменить масштаб «последней части контура временной деформации» и «текущей части контура временной деформации», чтобы избежать (или уменьшить, или устранить) любых неоднородностей в полном сегменте контура временной деформации, основанном на «последней части контура временной деформации», «текущей части контура временной деформации» и «новой части контура временной деформации». С этой целью устройство для изменения масштаба 550 формируется, чтобы получить сохраненное описание «последней части контура временной деформации» и «текущей части контура временной деформации» и чтобы совместно изменить масштаб «последней части контура временной деформации» и «текущей части контура временной деформации», чтобы получить версию с измененным масштабом «последней части контура временной деформации» и «текущей части контура временной деформации». Детали относительно изменения масштаба, выполняемого устройством для изменения масштаба 550, будут описаны ниже со ссылкой на фиг.7А, 7B и 8.

Кроме того, устройство для изменения масштаба 550 может также формироваться, чтобы получить, например, из памяти, не показанной на фиг.5, суммарное значение, связанное с «последней частью контура временной деформации», и другое суммарное значение, связанное с «текущей частью контура временной деформации». Эти суммарные значения иногда определяются как «last_warp_sum» (последняя сумма деформации) и «cur_warp_sum» (текущая сумма деформации) относительно. Устройство для изменения масштаба 550 формируется, чтобы изменить масштаб суммарных значений, связанных с частями контура временной деформации, используя тот же самый коэффициент изменения масштаба, посредством которого изменяется масштаб соответствующих частей контура временной деформации. Относительно получаются масштабированные суммарные значения.

В некоторых случаях средство 520 может включать корректор 560, который формируется, чтобы многократно обновлять части контура временной деформации, входящие в устройство для изменения масштаба 550, а также суммарные значения, входящие в устройство для изменения масштаба 550. Например, корректор 560 может формироваться, чтобы обновлять указанную информацию при частоте фреймов (структур). Например, «новая часть контура временной деформации» данного цикла фрейма (структуры) может служить «текущей частью контура временной деформации» в следующем цикле фрейма (структуры). Точно так же масштабированная «текущая часть контура временной деформации» текущего цикла фрейма (структуры) может служить «последней частью контура временной деформации» в следующем цикле фрейма (структуры). Относительно создается эффективная реализация памяти, потому что «последняя часть контура временной деформации» текущего цикла фрейма (структуры) может быть отброшена после завершения текущего цикла фрейма (структуры).

Чтобы суммировать вышесказанное, средство 520 формируется, чтобы обеспечить для каждого цикла фрейма (структуры) (за исключением некоторых особых циклов фрейма (структуры), например, в начале последовательности фреймов (структур) или в конце последовательности фреймов (структур), или в фрейме (структуре), в котором временная деформация неактивна) описание сегмента контура временной деформации, включающего описание «новой части контура временной деформации», «масштабированной текущей части контура временной деформации» и «масштабированной последней части контура временной деформации». Кроме того, средство 520 может обеспечить для каждого цикла фрейма (структуры) (за исключением вышеупомянутого особого цикла фрейма (структуры)) представление суммарных значений контура деформации, например, включая «новое суммарное значение части контура временной деформации», «масштабированное текущее суммарное значение контура временной деформации» и «масштабированное последнее суммарное значение контура временной деформации».

Вычислитель управляющей информации о временной деформации 530 формируется, чтобы вычислять управляющую информацию о временной деформации 512 на основе реконструированной информации о контуре временной деформации, предоставленной средством 520. Например, вычислитель управляющей информации о временной деформации включает вычислитель контура времени 570, который формируется, чтобы вычислять контур времени 572 на основе реконструированной управляющей информации о временной деформации. Далее вычислитель управляющей информации о временной деформации 530 включает вычислитель позиции выборки 574, который формируется, чтобы получить контур времени 572 и обеспечить на его основе информацию о позиции выборки, например, в форме вектора позиции выборки 576. Вектор позиции выборки 576 описывает осуществление деформации времени, например, посредством ресэмплера (синтезатора повторной выборки) 218.

Вычислитель управляющей информации о временной деформации 530 также включает вычислитель длины перехода, который формируется, чтобы получить информацию о длине перехода из реконструированной управляющей информации о временной деформации. Информация о длине перехода 582 может, например, включать информацию, описывающую длину левого перехода, и информацию, описывающую длину правого перехода. Длина перехода может, например, зависеть от длины сегментов времени, описанных «последней частью контура временной деформации», «текущей частью контура временной деформации» и «новой частью контура временной деформации». Например, длина перехода может быть укорочена (по сравнению с длиной перехода по умолчанию), если временное расширение сегмента времени, описанное «последней частью контура временной деформации», короче, чем временное расширение сегмента времени, описанное «текущей частью контура временной деформации», или если временное расширение сегмента времени, описанное "новой частью контура временной деформации", короче, чем временное расширение сегмента времени, описанное «текущей частью контура временной деформации».

Кроме того, вычислитель управляющей информации о временной деформации 530 может далее включать вычислитель первой и последней позиции 584, который формируется, чтобы вычислить так называемую «первую позицию» и так называемую «последнюю позицию» на основе длины левого и правого перехода. «Первая позиция» и «последняя позиция» увеличивают эффективность ресэмплера (синтезатора повторной выборки), поскольку области за пределами этих позиций идентичны нулю после управления окнами и поэтому не обязательно должны приниматься во внимание для временной деформации. Здесь следует заметить, что вектор позиции выборки 576 включает, например, информацию, запрашиваемую ресэмплером (синтезатором повторной выборки) для осуществления временной деформации 280. Кроме того, длина левого и правого перехода 582 и «первая позиция» и «последняя позиция» 586 составляют информацию, которая, например, запрашивается программой Windower 216.

Относительно можно сказать, что средство 520 и вычислитель управляющей информации о временной деформации 530 могут вместе принимать на себя функциональные возможности регулирования частоты выборки 220, регулирования формы окна 210 и вычисления позиция осуществления выборки 219.

Далее функциональные возможности звукового декодера, включающего средство 520 и вычислитель управляющей информации о временной деформации 530, будут описаны со ссылкой на Фиг.6, 7А, 7B, 8, 9А-9C, 10А-10G, 11А, 11B и 12.

Фиг.6 показывает блок-схему способа декодирования закодированного представления звукового сигнала согласно осуществлению изобретения. Способ 600 включает предоставление реконструированной информации о контуре временной деформации, где предоставление реконструированной информации о контуре временной деформации включает вычисление 610 узловых значений деформации, интерполяцию 620 между узловыми значениями деформации и изменение масштаба 630 одного или нескольких ранее вычисленных частей контура деформации и одного или нескольких ранее вычисленных суммарных значений контура деформации. Способ 600 далее включает вычисление 640 управляющей информация о временной деформации посредством использования «новой части контура временной деформации», полученной на стадиях 610 и 620, масштабированных ранее вычисленных частей контура временной деформации («текущая часть контура временной деформации» и «последняя часть контура временной деформации»), а также дополнительно посредством использования масштабированных ранее вычисленных суммарных значений контура деформации. В результате информация о контуре времени и/или информация о позиции выборки, и/или информация о длине перехода и/или информация о позиции первой части и последней могут быть получены на стадии 640.

Способ 600 далее включает реализацию 650 реконструкции сигнала с временной деформацией, используя управляющую информацию о временной деформации, полученную на стадии 640. Детали относительно реконструкции сигнала с временной деформации будут описаны впоследствии.

Способ 600 также включает стадию 660 обновления памяти, как будет описано ниже.

Вычисление частей контура временной деформации

Далее будут описаны детали относительно вычисления частей контура временной деформации со ссылкой на Фиг.7А, 7B, 8, 9А, 9B, 9C.

Предполагается, что присутствует начальное состояние, которое проиллюстрировано в графическом представлении 710 на фиг.7А. Как можно заметить, присутствует первая часть контура деформации 716 (часть контура деформации 1) и вторая часть контура деформации 718 (часть контура деформации 2). Каждая из частей контура деформации обычно включает множество дискретных значений данных контура деформации, которые обычно хранятся в памяти. Различные значения данных контура деформации связаны со значениями времени, где время показано на абсциссе 712. Абсолютные значения данных контура деформации показаны на ординате 714. Как можно заметить, первая часть контура деформации имеет конечное значение 1, а вторая часть контура деформации имеет стартовое значение 1, где значение 1 может рассматриваться как «предварительно определенное значение». Следует заметить, что первую часть контура деформации 716 можно рассматривать в качестве «последней части контура временной деформации» (также определяемой как «last_warp_contour» (последний контур деформации)), в то время как вторую часть контура деформации 718 можно рассматривать в качестве «текущей части контура временной деформации» (также называемой «cur_warp_contour» (текущим контуром деформации)).

Начиная с исходного состояния, новая часть контура деформации вычисляется, например, на стадиях 610, 620 способа 600. Относительно вычисляются значения данных контура деформации третьей части контура деформации (также определяемого как «часть контура деформации 3» или «новая часть контура временной деформации» или «new_warp_contour»). Вычисление может, например, быть выделено в вычислении узловых значений деформации согласно алгоритму 910, показанному на фиг.9А, и в интерполяции 620 между узловыми значениями деформации согласно алгоритму 920, показанному на фиг.9А. Относительно получается новая часть контура деформации 722, которая начинается с предварительно определенного значения (например, 1) и которая показана в графическом представлении 720 на фиг.7А. Как можно заметить, первая часть контура временной деформации 716, вторая часть контура временной деформации 718 и третья новая часть контура временной деформации связаны с последующими и смежными временными интервалами. Далее можно заметить, что имеется неоднородность 724 между конечными точками 718b второй части контура временной деформации 718 и стартовыми точками 722а третьей части контура временной деформации.

Здесь следует заметить, что неоднородность 724 обычно включает абсолютное значение, которое больше, чем колебание между любыми двумя временно смежными значениями данных контура деформации контура временной деформации в пределах части контура временной деформации. Вследствие того, что стартовое значение 722а третьей часть контура временной деформации 722 приближается к предварительно определенному значению (например, 1), независимо от конечного значения 718b второй части контура временной деформации 718. Следует заметить, что неоднородность 724 поэтому больше, чем неизбежное колебание между двумя смежными, дискретными значениями данных контура деформации.

Однако эта неоднородность между второй частью контура временной деформации 718 и третьей частью контура временной деформации 722 была бы вредна для дальнейшего использования значений данных контура временной деформации.

Относительно у первой части контура временной деформации и второй части контура временной деформации совместно изменяется масштаб на стадии 630 способа 600. Например, у значений данных контура временной деформации первой части контура временной деформации 716 и у значений данных контура временной деформации второй части контура временной деформации 718 изменяется масштаб посредством умножения на коэффициент изменения масштаба (также определяемого как «norm_fac» (коэффициент нормализации)). Относительно получается масштабированная версия 716' первой части контура временной деформации 716, а также получается масштабированная версия 718' второй части контура временной деформации 718. Напротив, третья часть контура временной деформации обычно остается незатронутой на этой стадии изменения масштаба, как можно заметить в графическом представлении 730 на фиг.7А. Изменение масштаба может быть выполнено таким образом, что масштабированная конечная точка 718b' включает, по крайней мере приблизительно, то же самое значение данных в качестве стартовой точки 722а третьей части контура временной деформации 722. Относительно масштабированная версия 716' первой части контура временной деформации, масштабированная версия 718' второй части контура временной деформации и третьей части контура временной деформации 722 вместе формируют (приблизительно) непрерывный сегмент контура временной деформации. В частности, изменение масштаба может выполняться таким образом, что различие между значением данных масштабированной конечной точки 718b' и стартовой точки 722а не больше, чем максимальное различие между любыми двумя смежными значениями данных частей контура временной деформации 716', 718', 722.

Относительно приблизительно непрерывный сегмент контура временной деформации, включающий масштабированные части контура временной деформации 716', 718' и оригинальную часть контура временной деформации 722, используется для вычисления управляющей информации о временной деформации, которое выполняется на стадии 640. Например, управляющая информации о временной деформации может быть вычислена для звукового фрейма (структуры), временно связанного со второй частью контура временной деформации 718.

Однако после вычисления управляющей информации о временной деформации на стадии 640 реконструкция сигнала с временной деформацией может быть выполнена на стадии 650, которая будет более подробно объяснена ниже.

Впоследствии необходимо получить управляющую информацию о временной деформации для следующего звукового фрейма (структуры). С этой целью масштабированная версия 716' первой части контура временной деформации может быть отброшена, чтобы сохранить память, потому что она больше не нужна. Однако масштабированная версия 716' может, естественно, также быть сохранена для любых целей. Кроме того, масштабированная версия 718' второй части контура временной деформации занимает место «последней части контура временной деформации» для нового вычисления, как можно заметить в графическом представлении 740 на фиг.7B. Далее третья часть контура временной деформации 722, которая заняла место «новой части контура временной деформации» в предыдущем вычислении, принимает на себя роль «текущей части контура временной деформации» для следующего вычисления. Связь показана в графическом представлении 740.

Вслед за этим обновлением памяти (стадия 660 способа 600) вычисляется новая часть контура временной деформации 752, как можно заметить в графическом представлении 750. С этой целью стадии 610 и 620 способа 600 могут быть повторно выполнены с новыми входными данными. Четвертая часть контура временной деформации 752 временно берет на себя роль «новой части контура временной деформации». Как можно заметить, обычно имеется неоднородность между конечной точкой 722b третьей части контура временной деформации и стартовой точкой 752а четвертой части контура временной деформации 752. Эта неоднородность 754 уменьшается или устраняется последующим изменением масштаба (стадия 630 способа 600) масштабированной версии 718' второй части контура временной деформации и оригинальной версии третьей части контура временной деформации 722. Относительно получается дважды масштабированная версия 718" второй части контура временной деформации и однажды масштабированная версия 722' третьей части контура временной деформации, как можно заметить по графическому представлению 760 на фиг.7B. Как можно заметить, части контура временной деформации 718", 722', 752 формируют, по крайней мере, приблизительно непрерывный сегмент контура временной деформации, который может использоваться для вычисления управляющей информации о временной деформации при повторном выполнении стадии 640. Например, управляющая информация о временной деформации может быть вычислена на основе частей контура временной деформации 718", 722', 752, эта управляющая информация о временной деформации связана с временным фреймом (структурой) звукового сигнала, центрированным на второй части контура временной деформации.

Следует заметить, что в некоторых случаях желательно иметь связанное суммарное значение контура деформации для каждой из частей контура временной деформации. Например, первое суммарное значение контура деформации может быть связано с первой частью контура временной деформации, второе суммарное значение контура деформации может быть связано со второй частью контура временной деформации и так далее. Суммарные значения контура деформации могут, например, использоваться для вычисления управляющей информации о временной деформации на стадии 640.

Например, суммарное значение контура деформации может представлять сумму значений данных контура деформации соответствующей части контура временной деформации.

Однако, поскольку части контура временной деформации масштабированы, иногда желательно также масштабировать суммарное значение контура временной деформации таким образом, что суммарное значение контура временной деформации придерживается характеристик связанной с ним части контура временной деформации. Относительно суммарное значение контура деформации, связанное со второй частью контура временной деформации 718, может быть масштабировано (например, посредством того же самого коэффициента масштабирования), когда вторая часть контура временной деформации 718 масштабируется, чтобы получить ее масштабированную версию 718'. Точно так же может быть масштабировано суммарное значение контура деформации, связанное с первой частью контура временной деформации 716 (например, посредством того же самого коэффициента масштабирования), когда первая часть контура временной деформации 716 масштабируется, чтобы получить ее масштабированную версию 716', если нужно.

Далее, повторное соединение (или перераспределение памяти) может быть выполнено, приступая к рассмотрению новой части контура временной деформации. Например, суммарное значение контура деформации, связанное с масштабированной версией 718' второй части контура временной деформации, которое берет на себя роль «текущего суммарного значения контура временной деформации» для вычисления управляющей информации о временной деформации, связанной с частями контура временной деформации 716', 718', 722, может рассматриваться как «последнее суммарное значение деформации» для вычисления управляющей информации о временной деформации, связанной с частями контура временной деформации 718", 722', 752. Точно так же, суммарное значение контура деформации, связанное с третьей частью контура временной деформации 722, может рассматриваться как «новое суммарное значение контура деформации» для вычисления управляющей информации о временной деформации, связанной с частями контура временной деформации 716', 718', 722, и может быть отображено, чтобы действовать в качестве «текущего суммарного значения контура деформации» для вычисления управляющей информации о временной деформации, связанной с частями контура временной деформации 718", 722', 752. Далее вновь вычисленное суммарное значение контура деформации четвертой части контура временной деформации 752 может взять на себя роль «нового суммарного значения контура деформации» для вычисления управляющей информации о временной деформации, связанной с частями контура временной деформации 718", 722', 752.

Пример согласно фиг.8

Фиг.8 показывает графическое представление, иллюстрирующее проблему, которая решается в осуществлениях согласно изобретению. Первое графическое представление 810 показывает временную эволюцию реконструированного относительного основного тона в течение времени, которая достигается в некоторых традиционных осуществлениях. Абсцисса 812 описывает время, ордината 814 описывает относительный основной тон. Кривая 816 показывает временную эволюцию относительного основного тона в течение времени, которая может быть реконструирована из информации об относительном основном тоне. Относительно реконструкции контура относительного основного тона следует заметить, что для применения измененного дискретного косинусного преобразования с временной деформацией (MDCT) необходимо только знание относительного колебания основного тона в пределах фактического фрейма (структуры). Чтобы понять это, делается ссылка на вычисление стадий для получения контура времени из относительного контура основного тона, что приводит к идентичному контуру времени для масштабированных версий того же самого относительного контура основного тона. Поэтому достаточно только закодировать относительное, а не абсолютное значение основного тона, что увеличивает эффективность кодирования. Чтобы далее увеличить эффективность, фактическое квантованное значение является не относительным основным тоном, а соответствующим изменением основного тона, то есть отношение текущего относительного основного тона к предыдущему относительному основному тону (что будет подробно обсуждено в дальнейшем). В некоторых фреймах (структурах), где, например, сигнал совсем не показывает гармоническую структуру, не требуется никакая временная деформация. В таких случаях дополнительный флажок может по выбору обозначать плоский контур основного тона вместо того, чтобы кодировать этот плоский контур вышеупомянутым способом. Так как в сигналах реального мира количество таких фреймов (структур) обычно достаточно большое, соотношение между дополнительным битом, добавленным в любое время, и битами, сохраненными для недеформированных фреймов (структур), склоняется в пользу сохранения битов.

Стартовое значение для вычисления изменения основного тона (относительный контур основного тона или контур временной деформации) может быть выбрано произвольно и может даже отличаться в кодирующем устройстве и декодере. Вследствие природы временной деформации MDCT (TW-MDCT), различные стартовые значения изменения основного топа приводят к тем же самым позициям выборки и приспособленным формам окна, чтобы выполнять TW-MDCT.

Например, (звуковое) кодирующее устройство получает контур основного тона для каждого узла, который выражается как фактическая задержка основного тона в выборках в соединении с дополнительной вокализованной/невокализованной спецификацией, которая была, например, получена посредством применения оценки основного тона и вокализованного/невокализованного решения, известного из речевого кодирования. Если для текущего узла установлена вокализованная классификация или если не доступно вокализованное/невокализованное решение, кодирующее устройство вычисляет соотношение между фактической задержкой основного тона и квантует его или только устанавливает соотношение, равное 1, при невокализованном решении. Другим примером может быть то, что изменение основного тона оценивается непосредственно соответствующим способом (например, оценка изменения сигнала).

В декодере стартовое значение для первого относительного основного тона в начале закодированного звука устанавливается на произвольное значение, например на 1. Поэтому декодированный контур относительного основного тона больше не находится в том же самом абсолютном диапазоне контура основного тона кодирующего устройства, а в его масштабированной версии. Однако, как описано выше, алгоритм TW-MDCT приводит к тем же самым позициям выборки и формам окна. Кроме того, кодирующее устройство может решать, приведут ли закодированные соотношения основного тона к плоскому контуру основного тона, не посылая полностью закодированный контур, но вместо этого устанавливая флажок активных данных основного тона (activeP itch Data) на 0, сохраняя биты в этом фрейме (структуре) (например, сохраняя numPitchbits * numPitches биты в этом фрейме (структуре)).

Далее будут обсуждены проблемы, которые возникают при отсутствии изобретательной перенормировки контура основного тона. Как было упомянуто выше, для TW-MDCT требуется только относительное изменение основного тона в пределах определенного ограниченного временного интервала вокруг текущего блока для вычисления временной деформации и правильной адаптации формы окна (см. объяснения выше). Временная деформация следует за декодированным контуром для сегментов, где было обнаружено изменение основного тона, и остается постоянным во всех других случаях (см. графическое представление 810 на фиг.8). Для вычисления окна и позиций выборки одного блока необходимы три последовательных относительных сегмента контура основного тона (например, три части контура временной деформации), где третий сегмент - тот, который был недавно передан во фрейм (структуру) (определяемый как «новая часть контура временной деформации»), а два другие буферизованы от прошлого (например, определяемого как «последняя часть контура временной деформации» и «текущая часть контура временной деформации»).

Для примера делается ссылка, например, на объяснения, которые были сделаны со ссылкой на Фиг.7А и 7B, а также на графические представления 810, 860 на фиг.8. Чтобы вычислить, например, позиции выборки окна для (или связанного с) фрейма (структуры) 1, который простирается от фрейма (структуры) 0 до фрейма (структуры) 2, необходимы контуры основного тона (или связанного с) фрейма (структуры) 0, 1 и 2. В потоке битов только информация об основном тоне для фрейма (структуры) 2 посылается в текущий фрейм (структуру), а два другие взяты из прошлого. Как здесь объясняется, контур основного тона может быть продолжен посредством применения первого декодированного относительного отношение основного тона к последнему основному тону фрейма (структуры) 1, чтобы получить основной тон на первом узле фрейма (структуры) 2, и так далее. Теперь вследствие природы сигнала возможно, что если контур основного тона просто продолжен (то есть если вновь переданная часть контура присоединена к существующим двум частям без какой-либо модификации), то переполнение диапазона во внутреннем формате числа кодирующего устройства происходит после определенного времени. Например, сигнал может начинаться с сегмента с сильными гармоническими характеристиками и высоким значением основного тоны вначале, которое уменьшается на протяжении сегмента, что приводит к уменьшению относительного основного тона. Затем может следовать сегмент без информации об основном тоне, так, чтобы относительный основной тон сохранялся постоянным. Затем снова гармонический сегмент может начинаться с абсолютного основного тона, который выше, чем последний абсолютный основной тон предыдущего сегмента, и снова снижаться. Однако если он просто продолжает относительный основной тон, то он - тот же самый, что и в конце последнего гармонического сегмента и в дальнейшем будет понижаться, и так далее. Если сигнал достаточно сильный и имеет в своих гармонических сегментах повсеместную тенденцию к повышению или к понижению (как показано в графическом представлении 810 на фиг.8), рано или поздно относительный основной тон достигает границы диапазона внутреннего формата числа. Как известно из кодирования речи, речевые сигналы действительно проявляют такую особенность. Поэтому не удивительно, что кодирование сочлененного набора сигналов реального мира, включая речь, фактически превышает диапазон плавающих значений, используемых для относительного основного тона после относительно короткого промежутка времени, используя обычный способ, описанный выше.

Чтобы суммировать вышесказанное, для сегмента звукового сигнала (или фрейма (структуры)), для которого может быть определен основной тон и соответствующая эволюция контура относительного основного тона (или контура временной деформации). Для сегментов звукового сигнала (или фреймов (структур) звукового сигнала), для которых не может быть определен основной тон (например, потому что сегменты звукового сигнала подобны шуму), контур относительного основного тона (или контур временной деформации) может сохраняться постоянным. Соответственно, если имеется дисбаланс между звуковыми сегментами с возрастающим основным тоном и понижающимся основным тоном, то контур относительного основного тона (или контур временной деформации) сольется либо с числовым опустошением, либо с числовым переполнением.

Например, в графическом представлении 810 контур относительного основного тона показан для случая, когда имеется множество частей контура относительного основного тона 820а, 820а, 820с, 820d с понижающимся основным тоном и некоторые звуковые сегменты 822а, 822b без основного тона, но не имеется никаких звуковых сегментов с повышающимся основным тоном. Соответственно, можно заметить, что контур относительного основного тона 816 сливается с числовым опустошением (по крайней мере, при очень неблагоприятных обстоятельствах).

В дальнейшем будет описано решение этой проблемы. Чтобы предотвратить вышеупомянутые проблемы, в частности числовое опустошение и числовое переполнение, вводится периодическая перенормировка контура относительного основного тона согласно аспекту изобретения. Так как вычисление контура временной деформации и форм окна основывается только на относительном изменении вышеупомянутых трех сегментов контура относительного основного тона (также обозначаются как «части контура временной деформации»), как здесь объясняется, можно еще раз нормализовать этот контур (например, контур временной деформации, который может состоять из трех «частей контура временной деформации») для каждого фрейма (структуры) (например, звукового сигнала) с тем же самым результатом.

Для этого была, например, выбрана ссылка, являющаяся последней выборкой второго сегмента контура (также обозначается как «часть контура временной деформации»), и теперь контур нормализуется (например, мультипликативно в линейной области) таким способом, чтобы эта выборка имела значение 1.0 (см. графическое представление 860 на фиг.8).

Графическое представление 860 на фиг.8 представляет нормализацию контура относительного основного тона. Абсцисса 862 показывает время, подразделенное на фреймы (структуры) (фреймы 0, 1, 2). Ордината 864 описывает значение контура относительного основного тона.

Контур относительного основного тона перед нормализацией обозначается цифрой 870 и покрывает два фрейма (структуры) (например, фрейм номер 0 и фрейм номер 1). Новый сегмент контура относительного основного тона (также обозначается как «часть контура временной деформации"), начинающийся с предварительно определенного стартового значения контура относительного основного тона (или стартового значения контура временной деформации), определяется цифрой 874. Как можно заметить, перезапуск нового сегмента контура относительного основного тона 874 из предварительно определенного стартового значения контура относительного основного тона, (например, 1), способствует возникновению неоднородности между сегментом контура относительного основного тона, 870, предшествующей точкой-во-времени перезапуска, и новому сегменту контура относительного основного тона 874, обозначенного цифрой 878. Эта неоднородность способствовала бы возникновению серьезной проблемы для производства любой управляющей информации о временной деформации из контура и, возможно, привела бы к звуковым искажениям. Поэтому ранее полученный сегмент контура относительного основного тона 870, предшествующий перезапуску точки-во-времени перезапуска, масштабируется (или нормализуется), чтобы получить масштабированный сегмент контура относительного основного тона 870'. Нормализация выполняется таким образом, что масштаб последней выборки сегмента контура относительного основного тона 870 изменяется до предварительно определенного стартового значения контура относительного основного тона (например, 1.0).

Детальное описание алгоритма

В дальнейшем будут подробно описаны некоторые из алгоритмов, выполненных звуковым декодером согласно осуществлению изобретения. С этой целью, будет сделана ссылка на Фиг.5, 6, 9А, 9B, 9C и 10A-10G. Далее делается ссылка на легенду элементов данных, справочных элементов и констант на Фиг.11A и 11B.

В сущности, можно сказать, что способ, описанный здесь, может использоваться для декодирования звукового потока, который кодируется согласно измененному дискретному косинусному преобразованию с временной деформацией. Таким образом, когда TW-MDCT задействуется для звукового потока (который может быть обозначен флажком, например, называемым "twMdct" флажком, который может включать определенную информацию о конфигурации), блок фильтров временной деформации и коммутация блока могут заменить стандартный блок фильтров и коммутацию блока. Дополнительно к измененному дискретному косинусному обратному преобразованию (IMDCT) блок фильтров с временной деформацией и коммутация блока содержат временной интервал для отображения временного интервала от произвольно расположенной временной сетки до нормальной регулярно расположенной временной сетки и соответствующей адаптации форм окна.

В дальнейшем будет описан процесс декодирования. На первой стадии декодируется контур деформации. Контур деформации может быть, например, закодирован посредством использования индексов узлов контура деформации шифровальной книги. Индексы узлов контура деформации шифровальной книги декодируются, например, посредством использования алгоритма, показанного в графическом представлении 910 на фиг.9А. Согласно указанному алгоритму значения коэффициентов деформации (warp_value_tbl) производятся из индексов коэффициентов деформации шифровальной книги (tw_ratio), например, используя отображение, определенное таблицей отображения 990 фиг.9С .Как видно из алгоритма, обозначенного ссылочной цифрой 910, узловые значения деформации могут быть установлены на постоянное предварительно определенное значение, если флажок (tw_data_present) указывает, что данные временной деформации не присутствуют. Напротив, если флажок указывает, что данные временной деформации присутствуют, первое узловое значение деформации может быть установлено на предварительно определенное стартовое значение контура временной деформации (например, 1). Последующие узловые значения деформации (части контура временной деформации) могут быть определены на основе формирования продукта множественных значений коэффициентов временной деформации. Например, узловое значение деформации узла, следующего непосредственно за первым узлом деформации (i=0), может быть равным первому значению коэффициента деформации (если стартовое значение 1) или равным продукту первого значения коэффициента деформации и стартового значения. Последующие узловые значения временной деформации (i=2, 3, …, num_tw_nodes) вычисляются посредством формирования продукта множественных значений коэффициента временной деформации (по выбору, учитывая стартовое значение, если стартовое значение отличается от 1). Естественно, порядок формирования продукта произволен. Однако выгодно получить (i+1)-e модовое значение деформации из i-го узлового значения деформации посредством умножения i-го узлового значения деформации на единственное значение коэффициента деформации, описывающее соотношение между двумя последующими узловыми значениями контура временной деформации.

Как видно из алгоритма, обозначенного ссылочной цифрой 910, могут иметься множественные индексы коэффициентов деформации шифровальной книги для единственной части контура временной деформации в единственном звуковом фрейме (структуре) (где может существовать соответствие 1 к 1 между частями контура временной деформации и звуковыми 4) фреймами (структурами)).

Чтобы суммировать, множество узловых значений временной деформации может быть получено для данной части контура временной деформации (или данного звукового фрейма (структуры)) на стадии 610, например, используя вычислитель узлового значения деформации 544. Впоследствии, может быть выполнена линейная интерполяция между узловыми значениями временной деформации (warp_node_values [i]). Например, чтобы получить значения данных контура временной деформации «новой части контура временной деформации» (new_warp_contour), может использоваться алгоритм, обозначенный ссылочной цифрой 920 на фиг.9А. Например, число образцов новой части контура временной деформации равно половине числа образцов временного интервала измененного дискретного косинусного обратного преобразования. Относительно этой проблемы следует заметить, что смежные фреймы (структуры) звукового сигнала обычно смещаются (по крайней мере, приблизительно) наполовину числа образцов временного интервала MDCT или IMDCT. Другими словами, чтобы получить подобный образцу (образцы N_long) new_warp_contour [], warp_node_values [] интерполируются линейно между одинаково расположенными (interp_dist apart) узлами посредством использования алгоритма, обозначенного ссылочной цифрой 920.

Интерполяция может, например, выполняться интерполятором 548 прибора фиг.5, или на стадии 620 алгоритма 600.

Прежде чем получить полный контур деформации для этого фрейма (структуры) (то есть для рассматриваемого фрейма (структуры)), буферизованные значения из прошлого масштабируются так, чтобы последнее значение деформации прошлого контура деформации (past_warp_contour) [] равнялось 1 (или любому другому предварительно определенному значению, которое предпочтительно равно стартовому значению новой части контура временной деформации).

Здесь следует заметить, что термин «прошлый контур деформации» предпочтительно включает вышеописанную «последнюю часть контура временной деформации» и вышеописанную «текущую часть контура временной деформации». Следует также заметить, что «прошлый контур деформации» обычно включает длину, которая равна числу образцов временного интервала IMDCT, таким образом, что значения «прошлого контура деформации» обозначаются индексами между 0 и 2*n_long-l. Таким образом, «past_warp_contour [2*n_long-l]» обозначает последнее значение деформации «прошлого контура деформации». Соответственно, коэффициент нормализации «norm_fac» может быть вычислен согласно уравнению, обозначенному ссылочной цифрой 930 на фиг.9А. Таким образом, прошлый контур деформации (включающий «последнюю часть контура временной деформации» и «текущую часть контура временной деформации») может быть мультипликативно масштабирован согласно уравнению, обозначенному ссылочной цифрой 932 на фиг.9А. Кроме того, «последнее суммарное значение контура деформации» (last_warp_sum) и «текущее суммарное значение контура деформации» (cur_warp_sum) могут быть мультипликативно масштабированы, как обозначено ссылочными цифрами 934 и 936 на фиг.9А. Масштабирование может быть выполнено устройством для изменения масштаба 550 на фиг.5 или на стадии 630 способа 600 на фиг.6.

Следует заметить, что нормализация, описанная здесь, например, ссылочной цифрой 930, затем может быть изменена, например, посредством замены стартового значения «1» любым другим желательным предварительно определенным значением.

Применяя нормализацию, «полный контур деформации (full warp_contour) []», также определяемый как «сегмент контура временной деформации», получается посредством сцепления «прошлого контура деформации» (past_warp_contour) и «нового контура деформации» (new_warp_contour). Таким образом, три части контура временной деформации («последняя часть контура временной деформации», «текущая часть контура временной деформации» и «новая часть контура временной деформации») формируют «полный контур деформации», который может применяться на дальнейших стадиях вычисления.

Кроме того, суммарное значение контура деформации (new_warp_sum) вычисляется, например, как суммарные значения всего «нового контура деформации» (new_warp_contour) []. Например, новое суммарное значение контура деформации может быть вычислено согласно алгоритмам, обозначенным ссылочной цифрой 940 на фиг.9А.

Вслед за вышеописанными вычислениями становится доступной входная информация, необходимая для вычислителя управляющей информации о временной деформации 330 или для стадии 640 способа 600. Соответственно, вычисление 640 управляющей информации о временной деформации может быть выполнено, например, вычислителем управляющей информации о временной деформации 530. Кроме того, реконструкция сигнала с временной деформацией 650 может быть выполнена звуковым декодером. Далее будут объяснены более подробно вычисление 640 и реконструкция сигнала с временной деформацией 650.

Однако важно заметить, что данный алгоритм повторяется многократно. Поэтому в вычислительном отношении эффективно обновлять память. Например, можно отбросить информацию о последней части контура временной деформации. Далее, рекомендуется использовать существующую «текущую часть контура временной деформации» в качестве «последней части контура временной деформации» в следующем цикле вычисления. Далее, рекомендуется использовать существующую «новую часть контура временной деформации» в качестве «текущей части контура временной деформации» в следующем цикле вычисления. Это назначение может быть сделано посредством использования уравнения, обозначенного ссылочной цифрой 950 на фиг.9B, (где контур деформации [n] описывает существующую «новую часть контура временной деформации» для 2*n_long≤n<3·n_long).

Соответствующие назначения обозначены ссылочными цифрами 952 и 954 на Фиг.9B.

Другими словами, буферы памяти, используемые для декодирования следующего фрейма (структуры), могут быть обновлены согласно уравнениям, обозначенным ссылочными цифрами 950, 952 и 954.

Следует заметить, что обновление согласно уравнениям 950, 952 и 954 не обеспечивает надлежащий результат, если соответствующая информация не была произведена для предыдущего фрейма (структуры). Соответственно, прежде чем декодировать первый фрейм (структуру) или если последний фрейм (структура) был закодирован другим типом кодирующего устройства (например, кодирующим устройством области LPC (линейное кодирование с предсказанием)) в контексте переключаемого кодирующего устройства, режимы памяти могут быть установлены согласно уравнениям, обозначенным ссылочными цифрами 960, 962 и 964 на фиг.9B.

Вычисление управляющей информации о временной деформации

В дальнейшем будет кратко описано, как управляющая информация о временной деформации может быть вычислена на основе контура временной деформации (включая, например, три части контура временной деформации) и на основе суммарных значений контура деформации.

Например, желательно реконструировать временной контур, используя контур временной деформации. С этой целью может использоваться алгоритм, который обозначен ссылочными цифрами 1010, 1012 на фиг.10А. Как можно заметить, временной контур отображает индекс i (0≤i≤3·n_long) на соответствующее значение контура времени. Пример такого отображения показан на фиг.12.

Основываясь на вычислении контура времени, обычно требуется вычислить позицию выборки (sample_pos []), которая описывает позиции образцов с временной деформацией на линейной временной шкале. Такое вычисление может быть выполнено посредством использования алгоритма, который обозначен ссылочной цифрой 1030 на фиг.10B. В алгоритме 1030 могут использоваться вспомогательные функции, которые обозначены ссылочными цифрами 1020 и 1022 на фиг.10А. Соответственно, может быть получена информация о времени выборки.

Кроме того, вычисляется несколько длин переходов временной деформации (деформированная длина левого перехода (warped_trans_lenjeft); деформированная длина правого перехода (warped_trans_len_right)), например, посредством использования алгоритма 1032, показанного на фиг.10B. По выбору, длины переходов временной деформации могут быть приспособлены в зависимости от типа окна или длины преобразования, например, посредством использования алгоритма, обозначенного ссылочной цифрой 1034 на фиг.10B. Кроме того, так называемая «первая позиция» и так называемая «последняя позиция» могут быть вычислены на основе информации о длинах переходов, например, посредством использования алгоритма, обозначенного ссылочной цифрой 1036 на фиг.10B. Чтобы суммировать, может быть выполнено регулирование позиции выборки и регулирование длин окна, которые могут быть выполнены прибором 530 или на стадии 640 способа 600. Из «контура деформации» (warp_contour) [] может быть вычислен вектор позиций выборки (sample_pos []) образцов с времени деформацией на линейной временной шкале. Для этого сначала производится контур времени посредством использования алгоритма, обозначенного ссылочными цифрами 1010, 1012. При помощи вспомогательных функций «warp_in_vec ()» и «warp_time_inv ()», которые обозначены ссылочными цифрами 1020 и 1022, вычисляется вектор позиции выборки («sample_pos []») и длины переходов («warped_trans_len_left» и «warped_trans_len_right»), например, посредством использования алгоритмов, обозначенных ссылочными цифрами 1030, 1032, 1034 и 1036. Соответственно, получается управляющая информация о временной деформации 512.

Реконструкция сигнала с временной деформацией

В дальнейшем, чтобы поместить вычисление контура временной деформации в надлежащий контекст, будет кратко описана реконструкция сигнала с временной деформацией, которая может быть выполнена на основе управляющей информации о временной деформации.

Реконструкция звукового сигнала включает выполнение измененного дискретного косинусного обратного преобразования, которое здесь подробно не описывается, потому что оно хорошо известно любому специалисту, квалифицированному в этой области. Выполнение измененного дискретного косинусного обратного преобразования позволяет реконструировать образцы с деформацией временного интервала на основе набора коэффициентов частотной области. Выполнение IMDCT может, например, быть осуществлено по фреймам (структурам), что означает, например, что фрейм (структура) образцов с деформацией временного интервала 2048 реконструируется на основе набора 1024 коэффициентов частотной области. Для правильной реконструкции необходимо, чтобы перекрывались не более двух последующих окон. Вследствие природы TW-MDCT может случиться, что часть с обратной деформацией времени одного фрейма (структуры) расширяется на несмежный фрейм (структуру), что нарушает вышеизложенную предпосылку. Поэтому длина затухания формы окна должна быть сокращена посредством вычисления соответствующих вышеупомянутых значений деформированной длины левого перехода (warped_trans_len_left) и деформированной длины правого перехода (warped_trans_len_right).

Управление окнами и коммутация блока 650b затем применяется к образцам временного интервала, полученным из IMDCT. Управление окнами и коммутация блока могут применяться к образцам с деформацией временного интервала, предоставленным IMDCT 650а, в зависимости от управляющей информации о временной деформации, чтобы получить реализуемые посредством организации окна образцы с деформированным временным интервалом. Например, в зависимости от информации о форме окна (window_shape) или элемента могут использоваться различные передискретизированные преобразованные прототипы окна, где длина передискретизированных окон может быть получена посредством уравнения, обозначенного ссылочной цифрой 1040 на фиг.10С .Например, для первого типа формы окна (например, window_shape==1) коэффициенты окна предоставляются «Kaiser-Bessel» производным окном (KBD) согласно описанию, обозначенному ссылочной цифрой 1042 на фиг.10C, где W', «Kaiser-Bessel кернфункция окна", определяется, как показано ссылочной цифрой 1044 на фиг.10C.

В противном случае, когда используется другая форма окна (например, если window_shape==0), может использоваться синусное окно согласно описанию, обозначенному ссылочной цифрой 1046. Для всех видов последовательностей окон (window_sequences) используемый прототип для левой части окна определяется формой окна предыдущего блока. Формула, обозначенная ссылочной цифрой 1048 на фиг.10C, отображает этот факт. Аналогично прототип для правильной формы окна определяется формулой, обозначенной ссылочной цифрой 1050 на фиг.10C.

В дальнейшем будет описано применение вышеописанных окон к образцам с деформацией временного интервала, предоставленным IMDCT. В некоторых осуществлениях информация для фрейма (структуры) может быть предоставлена множеством коротких последовательностей (например, восьми коротких последовательностей). В других осуществлениях информация для фрейма (структуры) может быть предоставлена при использовании блоков различных длин, где может потребоваться специальная обработка для стартовых последовательностей, последовательностей остановки и/или последовательностей нестандартных длин. Однако, так как переходная длина может быть определена как описано выше, этого может быть достаточно, чтобы дифференцироваться между фреймами (структурами), закодированными посредством использования восьми коротких последовательностей (обозначенных соответствующей информацией о типе фрейма (структуры) (eight_short_sequence)) и всеми другими фреймами (структурами).

Например, в фрейме (структуре), описанном восьмью короткими последовательностями, для управления окном может быть применен алгоритм, обозначенный ссылочной цифрой 1060 на фиг.10D. Наоборот, для фреймов (структур), закодированных посредством использования другой информации, может применяться алгоритм, обозначенный ссылочной цифрой 1064 на Фиг.10Е. Другими словами, С-код-образная часть, обозначенная ссылочной цифрой 1060 на фиг.10D, описывает управление окном, и внутреннее наложение/добавление так называемых «восьми коротких последовательностей». Наоборот, С-код-образная часть, обозначенная ссылочной цифрой 1064 на фиг.10D, описывает управление окном в других случаях.

Повторная выборка

В дальнейшем будет описана обратная временная деформация 650 с реализуемых посредством организации окна образцов с деформацией временного интервала в зависимости от управляющей информации о временной деформации, посредством чего регулярно дискретизированные образцы временного интервала, или просто образцы временного интервала получаются посредством использования зависящей от времени повторной выборки. При зависящей от времени повторной выборке блок z [], реализуемый посредством организации окна, подвергается повторной выборке согласно выбранным позициям, например, посредством использования импульсной характеристики, обозначенной ссылочной цифрой 1070 на фиг.10F. Перед повторной выборкой блок, реализуемый посредством организации окна, может быть дополнен нолями на обоих концах, как обозначено ссылочной цифрой 1072 на фиг.10F. Сама повторная выборка описывается псевдокодовым сегментом, обозначенным ссылочной цифрой 1074 на фиг.10F.

Обработка фрейма (структуры) пост-ресэмплера (синтезатора повторной выборки)

В дальнейшем будет описана дополнительная постобработка 650 с1 образцов временного интервала. В некоторых осуществлениях обработка фрейма (структуры) пост-повторной выборки может быть выполнена в зависимости от типа последовательности окон. В зависимости от параметра «последовательность окон» (window_sequence) могут применяться определенные дальнейшие шаги обработки.

Например, если последовательность окон является так называемой «EIGHT_SHORT_SEQUENCE», так называемой «LONG_START_SEQUEMCE», так называемой «STOP_START_SEQUENCE», так называемой «STOP_START_1152_SEQUENCE», за которой следует так называемая LPDJSEQUENCE, может выполняться постобработка, которая обозначена ссылочными цифрами 1080а, 1080b, 1082.

Например, если следующая последовательность окон является так называемый «LPD_SEQUENCE», окно W_corr (n) может быть вычислено, как обозначено ссылочной цифрой 1080а, принимая во внимание описание, обозначенное ссылочной цифрой 1080b. Также. Окно коррекции W_corr (n) может применяться, как обозначено ссылочной цифрой 1082 на фиг.10G.

Для всех других случаев ничего нельзя сделать, как можно видеть на ссылочных цифрах 1084 на фиг.10G.

Перекрывание и добавление с предыдущими последовательностями окон

Кроме того, может быть выполнено перекрывание-и-добавление 650е текущих образцов временной области с одним или несколькими предыдущими образцами временного интервала. Перекрывание и добавление могут быть теми же самыми для всех последовательностей и могут быть описаны математически, как означено ссылочной цифрой 1086 на фиг.10G.

Условные обозначения

Относительно данных объяснений также делается ссылка на условные обозначения, которые показаны на Фиг.11А и 11D. В частности, длина окна синтеза N для обратного преобразования обычно является функцией синтаксического элемента «последовательность окон» (window_sequence) и алгоритмического контекста. Это может, например, быть определено, как показано ссылочной цифрой 1190 на фиг.11B.

Осуществление согласно фиг.13

Фиг.13 показывает блок-схему средства 1300 для предоставления реконструированной управляющей информации о контуре временной деформации, которая принимает на себя функциональные возможности средства 520, описанного со ссылкой на фиг.5. Однако тракт данных и буферы показаны более подробно. Средство 1300 включает вычислитель узловых значений деформации 1344, который выполняет функцию вычислителя узловых значений деформации 544. Вычислитель узловых значений деформации 1344 получает индекс шифровальной книги «tw_ratio []» коэффициента деформации в качестве закодированной информации о коэффициенте деформации. Вычислитель узловых значений деформации включает представление таблицы значений деформации, например отображение индекса коэффициента временной деформации на значение коэффициента временной деформации, представленное на фиг.9С. Вычислитель узловых значений деформации 1344 может далее включать множитель для выполнения алгоритма, представленного ссылочной цифрой 910 на фиг.9А. Соответственно, вычислитель узловых значений деформации предоставляет узловые значения деформации «warp_node_values [i]». Далее, средство 1300 включает интерполятор контура деформации 1348, который принимает на себя функцию интерполятора 540а и который может изображаться, чтобы выполнять алгоритм, обозначенный ссылочной цифрой 920 на фиг.9А, таким образом получая значения нового контура деформации («new_warp_contour»). Средство 1300 далее включает буфер нового контура деформации 1350, который сохраняет значения нового контура деформации (то есть warp_contour [i], с 2·n_long≤i<3·n_long). Средство 1300 далее включает буфер прошлого контура деформации /корректор 1360, который сохраняет «последнюю часть контура временной деформации» и «текущую часть контура временной деформации» и обновляет содержимое памяти в ответ на изменение масштаба и в ответ на завершение обработки текущего фрейма (структуры). Таким образом, буфер прошлого контура деформации /корректор 1360 может взаимодействовать с устройством для изменения масштаба прошлого контура деформации 1370 таким образом, что буфер прошлого контура деформации /корректор и устройство для изменения масштаба прошлого контура деформации совместно выполняют функциональные возможности алгоритмов 930, 932, 934, 936, 950, 960. Дополнительно, буфер прошлого контура деформации /корректор 1360 может также принимать на себя функциональные возможности алгоритмов 932, 936, 952, 954, 962, 964.

Таким образом, средство 1300 предоставляет контур деформации (warp_contour) и дополнительно также предоставляет суммарные значения контура деформации.

Кодирующее устройство звукового сигнала согласно фиг.14

В дальнейшем будет описано кодирующее устройство звукового сигнала согласно аспекту изобретения. Кодирующее устройство звукового сигнала фиг.14 полностью обозначено цифрой 1400. Кодирующее устройство звукового сигнала 1400 формируется, чтобы получить звуковой сигнал 1410, и, дополнительно, предоставленную извне информацию о контуре деформации 1412, связанную со звуковым сигналом 1410. Далее, кодирующее устройство звукового сигнала 1400 формируется, чтобы предоставить закодированное представление 1440 звукового сигнала 1410.

Кодирующее устройство звукового сигнала 1400 включает кодирующее устройство контура временной деформации 1420, формируемое, чтобы получить информацию о контуре временной деформации 1422, связанную со звуковым сигналом 1410, и чтобы на их основе предоставить закодированную информацию о контуре временной деформации 1424.

Кодирующее устройство звукового сигнала 1400 далее включает процессор сигнала с деформацией времени (кодирующее устройство сигнала с временной деформацией) 1430, который формируется, чтобы получить звуковой сигнал 1410 и обеспечить на его основе закодированное представление временной деформации 1432 звукового сигнала 1410, принимая во внимание деформацию времени, описанную информацией о временной деформации 1422. Закодированное представление 1414 звукового сигнала 1410 включает закодированную информацию о контуре временной деформации 1424 и закодированное представление 1432 спектра звукового сигнала 1410.

Дополнительно, кодирующее устройство звукового сигнала 1400 включает вычислитель информации о контуре деформации 1440, который формируется, чтобы предоставить информацию о контуре временной деформации 1422 на основе звукового сигнала 1410. Альтернативно, однако, информация о контуре временной деформации 1422 может быть предоставлена на основе предоставленной извне информации о контуре деформации 1412.

Кодирующее устройство контура временной деформации 1420 может формироваться, чтобы вычислить соотношение между последующими узловыми значениями контура временной деформации, описанными информацией о контуре временной деформации 1422. Например, узловые значения могут быть выборочными значениями контура временной деформации, представленными информацией о контуре временной деформации. Например, если информация о контуре временной деформации включает множество значений для каждого фрейма (структуры) звукового сигнала 1410, узловые значения временной деформации могут быть истинным подмножеством этой информации о контуре временной деформации. Например, узловые значения временной деформации могут быть периодическим истинным подмножеством значений контура временной деформации. Узловое значение контура временной деформации может присутствовать в N звуковых образцов, где N может быть больше или равно 2.

Вычислитель соотношения узловых значений контура времени может формироваться, чтобы вычислить соотношение между последующими узловыми значениями временной деформации контура временной деформации, таким образом предоставляя информацию, описывающую соотношение между последующими узловыми значениями контура временной деформации. Кодирующее устройство соотношений кодирующего устройства контура временной деформации может формироваться, чтобы закодировать соотношение между последующими узловыми значениями контура временной деформации. Например, кодирующее устройство соотношений может отображать различные соотношения на различных кодовых индексах шифровальной книги. Например, отображение может быть выбрано таким образом, что соотношения, предоставленные вычислителем соотношений значений контура временной деформации, находятся в пределах диапазона между 0.9 и 1.1, или даже между 0.95 и 1.05. Соответственно, кодирующее устройство соотношений может формироваться, чтобы отобразить этот диапазон на различных индексах шифровальной книги. Например, соответствия, показанные в таблице фиг.9C, могут действовать как опорные точки в этом отображении таким образом, что, например, соотношение, равное 1, отображается на индексе шифровальной книги, равном 3, в то время как соотношение 1.0057 отображается на индексе шифровальной книги, равном 4, и так далее (сравните фиг.9C). Значения соотношений между показанными в таблице фиг.9C могут отображаться на соответствующих индексах шифровальной книги, например, на индексе шифровальной книги самого близкого значения соотношения, для которого индекс шифровальной книги приведен в таблице фиг.9C.

Естественно, могут использоваться различные способы кодирования таким образом, что может быть выбрано, например, число доступных индексов шифровальной книги, большее или меньшее, чем показано здесь. Кроме того, связь между узловыми значениями контура деформации и значениями индексов шифровальной книги может быть выбрана соответственно. Кроме того, индексы шифровальной книги могут быть закодированы, например, посредством использования двоичного кодирования, дополнительно, посредством использования энтропийного кодирования.

Соответственно, получаются закодированные соотношения 1424.

Процессор сигнала временной деформации 1430 включает конвертер временного интервала с временной деформацией в частотную область 1434, который формируется, чтобы получить звуковой сигнал 1410 и информацию о контуре временной деформации 1422а, связанный со звуковым сигналом (или его закодированной версией), и обеспечить на ее основе представление спектральной области (частотной области) 1436.

Информация о контуре временной деформации 1422а может предпочтительно быть получена из закодированной информации 1424, предоставленной кодирующим устройством контура временной деформации 1420, посредством использования декодера деформации 1425. Таким образом, можно достигнуть того, что кодирующее устройство (в частности, его процессор сигнала с временной деформацией 1430) и декодер (получающий закодированное представление 1414 звукового сигнала) будут работать на тех же самых контурах деформации, а именно на декодированном контуре (временной) деформации. Однако в упрощенном осуществлении информация о контуре временной деформации 1422а, используемая процессором сигнала временной деформации 1430, может быть идентична информации о контуре временной деформации 1422, входящей в кодирующее устройство контура временной деформации 1420.

Конвертер временного интервала с временной деформацией в частотную область 1434 может, например, принимать во внимание временную деформацию при формировании представления спектральной области 1436, например, посредством использования операции, зависящей от времени повторной выборки звукового сигнала 1410. Альтернативно, однако, зависящая от времени повторная выборка и преобразование временного интервала в частотную область могут быть объединены в единственной стадии обработки. Процессор сигнала с временной деформацией также включает кодирующее устройство спектрального значения 1438, которое формируется, чтобы закодировать представление спектральной области 1346. Кодирующее устройство спектрального значения 1438 может, например, формироваться, чтобы принимать во внимание перцепционную маскировку. Кроме того, кодирующее устройство спектрального значения 1438 может формироваться, чтобы адаптировать точность кодирования к перцепционной релевантности диапазонов частот и чтобы применить энтропийное кодирование. Соответственно, получается закодированное представление 1432 звукового сигнала 1410.

Вычислитель контура временной деформации согласно фиг.15

Фиг.15 показывает блок-схему вычислителя контура временной деформации согласно другому осуществлению изобретения. Вычислитель контура временной деформации 1500 формируется, чтобы получить закодированную информацию о коэффициенте деформации 1510, чтобы предоставить на ее основе множество узловых значений деформации 1512. Вычислитель контура временной деформации 1500 включает, например, декодер коэффициентов деформации 1520, который формируется, чтобы получить последовательность значений коэффициентов деформации 1522 из закодированной информации о коэффициентах деформации 1510. Вычислитель контура временной деформации 1500 также включает вычислитель контура деформации 1530, который формируется, чтобы получить последовательность узловых значений деформации 1512 из последовательности 1522 значений коэффициентов деформации. Например, вычислитель контура деформации может формироваться, чтобы получить узловые значения контура деформации, начинающиеся со стартового значения контура деформации, где соотношения между стартовым значением контура деформации связаны со стартовым узлом контура деформации и узловые значения контура деформации определяются значениями коэффициентов деформации 1522. Вычислитель узловых значений деформации также формируется, чтобы вычислить узловое значение контура деформации 1512 данного узла контура деформации, который отстоит от стартового узла контура деформации на промежуточный узел контура деформации, на основе формирования продукта, включающего соотношение между стартовым значение контура деформации (например, 1) и узловым значением контура деформации промежуточного узла контура деформации и соотношение между узловым значением контура деформации промежуточного узла контура деформации и узловым значением контура деформации данного узла контура деформации в качестве коэффициентов.

В дальнейшем работа вычислителя контура временной деформации 1500 будет кратко описана со ссылкой на Фиг.16А и 16B.

Фиг.16А показывает графическое представление последовательного вычисления контура временной деформации. Первое графическое представление 1610 показывает последовательность соотношения индексов временной деформации шифровальной книги 1510 (индекс = 0, индекс = 1, индекс = 2, индекс = 3, индекс = 7). Далее, графическое представление 1610 показывает последовательность значений коэффициентов деформации (0.983, 0.988, 0.994, 1.000, 1.023), связанную с индексами шифровальной книги. Далее, можно заметить, что первое узловое значение деформации 1621 (i=0) выбирается равным 1 (где 1 - стартовое значение). Как можно заметить, второе узловое значение деформации 1622 (i=1) получается посредством умножения стартового значения, равного 1, на первое значение соотношения, равное 0.983 (связанного с первым индексом, равным 0). Далее можно заметить, что третье узловое значение деформации 1623 получается посредством умножения второго узлового значения деформации 1622, равного 0.983, на второе значение соотношения деформации, равное 0.988 (связанное со вторым индексом, равным 1). Таким же образом, четвертое узловое значение деформации 1624 получается посредством умножения третьего узлового значения деформации 1623 на третье значение соотношения деформации, равное 0.994 (связанное с третьим индексом, равным 2).

Соответственно, получается последовательность узловых значений деформации 1621, 1622, 1623, 1624, 1625, 1626.

Соответствующее узловое значение деформации эффективно получается таким образом, что оно является продуктом стартового значения (например, 1) и всех промежуточных значений коэффициентов деформации, лежащих между стартовыми узлами деформации 1621 и соответствующим узловым значением деформации 1622-1626.

Графическое представление 1640 иллюстрирует линейную интерполяцию между узловыми значениями деформации. Например, интерполированные значения 1621а, 1621b, 1621с могут быть получены в декодере звукового сигнала между двумя смежными узловыми значениями временной деформации, 1621 1622, например, используя линейную интерполяцию.

Фиг.16B показывает графическое представление реконструкции контура временной деформации посредством использования периодического перезапуска от предварительно определенного стартового значения, которая может, по выбору, быть осуществлена в вычислителе контура временной деформации 1500. Другими словами, повторный или периодический перезапуск не является существенным признаком, в том случае, если можно избежать числового переполнения посредством любого другого подходящего средства на стороне кодирующего устройства или на стороне декодера. Как можно заметить, часть контура деформации может начинаться со стартового узла 1660, где могут быть определены узлы контура деформации 1661, 1662, 1663, 1664. С этой целью значения коэффициентов деформации (0.983, 0.988, 0.965, 1.000) могут рассматриваться таким образом, что смежные узлы контура деформации 1661-1664 первой части контура временной деформации отделяются коэффициентами, определенными этими значениями коэффициентов деформации. Однако может быть достигнута дальнейшая, вторая, часть контура временной деформации, которая может начинаться после конечного узла 1664 первой части контура временной деформации (включая узлы 1660-1664). Вторая часть контура временной деформации может начинаться с нового стартового узла 1665, который может принимать предварительно определенное стартовое значение, независимое от любых значений коэффициентов деформации. Соответственно, узловые значения деформации второй части контура временной деформации могут вычисляться, начиная со стартового узла 1665 второй части контура временной деформации на основе значений коэффициентов деформации второй части контура временной деформации. Далее, третья часть контура временной деформации может начинаться с соответствующего стартового узла 1670, который также может принимать предварительно определенное стартовое значение независимо от любых значений коэффициентов деформации. Соответственно, получается периодический перезапуск частей контура временной деформации. Дополнительно, повторная перенормировка может быть применена, как было подробно описано выше.

Кодирующее устройство звукового сигнала согласно фиг.17

В дальнейшем кодирующее устройство звукового сигнала согласно другому осуществлению изобретения будет кратко описано со ссылкой на фиг.17. Кодирующее устройство звукового сигнала 1700 формируется, чтобы получить многоканальный звуковой сигнал 1710 и обеспечить закодированное представление 1712 многоканального звукового сигнала 1710. Кодирующее устройство звукового сигнала 1700 включает поставщик закодированного звукового представления 1720, который формируется, чтобы селективно обеспечивать звуковое представление, включающее общую информацию о контуре деформации, обычно связанную со множеством звуковых каналов многоканального звукового сигнала, или закодированного звукового представления, включающего индивидуальную информацию о контуре деформации, индивидуально связанную с различными звуковыми каналами множества звуковых каналов, зависящих от информации, описывающей подобие или различие между контурами деформации, связанными со звуковыми каналами множества звуковых каналов.

Например, кодирующее устройство звукового сигнала 1700 включает вычислитель подобия контура деформации или вычислитель различия контура деформации 1730, формируемый, чтобы предоставить информацию 1732, описывающую подобие или различие между контурами деформации, связанными со звуковыми каналами. Поставщик закодированного звукового представления включает, например, селективное кодирующее устройство контура временной деформации 1722, формируемое, чтобы получить информацию о контуре временной деформации 1724 (которая может предоставляться извне или которая может быть предоставлена дополнительным вычислителем информации о контуре временной деформации 1734) и информацию 1732. Если информация 1732 указывает, что контуры временной деформации двух или более звуковых каналов достаточно сходны, селективное кодирующее устройство контура временной деформации 1722 может формироваться, чтобы предоставлять объединенную закодированную информацию о контуре временной деформации. Объединенная информация о контуре деформации может, например, основываться на среднем количестве информации о контуре деформации двух или более каналов. Однако альтернативно, объединенная информация о контуре деформации может основываться на единственной информации о контуре деформации единственного звукового канала, но одновременно связанного со множеством каналов.

Однако, если информация, 1732 указывает на то, что контуры деформации множественных звуковых каналов недостаточно сходны, селективное кодирующее устройство контура временной деформации 1722 может предоставить отдельную закодированную информацию различных контуров временной деформации.

Поставщик закодированного звукового представления 1720 также включает процессор сигнала временной деформации 1726, который также формируется, чтобы получить информацию о контуре 1724 и многоканальный звуковой сигнал 1710. Процессор сигнала временной деформации 1726 формируется, чтобы закодировать множественные каналы звукового сигнала 1710. Процессор сигнала временной деформации 1726 может включать различные режимы работы. Например, процессор сигнала временной деформации 1726 может формироваться, чтобы селективно закодировать звуковые каналы индивидуально или закодировать их совместно, используя межканальное сходство. В некоторых случаях предпочтительно, чтобы процессор сигнала временной деформации 1726 был способен производить общее кодирование множественных звуковых каналов, имеющих общую информацию о контуре временной деформации. Существуют случаи, когда левый звуковой канал и правый звуковой канал проявляют ту же самую эволюцию основного тона, но имеют другие отличные характеристики сигнала, например различные абсолютные основные частоты или различные огибающие спектра. В этом случае нежелательно кодировать левый звуковой канал и правый звуковой канал одновременно из-за существенного различия между левым звуковым каналом и правым звуковым каналом. Тем не менее, относительная эволюция основного тона в левом звуковом канале и правом звуковом канале может проходить параллельно, таким образом, что применение общей временной деформации является очень эффективным решением. Примером такого звукового сигнала является полифоническая музыка, где содержание множественных звуковых каналов проявляет существенное различие (например, преобладание различных певцов или музыкальных инструментов), но проявляет сходное изменение основного тона. Таким образом, эффективность кодирования может быть значительно улучшена посредством обеспечения возможности выполнять совместное кодирование контуров временной деформации для множественных звуковых каналов при сохранении опции отдельного кодирования частотных спектров различных звуковых каналов, для которых предоставлена общая информация о контуре основного тона.

Поставщик закодированного звукового представления 1720, по выбору, включает кодирующее устройство дополнительной информации 1728, которое формируется, чтобы получать информацию 1732 и предоставлять дополнительную информацию, указывающую на то, предоставлен ли общий закодированный контур деформации для множественных звуковых каналов или предоставлены ли индивидуальные закодированные контуры деформации для множественных звуковых каналов. Например, такая дополнительная информация может быть предоставлена в форме 1-битового флажка, называемого «common_tw».

Чтобы подвести итог, селективное кодирующее устройство контура временной деформации 1722 селективно обеспечивает индивидуальные закодированные представления звуковых контуров временной деформации, связанных с множественными звуковыми сигналами, или совместно закодированное представление контура временной деформации, представляющее единый объединенный контур временной деформации, связанный с множественными звуковыми каналами. Кодирующее устройство дополнительной информации 1728, по выбору, предоставляет дополнительную информацию, указывающую на то, предоставлены ли индивидуальные представления контура временной деформации или объединенное представление контура временной деформации. Процессор сигнала временной деформации 1726 обеспечивает закодированные представления множественных звуковых каналов. По выбору, общая закодированная информация может быть предоставлена для множественных звуковых каналов. Однако обычно даже можно обеспечить индивидуальные закодированные представления множественных звуковых каналов, для которых имеется общее представление контура временной деформации, так, что различные звуковые каналы, имеющие различное звуковое содержание, но идентичную деформацию времени, представлены соответствующим образом. Следовательно, закодированное представление 1712 включает закодированную информацию, предоставленную селективным кодирующим устройством контура временной деформации 1722 и процессор сигнала временной деформации 1726 и, по выбору, кодирующее устройство дополнительной информации 1728.

Декодер звукового сигнала согласно фиг.18

Фиг.18 показывает блок-схему декодера звукового сигнала согласно осуществлению изобретения. Декодер звукового сигнала 1800 формируется, чтобы получить закодированное звуковое представление сигнала 1810 (например, закодированное представление 1712) и обеспечить на его основе декодированное представление 1812 многоканального звукового сигнала. Декодер звукового сигнала 1800 включает экстрактор дополнительной информации 1820 и декодер временной деформации 1830. Экстрактор дополнительной информации 1820 формируется, чтобы извлечь прикладную информацию о контуре временной деформации 1822 и информацию о контуре деформации 1824 из закодированного представления звукового сигнала 1810. Например, экстрактор дополнительной информации 1820 может формироваться, чтобы определить, доступна ли единая, общая информация о контуре временной деформации для множественных каналов закодированного звукового сигнала, или доступна ли отдельная информация о контуре временной деформации для множественных каналов. Соответственно, экстрактор дополнительной информации может предоставить как прикладную, информацию о контуре временной деформации 1822 (указывающую, доступна ли объединенная или индивидуальная информация о контуре временной деформации), и информацию о контуре временной деформации 1824 (описывающую временную эволюцию общего (объединенного) контура временной деформации или индивидуальных контуров временной деформации). Декодер временной деформации 1830 может формироваться, чтобы реконструировать декодированное представление многоканального звукового сигнала на основе закодированного представления звукового сигнала 1810, учитывая деформацию времени, описанную информацией 1822, 1824. Например, декодер временной деформации 1830 может формироваться, чтобы применить общий контур временной деформации для декодирования различных звуковых каналов, для которых доступна индивидуальная закодированная информация частотной области. Соответственно, декодер временной деформации 1830 может, например, реконструировать различные каналы многоканального звукового сигнала, которые включают подобную или идентичную деформацию времени, но отличный основной тон.

Звуковой поток согласно Фиг.19А-19E

В дальнейшем, будет описан звуковой поток, который включает закодированное представление одного или нескольких звуковых каналов сигнала и один или несколько контуров временной деформации.

Фиг.19А показывает графическое представление так называемого элемента потока данных «USAC_raw_data_block», который может включать одноканальный элемент (SCE), двухканальный элемент (СРЕ) или комбинация одного или нескольких одноканальных элементов и/или одного или нескольких двухканальных элементов.

«USAС_rаw_dаtа_bloсk» обычно может включать блок закодированных звуковых данных, в то время как дополнительная информация о контуре временной деформации может быть предоставлена в отдельном элементе потока данных. Тем не менее, обычно бывает возможно закодировать некоторые данные контура временной деформации в элементе «USAC_raw_data_block».

Как видно по фиг.19B, одноканальный элемент обычно включает поток канала частотной области («fd_channel_stream»), который будет подробно рассмотрен со ссылкой на фиг.9D.

Как видно по фиг.19C, двухканальный элемент («channel_pair_element») обычно включает множество потоков канала частотной области. Кроме того, двухканальный элемент может включать информацию о временной деформации. Например, флажок активации временной деформации («tw_MDCT»), который может быть передан в элемент конфигурации потока данных или в «USAC_saw_data_block», определяет, включена ли информация о временной деформации в двухканальный элемент. Например, если «tw_MDCT» флажок указывает, что деформация времени является активной, двухканальный элемент может включать флажок («common_tw»), который указывает, имеется ли общая деформация времени для звуковых каналов двухканального элемента. Если указанный флажок (common_tw) указывает на то, что имеется общая деформация времени для множественных звуковых каналов, то общая информация о временной деформации (tw_data) включается в двухканальный элемент, например, отдельный от потоков канала частотной области.

Теперь со ссылкой на фиг.19D описывается поток канала частотной области. Как можно видеть по фиг.19D, поток канала частотной области, например, включает информацию о глобальном усилении. Кроме того, поток канала частотной области включает данные временной деформации, если временная деформация активна (флажок «tw_MDCT» активный) и если нет никакой общей информации о временной деформации для многоканального звукового сигнала (флажок «common_tw» неактивный).

Далее, поток канала частотной области также включает данные масштабированного коэффициента («scale_factor_data») и закодированные спектральные данные (например, арифметически закодированные спектральные данные «ac_spectral_data»),

Теперь со ссылкой на фиг.19E будет кратко обсужден синтаксис данных временной деформации. Данные временной деформации могут, например, по выбору, включать флажок (например, «tw_data_present» или «active Pitch Data»), указывающий на то, присутствуют ли данные временной деформации. Если данные временной деформации присутствуют (то есть контур временной деформации не плоский), данные временной деформации могут включать последовательность множества закодированных значений коэффициентов временной деформации (например, «tw_ratio [i]» или «pitchIdx [i]»), которая может, например, быть закодирована согласно таблице шифровальной книги фиг.9C.

Таким образом, данные временной деформации могут включить флажок, указывающий на то, что нет доступных данных временной деформации, который может быть установлен кодирующим устройством звукового сигнала, если контур временной деформации является постоянным (коэффициенты временной деформации приблизительно равны 1.000). Напротив, если контур временной деформации изменяется, соотношения между последующими узлами контура временной деформации могут быть закодированы, используя индексы шифровальной книги, составляющие «tw_ratio» информацию.

Заключение

Суммируя вышесказанное, осуществления согласно изобретению способствуют различным усовершенствованиям в области временной деформации.

Аспекты изобретения, описанные здесь, находятся в контексте MDCT кодирующего устройства с преобразованием временной деформации (см., например, ссылку [1]). Осуществления согласно изобретению обеспечивают способы улучшения работы MDCT кодирующего устройства с преобразованием временной деформации.

Согласно аспекту изобретения предоставляется особо эффективный формат битового потока. Описание формата битового потока основывается на и улучшает MPEG-2 ААС синтаксис битового потока (см., например, ссылку [2]), но, конечно, применяется ко всем форматам битового потока с общим заголовком описания в начале потока и индивидуальным синтаксисом по-фреймовой информации.

Например, следующая дополнительная информация может быть передана в битовый поток.

В общем, однобитовый флажок (например, называемый «tw_MDCT») может присутствовать в общей звуковой специфической конфигурации (GASC), указывающей, активна или нет временная деформация. Данные основного тона могут быть переданы посредством использования синтаксиса, показанного на фиг.19E, или синтаксиса, показанного на фиг.19F. В синтаксисе, показанном на фиг.19F, число основных тонов («numPitches») может быть равным 16, а число битов основного тона в («numPitchBits») может быть равным 3. Другими словами, может быть 16 закодированных значений коэффициентов деформации в части контура временной деформации (или в фрейме (структуре) звукового сигнала), и каждое значение соотношения контура временной деформации может быть закодировано посредством использования 3 битов.

Кроме того, в одноканальном элементе (SCE) данные основного тона (pitch_data []) могут быть расположены перед данными сегмента в индивидуальном канале, если деформация активна.

В двухканальном элементе (СРЕ) общий флажок основного тона сигнализирует, имеются ли общие данные основного тона для обоих каналов, которые следуют за ним, если нет, индивидуальные контуры основного тона обнаруживаются в индивидуальных каналах.

В дальнейшем будет дан пример для двухканального элемента. Одним примером может быть сигнал единственного источника гармонического звука, размещенного в пределах стереопанорамы. В этом случае контуры относительного основного тона для первого канала и второго канала будут равными или будут отличаться только немного вследствие некоторых маленьких ошибок в оценке изменения. В этом случае, кодирующее устройство может решить, что вместо того, чтобы послать два отдельных закодированных контура основного тона для каждого канала, послать только один контур основного тона, который является средним числом контуров основного тона первого и второго канала, и использовать тот же самый контур при применении TW-MDCT на обоих каналах. С другой стороны, может существовать сигнал, где оценка контура основного тона приводит к различным результатам для первого и второго канала соответственно. В этом случае индивидуально закодированные контуры основного тона посылаются в пределах соответствующего канала.

В дальнейшем будет описано благоприятное декодирование данных контура основного тона согласно аспекту изобретения. Например, если флажок «active PitchData» является 0, контур основного тона устанавливается на 1 для всех образцов во фрейме (структуре), в противном случае индивидуальные узлы контура основного тона вычисляются следующим образом:

- имеются узлы numPitches + 1,

- узел [0] всегда 1.0;

- узел [i] = node [i-1] ·relChange [i] (i=1.. numPitches + 1), где relChange получается посредством обратной квантизации pitchIdx [i].

Контур основного тона тогда генерируется посредством линейной интерполяции между узлами, где позиции узлов выборки -0:frameLen/numPitches:frameLen.

Альтернативы реализации

В зависимости от определенных требований осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть осуществлена посредством использования цифрового носителя данных, например дискета, DVD (цифровой видеодиск), CD (компакт-диск), ROM (постоянное запоминающее устройство, ПЗУ), PROM (программируемое постоянное запоминающее устройство, ППЗУ), EPROM (стираемое программируемое постоянное запоминающее устройство, СППЗУ) EEPROM (электрически стираемое программируемое постоянное запоминающее устройство, ЭСППЗУ) или флеш-память с электронно-считываемыми управляющими сигналами, которые могут взаимодействовать (или способны взаимодействовать) с программируемой компьютерной системой так, чтобы обеспечить реализацию способа.

Некоторые осуществления согласно изобретению включают носитель информации, имеющий электронно-считываемые управляющие сигналы, которые могут взаимодействовать с программируемой компьютерной системой таким образом, чтобы реализовывался один из способов, описанных здесь.

В общем, осуществления данного изобретения могут реализовываться как компьютерный программный продукт с управляющей программой; управляющая программа предназначена для реализации одного из способов, когда компьютерный программный продукт запущен на компьютере. Управляющая программа может, например, сохраняться на машиночитаемом носителе.

Другие осуществления включают компьютерную программу для реализации одного из способов, описанных здесь, которая сохранена на машиночитаемом носителе.

Другими словами, осуществлением изобретательного способа поэтому является компьютерная программа, имеющая управляющую программу для реализации одного из способов, описанных здесь, когда компьютерная программа запущена на компьютере.

Дальнейшим осуществлением изобретательных способов поэтому является носитель информации (или цифровой носитель данных, или машиночитаемая среда), включающий записанную им компьютерную программу для реализации одного из способов, описанных здесь.

Дальнейшим осуществлением изобретательного способа поэтому является поток данных или последовательность сигналов, представляющих собой компьютерную программу для реализации одного из способов, описанных здесь. Поток данных или последовательность сигналов могут, например, формироваться, чтобы быть переданными через средство передачи данных, например через Интернет.

Дальнейшее осуществление включает средство обработки, например компьютер или программируемое логическое устройство, формируемое или приспособленное для реализации одного из способов, описанных здесь. А1

Дальнейшее осуществление включает компьютер с установленной на нем компьютерной программой для реализации одного из способов, описанных здесь.

В некоторых осуществлениях программируемое логическое устройство (например, промысловая программируемая вентильная матрица) может использоваться для реализации некоторых или всех функциональных возможностей способов, описанных здесь. В некоторых осуществлениях промысловая программируемая вентильная матрица может взаимодействовать с микропроцессором, чтобы реализовывать один из способов, описанных здесь.

Ссылки

1. Л.Виллемоус, «Кодирование звуковых сигналов с преобразованием временной деформации», РСТ/ЕР2006/010246, Внут. патентная заявка, ноябрь, 2005 г.

2. Общее кодирование кинофильмов и связанного звука: Перспективное звуковое кодирование. Международный Стандарт 13818-7, ISO/IECJTC1/SC29/WG11 Экспертная группа по кинематографии, 1997

Декодер звукового сигнала, формируемый, чтобы обеспечить декодированное представление звукового сигнала на основе закодированного представления звукового сигнала, включающего информацию об эволюции контура временной деформации, включает вычислитель контура временной деформации, устройство для изменения масштаба данных контура временной деформации и декодер деформации. Вычислитель контура временной деформации формируется, чтобы генерировать данные контура временной деформации посредством многократного перезапуска от предварительно определенного стартового значения контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию контура временной деформации. Устройство для изменения масштаба данных контура временной деформации формируется, чтобы изменить масштаб, по крайней мере, части данных контура временной деформации таким образом, чтобы избежать, уменьшить или устранить неоднородности при перезапуске в масштабированной версии контура временной деформации. Декодер деформации формируется, чтобы предоставить декодированное представление звукового сигнала на основе закодированного представления звукового сигнала и посредством использования масштабированной версии контура временной деформации. Технический результат - поддержание невысокой скорости передачи битов при надежной реконструкции необходимой информации о временной деформации на стороне декодера. 4 н. и 10 з.п. ф-лы, 40 ил.

1. Декодер звукового сигнала (200; 300) формируется, чтобы обеспечить декодированное представление звукового сигнала (232; 312) на основе закодированного представления звукового сигнала (211 212; 310), включающего информацию об эволюции контура временной деформации (212; 316); декодер звукового сигнала включает;
вычислитель временной деформации (210 219 220; 320), формируемый для генерирования данных контура временной деформации (last_warp_contour (последний контур деформации), cur_warp_contour (текущий контур деформации), new_warp_contonr (новый контур деформации), 716, 718, 722), многократно перезапускающиеся от предварительно определенного стартового значения контура временной деформации (1) на основе информации об эволюции контура временной деформации (212; 316; tw_ratio [k]), описывающей временную эволюцию контура временной деформации;
устройство для изменения масштаба контура временной деформации (330), формируемое, чтобы изменить масштаб, по крайней мере, части (past warp contour (прошлый контур деформации), 716, 718) данных контура временной деформации и
декодер деформации (340), формируемый, чтобы обеспечить декодированное представление звукового сигнала (232; 312) на основе закодированного представления звуковою сигнала (211 212; 310) и посредством использования масштабированной версии (332, 716', 718', 722) контура временной деформации,
где декодер деформации сконфигурирован с возможностью варьируемой во времени передискретизации реконструируемого представления во временной области аудиосигнала с временной деформацией в зависимости от контура временной деформации с получением равномерно дискретизированных отсчетов во временной области.

2. Декодер звукового сигнала (200; 300) по п.1, где вычислитель контура временной деформации (320) формируется, чтобы вычислить, начиная с предварительно определенного стартового значения (1), и используя первую относительную информацию об изменении (316, tw_ratio [k]), временную эволюцию первой части (718) контура временной деформации, и вычислить, начиная с предварительно определенного стартового значения (1), и используя вторую относительную информацию об изменении (316, tw_ratio [k]), временную эволюцию второй части (722) контура временной деформации, где первая часть (718) контура временной деформации и вторая часть (722) контура временной деформации являются последующими частями контура временной деформации,
и где устройство для изменения масштаба контура временной деформации (330) формируется, чтобы изменить масштаб одной из частей (718) контура временной деформации, чтобы получить устойчивый переход (718b', 722a) между первой частью (718') контура временной деформации и второй частью (722) контура временной деформации.

3. Декодер звукового сигнала (200; 300) по п.2, где устройство для изменения масштаба контура временной деформации (330) формируется, чтобы изменить масштаб первой части (718) контура временной деформации таким образом, что последнее значение (718b') масштабированной версии (718') первой части контура временной деформации (718) принимает предварительно определенное стартовое значение (1) или отклоняется от предварительно определенного стартового значения не более, чем на предварительно определенное значение допуска.

4. Декодер звукового сигнала (200; 300) по п.1, где устройство для изменения масштаба контура временной деформации (330) формируется, чтобы умножить значения данных контура временной деформации (past_warp_contour [i] (прошлый контур деформации)) на коэффициент нормализации (norm_fac), чтобы изменить масштаб части (718) контура временной деформации, или разделить значения данных контура временной деформации на коэффициент нормализации, чтобы изменить масштаб части (718) контура временной деформации.

5. Декодер звукового сигнала (200; 300) по одному из пп.1-4, где вычислитель контура временной деформации (320) формируется, чтобы получить суммарное значение контура деформации (last_warp_sum, cur_warp_sum) данной части (last_warp_contour, cur_warp_contour, 716, 718) контура временной деформации, и изменить масштаб данной части (last_warp_contour) контура временной деформации и суммарное значение контура деформации (last_warp_sum, cur_warp_sum) данной части контура временной деформации посредством использования общего значения изменения масштаба (norm_fac).

6. Декодер звукового сигнала (200; 300) по одному из пп.1-5, где декодер звукового сигнала далее включает вычислитель контура времени (570), формируемый, чтобы вычислить первый контур времени, используя значения данных контура временной деформации первой части (716') контура временной деформации, второй части (718') контура временной деформации и третьей части (722) контура временной деформации, и
чтобы вычислить второй контур времени, используя значения данных контура временной деформации второй части (718") контура временной деформации, третьей части (722') контура временной деформации и четвертой части (752) контура временной деформации;
где вычислитель контура временной деформации формируется, чтобы генерировать данные контура временной деформации первой части (716) контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации (1) на основе информации об эволюции контура временной деформации, описывающей временную эволюцию первой части (716) контура временной деформации;
где устройство для изменения масштаба данных контура временной деформации формируются, чтобы изменить масштаб первой части контура временной деформации таким образом, что последнее значение первой части (716) контура временной деформации включает предварительно определенное стартовое значение контура временной деформации;
где вычислитель контура временной деформации формируется, чтобы генерировать данные контура деформации второй части (718) контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации (1) на основе информации об эволюции контура временной деформации, описывающей временную эволюцию второй части (718) контура временной деформации;
где устройство для изменения масштаба данных контура временной деформации формируются, чтобы одновременно изменить масштаб первой части (716) контура временной деформации и второй части (718) контура временной деформации, используя общий коэффициент масштабирования, таким образом, что последнее значение (7180) второй части (718') контура временной деформации включает предварительно определенное стартовое значение контура временной деформации (1), чтобы получить одновременно масштабированные значения данных контура временной деформации (716', 718');
где вычислитель контура временной деформации формируется, чтобы генерировать оригинальные значения данных контура временной деформации третьей части (722) контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации (1), на основе информации об эволюции контура временной деформации третьей части (722) контура временной деформации;
где вычислитель контура времени (570) формируется, чтобы вычислить первый контур времени, используя одновременно масштабированные значения данных контура временной деформации первой и второй частей контура временной деформации (716', 718') и значения данных контура временной деформации третьей части контура временной деформации (722);
где устройство для изменения масштаба данных контура временной деформации (330) формируются, чтобы одновременно изменить масштаб значения данных контура временной деформации второй, масштабированной части (718") контура временной деформации и третьей части (722) контура временной деформации, используя другой общий коэффициент масштабирования таким образом, что последнее значение третьей части (722) контура временной деформации включает предварительно определенное стартовое значение контура временной деформации (1), чтобы получить дважды масштабированную версию (718") второй части (718) контура временной деформации и однажды масштабированную версию (722') третьей части (722) контура временной деформации;
где вычислитель контура временной деформации формируется, чтобы генерировать оригинальные значения данных контура временной деформации четвертой части (752) контура временной деформации, начиная с предварительно определенного стартового значения контура временной деформации (1), на основе информации об эволюции контура временной деформации четвертой части (752) контура временной деформации; и
где вычислитель контура времени (570) формируется, чтобы вычислить второй контур времени, используя дважды масштабированную версию (718") второй части (718) контура временной деформации, однажды масштабированную версию (722') третьей части контура временной деформации и оригинальную версию (752) четвертой части контура временной деформации.

7. Декодер звукового сигнала (200; 300) по одному из пп.1-6, где декодер звукового сигнала включает вычислитель управляющей информации о временной деформации (530), формируемый, чтобы вычислить управляющую информацию о временной деформации (512), используя множество частей контура временной деформации,
где вычислитель управляющей информации о временной деформации (530) формируется, чтобы вычислить управляющую информацию о временной деформации для реконструкции первого фрейма (структуры) звукового сигнала на основе данных контура временной деформации первого множества (716, 718, 722) частей контура временной деформации, и чтобы вычислить управляющую информацию о временной деформации для реконструкции второго фрейма (структуры) звукового сигнала, который перекрывает или не перекрывает первый фрейм (структуру) звукового сигнала, на основе данных контура временной деформации второго множества (718, 722, 752) частей контура временной деформации,
где первое множество (716', 718', 722) частей контура временной деформации смещается по времени, по сравнению со вторым множеством (718" 722', 752) частей контура временной деформации, и
где первое множество частей контура временной деформации включает, по крайней мере, одну общую часть контура временной деформации (718 722) со вторым множеством частей контура временной деформации.

8. Декодер звукового сигнала (200; 300) по п.7, где вычислитель контура временной деформации (320) формируется, чтобы генерировать контур временной деформации таким образом, что контур временной деформации перезапускается от предварительно определенного стартового значения контура временной деформации (1) в позиции (724) в пределах первого множества (716 718 722) частей контура временной деформации, или в позиции (754)) в пределах второго множества (718 722 752) частей контура временной деформации, таким образом, что имеется неоднородность (724, 754) контура временной деформации в месте перезапуска; и
где устройство для изменения масштаба контура временной деформации формируется, чтобы изменить масштаб одной или нескольких частей контура временной деформации (716 718; 718', 722), таким образом, чтобы неоднородность (724 754) уменьшилась или была устранена.

9. Декодер звукового сигнала (200; 300) по п.8, где вычислитель контура временной деформации (320) формируется, чтобы генерировать контур временной деформации таким образом, что происходит первый перезапуск контура временной деформации от предварительно определенного стартового значения контура временной деформации (1) в позиции (724) в пределах первого множества (716', 718', 722) частей контура временной деформации, таким образом, что возникает первая неоднородность (724) в позиции первого перезапуска.
где устройство для изменения масштаба контура временной деформации (330) формируется, чтобы изменить масштаб контура временной деформации таким образом, что первая неоднородность (724) уменьшается.
где вычислитель контура временной деформации формируется, чтобы также генерировать контур временной деформации таким образом, что происходит второй перезапуск контура временной деформации от предварительно определенного стартового значения контура временной деформации (1) в позиции в пределах второго множества (718 722 752) частей контура временной деформации, таким образом, что возникает вторая неоднородность в позиции второго перезапуска; и
где устройство для изменения масштаба данных контура временной деформации (330) формируются, чтобы также изменить масштаб контура временной деформации таким образом, что вторая неоднородность уменьшается или устраняется.

10. Декодер звукового сигнала (200; 300) по одному из пп.1-9, где вычислитель контура временной деформации (320) формируется, чтобы периодически перезапускать контур временной деформации, начиная с предварительно определенного стартового значения контура временной деформации (1), таким образом, что возникают периодические неоднородности при перезапусках;
где устройство для изменения масштаба данных контура временной деформации (330) приспосабливается для последовательного изменения масштаба, по крайней мере, одной части контура временной деформации в любое время, чтобы последовательно уменьшить или устранить неоднородности контура временной деформации при перезапусках; и
где декодер звукового сигнала включает вычислитель управляющей информации о временной деформации, формируемый, чтобы объединить данные контура временной деформации до и после перезапуска, чтобы получить управляющую информацию о временной деформации.

11. Декодер звукового сигнала (200; 300) по одному из пп.1-10, где вычислитель контура временной деформации (320) формируется, чтобы получить закодированную информацию о коэффициенте деформации (tw_ratio [k]), чтобы генерировать последовательность значений коэффициентов временной деформации (warp_value_tbl) из закодированной информации о коэффициенте временной деформации, и чтобы получить узловые значения контура временной деформации, начиная со стартового значения контура временной деформации (1);
где соотношения между стартовым значением контура временной деформации (1), связанным со стартовым узлом контура временной деформации, и узловыми значениями контура временной деформации последующих узлов контура временной деформации определяются значениями коэффициентов временной деформации;
где вычислитель контура временной деформации формируется, чтобы вычислить узловое значение контура временной деформации данного узла контура временной деформации, который отстоит от стартового узла контура временной деформации на промежуточный узел контура временной деформации, на основе формирования продукта, включающего соотношение между стартовым значением контура временной деформации и узловым значением контура временной деформации промежуточного узла контура временной деформации, и соотношение между узловым значением контура временной деформации промежуточного узла контура временной деформации и узловым значением контура временной деформации данного узла контура временной деформации в качестве коэффициентов.

12. Способ предоставления декодированного представления звукового сигнала на основе закодированного представления звукового сигнала, включающего информацию об эволюции контура временной деформации; способ включает;
генерирование данных контура временной деформации (warp_node_values), многократно перезапускающихся от предварительно определенного стартового значения контура временной деформации (1) на основе информации об эволюции контура временной деформации (tw_ratio [k]), описывающей временную эволюцию контура временной деформации;
изменение масштаба, по крайней мере, части данных контура временной деформации, и
предоставление декодированного представления звукового сигнала на основе закодированного представления звукового сигнала и посредством использования масштабированной версии контура временной деформации,
при этом передискретизация реконструированного представления во временной области аудиосигнала с временной деформацией варьируется во времени в зависимости от контура временной деформации с получением равномерно дискретизированных временных отсчетов.

13. Машиночитаемый носитель информации с записанной на нем компьютерной программой для реализации способа по п.12, когда компьютерная программа запущена на компьютере.

14. Поставщик данных контура временной деформация для предоставления данных контура временной деформации, отображающих временную эволюцию относительного основного тона звукового сигнала и описывающих варьируемую во времени передискретизацию реконструированного представления во временной области аудиосигнала с временной деформацией на основе информации об эволюции контура временной деформации; поставщик данных контура временной деформации включает;
вычислитель контура временной деформации, формируемый, чтобы генерировать данные контура временной деформации на основе информации об эволюции контура временной деформации, описывающей временную эволюцию контура временной деформации, где вычислитель контура временной деформации формируется для многократного или периодического перезапуска, в позиции перезапуска, вычисления данных контура временной деформации из предварительно определенного стартового значения контура временной деформации (1), таким образом, создавая неоднородности контура временной деформации и, уменьшая диапазон значений данных контура временной деформации; и
устройство для изменения масштаба контура временной деформации, формируемое, чтобы многократно изменять масштаб частей контура временной деформации.