СПОСОБ И УСТРОЙСТВО МАСШТАБИРОВАНИЯ СИГНАЛА ПО ВРЕМЕНИ Российский патент 2010 года по МПК G10L19/00 

Область техники, к которой относится изобретение

Изобретение относится к способу и устройству масштабирования сигнала по времени, и в частности к способу и устройству масштабирования по времени звукового сигнала.

Предшествующий уровень техники

В последние годы распространение и хранение аудио-, видеосодержимого в цифровой форме значительно возросло. Следовательно, разработано значительное число стандартов и протоколов кодирования.

Методики кодирования и сжатия звука предоставляют возможность эффективного аудиокодирования, которое позволяет звуковым файлам относительно небольшого размера данных и высокого качества быть удобно распространяемыми посредством сетей данных, в том числе, например, Интернета.

Пример стандарта кодирования - это стандарт кодирования Экспертной группы по вопросам движущегося изображения 4 (MPEG-4), который предоставляет спецификации декодера для кодирования видео и аудио. Дополнительные подробности стандарта кодирования MPEG-4 могут быть найдены в "Coding of Audio-Visual Objects", MPEG-4: ISO/IEC 14496.

Методика, которая может быть применена к аудиосигналам так, чтобы изменять скорость и продолжительность воспроизведения звукового сигнала без изменения воспринимаемого основного тона, называется масштабированием по времени или масштабированием темпа. Имеется ряд интересных приложений для масштабирования по времени, в том числе, например, для синхронизации аудио-, видео, изучения языков, средства для людей с нарушением слуха, автоответчики, речевые книги и т.д.

В общем, масштабирование по времени применяется как методика постобработки. Поэтому для традиционного материала с кодированием по форме сигнала появляется дополнительная сложность, поскольку и обычное кодирование, и сложная обработка с масштабированием по времени должны быть выполнены. Более того, обработка масштабирования по времени типично привносит дефекты в декодированный сигнал и поэтому снижает качество масштабированного по времени сигнала. Чтобы добиться приемлемого качества, необходимо использовать очень сложные алгоритмы масштабирования по времени, приводящие к повышенным более сложным вычислительным требованиям относительно вычислительных возможностей.

Преимущество параметрического аудиокодирования по сравнению с кодированием по форме сигнала заключается в том, что параметрическое представление аудиосигнала облегчает обработку эффектов, как, например, обработку масштабирования по времени и/или основному тону при относительно низкой сложности. Пример параметрического аудиокодирования может быть найден в "Advances in Parametric Coding for High-Quality Audio" от Erik Schuijers, Werner Oomen, Bert den Brinker и Jeroen Breebaart, препринт 5852, 114-ая конвенция AES, Амстердам, Голландия, 22-25 марта 2003 года.

Схема параметрического кодирования в настоящее время стандартизируется и на данный момент описана в MPEG-4 Extension 2, "Coding of Moving Pictures and Audio, Parametric coding for High Quality Audio", ISO/IEC 14496-3:2001/FPDAM2, JTC1/SC29/WG11, и должна быть формально стандартизована в ISO/IEC 14496-3:2001/AMD2. Для удобства термин MPEG-4 Extension 2 используется в данной спецификации. В соответствии с MPEG-4 Extension 2 стереофонический аудиосигнал может быть представлен следующими параметрическими данными.

- Переходные параметрические данные, которые представляют нестационарную часть аудиосигнала.

- Синусоидальные параметрические данные, которые представляют тональную часть аудиосигнала.

- Шумовые параметрические данные, представляющие нетональную (или стохастическую) часть аудиосигнала.

- Данные стереоизображений.

MPEG-4 Extension 2 предоставляет возможность стереосигналам быть кодированными посредством алгоритма параметрического стерео (PS). В PS стереокодирование аудио достигается посредством кодирования звукового стереосигнала и небольшого объема параметров стереоизображений. Результирующий моносигнал затем может быть закодирован (параметрическим) монокодером. В декодере кодированный моноканал расширяется на стереоканалы посредством применения параметров стереоизображения к декодированному моносигналу. Стереопараметры состоят из межканальной разности интенсивности (IID), межканальной разности времен или фаз (ITD или IPD) и межканальной когерентности (ICC) (или межканальной взаимной корреляции).

Фиг. 1 иллюстрирует пример параметрического стереодекодера в соответствии с предшествующим уровнем техники.

Декодер 100 содержит приемное устройство 101, которое принимает входящий поток битов MPEG-4 Extension 2 и демультиплексирует его. Приемное устройство 101 подсоединено к модулю 103 декодирования, в который подаются переходные, синусоидальные и шумовые параметрические данные. В ответ модуль 103 декодирования генерирует моносигнал.

Модуль 103 декодирования подсоединен к стереопроцессору 105, который дополнительно подсоединен к приемному устройству 101. Стереопроцессор 105 принимает моносигнал от модуля 103 декодирования и данные стереоизображений от приемного устройства 101 и в ответ генерирует стереосигнал в соответствии с алгоритмом параметрического стереодекодирования MPEG-4 Extension 2.

Параметрическое аудиокодирование дает возможность относительно несложному масштабированию по времени быть выполненным в декодере. Фиг. 2 иллюстрирует пример параметрического стереодекодера 200 с масштабированием по времени и/или основному тону MPEG-4 Extension 2 в соответствии с предшествующим уровнем техники. Декодер 200 идентичен декодеру 100 по фиг. 1 за исключением того, что он дополнительно содержит модуль 201 масштабирования по времени/основному тону. Соответствующие модули декодера 200 и декодера 100 имеют одинаковые символы ссылок на фиг. 1 и 2.

Модуль 201 масштабирования по времени/основному тону соединен между приемным устройством 100 и модулем 103 декодирования. Модуль 201 масштабирования по времени/основному тону работает так, чтобы модифицировать параметрические данные до того, как они будут использованы для генерации декодированного сигнала. Таким образом, параметры могут быть модифицированы для того, чтобы получить требуемый темп и основной тон.

Фиг. 3 иллюстрирует параметрический стереодекодер 300 в соответствии с предшествующим уровнем техники. Параметрический стереодекодер 300 принимает моносигнал временной области от модуля 103 декодирования и в ответ генерирует декоррелированный сигнал в декорреляторе 305. Моносигнал дополнительно подается в первый процессор 303 доменного преобразования, который генерирует представление моносигнала в частотной области. Аналогично, декоррелированный сигнал подается во второй процессор 305 доменного преобразования, который генерирует представление декоррелированного сигнала в частотной области.

Первый и второй процессоры 303, 305 доменного преобразования подсоединены к модулю 307 параметрического стереодекодера, в котором сигналы обрабатываются так, чтобы сгенерировать левый и правый каналы частотной области. Конкретно, параметры стереоизображений MPEG-4 Extension 2 являются изменяющимися во времени зависимыми от частоты параметрами. Следовательно, выборки частотной области модифицируются посредством:

- масштабирования (представления параметров межканальной разности интенсивности),

- чередования (представления параметров межканальной разности фаз), и

- смешения (представления параметров межканальной когерентности).

Как результат, генерируются представления частотной области для левого и правого сигналов.

Модуль 307 параметрического стереодекодера подсоединен к первому процессору 309 обратного преобразования и второму процессору 311 обратного преобразования, которые питают левый и правый каналы частотной области, соответственно, и в ответ генерирует левый и правый каналы временной области.

Традиционно, преобразования временной области в частотную область выполняются посредством (анализа) оконного преобразования, после которого следует быстрое преобразование Фурье (FFT), а преобразования частотной области во временную область выполняются посредством обратного быстрого преобразования Фурье (iFFT), за которым следует (синтез) оконное преобразование и последующее перекрытие и объединение данных из последующих блоков.

Следует принимать во внимание, что при применении масштабирования по времени важно, чтобы поддерживалась надлежащая синхронизация между масштабированным по времени моносигналом (и декоррелированным сигналом) и параметрами стереоизображения, чтобы обеспечить, что надлежащие параметры стереоизображения применяются к правильным выборкам в модуле 307 параметрического стереодекодера.

Традиционно, синхронизация достигается посредством регулирования размеров окон, применяемых к временно-частотному и частотно-временному преобразованию. Например, если масштабирование по времени моносигнала такое, что темп возрастает, меньшее число выборок временной области должно быть сгенерировано между последовательными значениями стереопараметров. Как результат, более короткие окна анализа и синтеза применяются в процессорах 303, 305, 309 и 311 (обратного) преобразования областей. Тем не менее, в свете вычислительной сложности, длина (обратного) преобразования предпочтительно сохраняется постоянной. Следовательно, применяется заполнение нулями окон анализа и синтеза до заранее определенной длины преобразования.

В традиционном подходе стереопараметры берутся непосредственно из потока битов и используются для обработки модулем 307 параметрического стереодекодера. Следовательно, стереопараметры и блочная обработка модуля 307 параметрического стереодекодера могут рассматриваться как синхронизированные с исходным сигналом без масштабирования по времени. Чтобы компенсировать это, времена блоков FFT и iFFT модифицированы соответствующим образом посредством использования методик оконного преобразования. Этот подход обеспечивает очень гибкое и точное масштабирование по времени с высокой детализацией.

Сложность, ассоциированная с оконным преобразованием и FFT, очень высока, особенно в отношении требований к памяти. Чтобы уменьшить сложность средств параметрического стереодекодирования, желательно заменить временно-частотное и частотно-временное преобразование в параметрическом стереодекодере на понижающе-дискретизированные комплексно-экспоненциально модулированные гребенки фильтров. Комплекснозначные субполосные выборки области генерируются посредством свертки (фильтрации) входного сигнала с комплексно-экспоненциально модулированным фильтром прототипа. Посредством применения методик разложения число операций умножения и сложения, требуемых для выполнения этой фильтрации, минимизировано. Дополнительное описание понижающе-дискретизированных комплексно-экспоненциально модулированных гребенок фильтров может быть найдено в "Bandwidth extension of audio Signals by Spectral Band replication" от P. Ekstrand, Proc. 1st IEEE Benelux Workshop в Model Base Processing and Coding of Audio (MPCA-2002), Leuven, Бельгия, 15 ноября 2002 года.

В отличие от гибкости аналитического/синтетического оконного преобразования, в основанном на FFT подходе, использование комплексно модулированных гребенок фильтров приводит к фиксированному блочному преобразованию и обработке. В случае типичной 64-полосной комплексно модулированной гребенки фильтров, для эффективной обработки каждого блока из 64 входных выборок генерируется 64 комплекснозначных субполосных выборок области, как проиллюстрировано на фиг. 4. (Следует отметить, что эти нижние три полосы делятся дополнительно по частоте для повышенного частотного разрешения, требуемого для восстановления стерео). Интервал времени, ассоциированный с каждым из этих блоков, является фиксированным. Тем не менее, поскольку интервалы времени для масштабированных по времени сигналов являются постоянными, продолжительность соответствующих интервалов времени не масштабированного по времени сигнала зависит от применяемого масштабирования по времени. Например, для увеличенного темпа 64 выборки масштабированного по времени моносигнала соответствуют более чем 64 выборкам исходного кодированного не масштабированного по времени сигнала. Поскольку значения параметров стереоизображения потока битов по сути синхронизированы с исходным закодированным не масштабированным по времени временным сигналом и поскольку время на преобразования частотной области не может компенсировать масштабирование по времени, параметры стереоизображения, как правило, не синхронизированы с выборками частотной области в блоке стереокодирования.

Следовательно, усовершенствованная система масштабирования по времени будет преимущественна, и в частности система, предоставляющая более высокую гибкость, меньшую сложность, производительность и/или качество сигнала будет преимущественна. В частности, усовершенствованная система масштабирования по времени стереосигнала MPEG-4, имеющего меньшую сложность и/или улучшенную синхронизацию, будет преимуществом.

Сущность изобретения

Следовательно, изобретение предпочтительно стремится уменьшить, облегчить или устранить один или более вышеупомянутых недостатков по отдельности или в любом сочетании.

Согласно первому аспекту изобретения предусмотрено устройство масштабирования сигнала по времени, при этом устройство содержит: средство приема входного сигнала, содержащего первый сигнал и данные расширения; средство генерирования масштабированного по времени сигнала из первого сигнала; средство генерирования множества блоков частотных выборок масштабированного по времени сигнала, при этом каждый блок частотных выборок соответствует фиксированному интервалу времени масштабированного по времени сигнала, фиксированный интервал времени не зависит от коэффициента масштабирования по времени; средство определения первой временной ассоциации между первым значением параметра данных расширения и первым блоком частотных выборок, имеющим ассоциированный первый интервал времени масштабированного по времени сигнала; средство определения второго значения параметра, ассоциированного со вторым блоком частотных выборок, в ответ на первую временную ассоциацию и первое значение параметра; средство модификации данных второго блока частотных выборок в ответ на второе значение параметра; и средство генерирования блоков выходных выборок временной области из блоков частотных выборок.

Изобретение обеспечивает эффективное масштабирование сигналов по времени.

Первый сигнал может конкретно быть кодированным сигналом. В частности, изобретение дает возможность использования блоков переноса области фиксированной длины масштабированного по времени сигнала. Длина блоков переноса (частотной) области, таким образом, независима от коэффициента масштабирования по времени. Конкретно, изобретение может давать возможность масштабирования сигналов по времени без необходимости того, чтобы масштабированный по времени сигнал компенсировался преобразованием блоков переменной длины (как функции от значений масштабирования по времени). Следовательно, обязательность переменного оконного преобразования масштабированного по времени сигнала может быть уменьшена или устранена. Вместо средства генерирования блоков частотных выборок средство модификации данных и средство генерирования блоков выходных выборок временной области могут все обрабатывать данные с интервалами блоков фиксированной длины, которые соответствуют фиксированному числу выборок масштабированного по времени сигнала. Это фиксированное число независимо от масштабирования по времени. Конкретно, существует предпочтительное фиксированное соотношение между числом частотных выборок и числом временных выборок масштабированного по времени сигнала, и предпочтительно одна частотная выборка генерируется для каждой временной выборки. Таким образом, для размера шага блока, к примеру, в 64 выборки средство генерирования множества блоков частотных выборок предпочтительно генерирует 64 частотных выборки. Фактическая обработка блоков может задействовать данные из других блоков. Например, средство генерирования множества блоков частотных выборок может основывать преобразование на числе выборок, которые превышают размер блока.

Это может предоставлять возможность конкретно несложной обработки и конкретно предоставляет возможность использования упрощенной функциональности переноса областей. В частности, изобретение может предоставлять возможность масштабирования по времени с помощью понижающе-дискретизированных комплексно-экспоненциально модулированных гребенок фильтров.

Изобретение предоставляет несложное и высокопроизводительное средство синхронизации значений параметров данных расширения с масштабированным по времени сигналом. Конкретно, изобретение дает возможность простому процессу масштабирования по времени значений параметров соответствовать масштабированию по времени, примененному к масштабированному по времени сигналу.

Согласно аспекту изобретения, средство определения первой временной ассоциации содержит определение первого блока частотных выборок как имеющего ассоциированный интервал времени, соответствующий моменту времени, ассоциированному с первым значением параметра.

Это дает возможность простой реализации и удобного способа определения временной ассоциации, которая может быть использована для синхронизации между значениями параметров и масштабированным по времени сигналом. Конкретно, временная ассоциация для заданного значения параметра может просто указывать, какой блок частотных выборок соответствует немасштабированному моменту времени значения параметра в принятом потоке битов.

Согласно другому признаку изобретения, первая временная ассоциация содержит указание позиции времени значения параметра в рамках первого интервала времени.

Временная ассоциация может содержать частичное указание времени значения параметра. Конкретно, указанием может быть относительное указание времени, которое указывает, к какому относительному фрагменту первого интервала времени применяется значение параметра. Это может обеспечить гораздо более совершенную и тесную синхронизацию между значениями параметров данных расширения и масштабированным по времени сигналом. В частности, это может существенно повысить точность вычисленного второго значения параметра и может обеспечить масштабирование значений параметров с более высоким временным расширением, тем самым обеспечивая более точное разрешение масштабирования по времени.

Согласно другому признаку настоящего изобретения, устройство дополнительно содержит средство определения второй временной ассоциации между третьим значением параметра данных расширения и третьим блоком частотных выборок; и средство определения второго параметра выполнено с возможностью осуществления интерполяции в ответ на первое значение параметра, первую временную ассоциацию, третье значение параметра и вторую временную ассоциацию. Предпочтительно, интерполяцией является линейная интерполяция.

Это может обеспечивать несложную и в то же время высокопроизводительную реализацию. Конкретно, это может предоставлять эффективное средство определения второго значения параметра с высоким временным разрешением, т.е. это может давать возможность второму значению параметра быть точно определенным для требуемого момента времени.

Согласно другому аспекту изобретения, средство определения первой временной ассоциации работает так, чтобы определять первую временную ассоциацию в ответ на предыдущую временную ассоциацию.

Согласно другому аспекту изобретения, устройство дополнительно содержит средство определения масштабированного сдвига по времени между последовательными значениями параметров данных расширения, и средство определения первой временной ассоциации работает так, чтобы определять момент времени первого значения параметра в ответ на предшествующее значение параметра и масштабированный сдвиг по времени и генерировать временную ассоциацию в ответ на момент времени.

Типично, значения параметров данных расширения могут возникать с регулярными интервалами, например каждые 1024 выборки кодированных не масштабированных по времени сигналов. Таким образом, в не масштабированной по времени области сдвиг по времени между последовательными значениями параметров составляет 1024 выборки. Соответствующий масштабированный сдвиг по времени отличается от масштабированного по времени сигнала. Например, если скорость воспроизведения возросла на 10%, 1024 выборки соответствуют 922 выборкам масштабированного по времени сигнала. Таким образом, момент времени первого значения параметра относительно масштабированного по времени сигнала может быть определен как масштабированная по времени выборка предыдущего значения параметра плюс 922 выборки. Это обеспечивает простое средство синхронизации масштабированного по времени сигнала и значений параметров.

Предпочтительно, временная ассоциация определяется относительно блоков выборок времени. Например, если блок выборок времени содержит 64 выборки масштабированного по времени сигнала, указание времени в 2,75 соответствует 48-й выборке третьего блока. Масштабированный сдвиг по времени также предпочтительно определяется относительно блоков выборок по времени. Таким образом, масштабированный сдвиг по времени в 922 может быть эквивалентен масштабированному сдвигу по времени из 14,41 временных выборок. Если предыдущее значение параметра получено в масштабированной временной области в 2,75, последующее значение параметра может быть определено для того, чтобы соответствовать масштабированной временной области в 2,75+14,41=17,16, т.е. масштабированной выборки времени 10 из блока выборок времени 17.

Согласно другому признаку изобретения, средство определения второго значения параметра работает так, чтобы ассоциировать первое значение параметра с номинальной временной позицией в рамках первого интервала времени в ответ на временную ассоциацию и чтобы определять второе значение параметра в ответ на первое значение параметра и номинальную временную позицию. Предпочтительно, средство определения второго значения параметра работает так, чтобы определять второе значение параметра в ответ на интерполяцию в ответ на первое значение параметра и номинальную позицию времени.

Конкретно, номинальная временная позиция может быть средним моментом времени блока временных выборок. Например, вычислив момент времени первого значения параметра в 17,16, может быть выполнена интерполяция между первым значением параметра при условии, что он в позиции 17,5, и предыдущим значением параметра при условии, что он в позиции 2,5. Точная ассоциация моментов времени предпочтительно используется для того, чтобы определять момент времени последующих параметров. Таким образом, предпочтительно может быть определено, что следующее значение параметра появляется в 17,16+14,41=31,57.

Номинальной позицией, например, может быть средняя точка, конечная точка, квантованное или целое значение времени, связанное с первым интервалом времени. Этот признак может упростить определение второго значения параметра, при этом обеспечивая высокую точность масштабированной временной области указаний времени временной ассоциации.

Предпочтительно, входной сигнал - это параметрический кодированный аудиосигнал, и конкретно он может быть кодированным аудиосигналом MPEG-4 (таким как кодированный аудиосигнал MPEG-4 Extension 2).

Согласно другому аспекту изобретения, средство генерирования блоков частотных выборок содержит понижающе-дискретизированные комплексно-экспоненциально модулированные гребенки фильтров (к примеру, основанную на QMF гребенку фильтров). Аналогично, средство генерирования блоков выходных выборок временной области предпочтительно содержит комплексно-экспоненциально модулированные гребенки фильтров. Изобретение, таким образом, может обеспечить или предоставить менее сложный декодер с масштабированием по времени и, в частности, требование в отношении аналитического оконного преобразования в связи с преобразованиями областей может быть исключено.

Согласно другому аспекту изобретения, данные расширения содержат параметрические стереоданные, и предпочтительно первое значение параметра - это значение параметра стереоизображения, выбранного из группы, состоящей из: параметров межканальной разности интенсивности; параметров межканальной разности времен или фаз и параметров межканальной когерентности. Предпочтительно, средство определения второго значения параметра работает так, чтобы обрабатывать блоки частотных выборок в соответствии с параметрическим стереопротоколом и, конкретно, в соответствии с параметрическим стереопротоколом, описанным в MPEG-4 Extension 2. Предпочтительно, средство модифицирования работает так, чтобы модифицировать данные второго блока частотных выборок для генерации, по меньшей мере, первого блока частотных выборок стереоканала. Следовательно, изобретение может обеспечить эффективное несложное генерирование стереосигналов из параметрического стереопотока битов MPEG-4.

Альтернативно или помимо этого, данные расширения могут содержать пространственные аудиоданные. Например, данные расширения могут содержать данные, которые дают возможность генерирования дополнительных пространственных каналов, таких как, например, центральный и тыльный каналы.

Согласно другому аспекту изобретения, предусмотрен способ масштабирования по времени сигнала, при этом способ содержит этапы, на которых: принимают входной сигнал, содержащий первый сигнал и данные расширения; генерируют масштабированный по времени сигнал из первого сигнала; генерируют блоки частотных выборок масштабированного по времени сигнала, при этом каждый блок частотных выборок соответствует фиксированному интервалу времени масштабированного по времени сигнала, фиксированный интервал времени не зависит от коэффициента масштабирования по времени; определяют первую временную ассоциацию между первым значением параметра данных расширения и первым блоком частотных выборок, имеющим ассоциированный первый интервал времени масштабированного по времени сигнала; определяют второе значение параметра, ассоциативно связанное со вторым блоком частотных выборок, в ответ на первую временную ассоциацию и первое значение параметра; модифицируют данные второго блока частотных выборок в ответ на второе значение параметра; и генерируют блоки выходных выборок временной области из блоков частотных выборок.

Эти и другие аспекты, признаки и преимущества изобретения станут очевидны и истолковываются со ссылкой на описанные далее варианты осуществления.

Перечень чертежей

Вариант осуществления изобретения описан далее только в качестве примера со ссылкой на соответствующие чертежи, из которых:

Фиг. 1 - пример параметрического стереодекодера MPEG-4 Extension 2 в соответствии с предшествующим уровнем техники;

Фиг. 2 - пример параметрического стереодекодера с масштабированием по времени MPEG-4 Extension 2 в соответствии с предшествующим уровнем техники;

Фиг. 3 - параметрический стереодекодер в соответствии с предшествующим уровнем техники;

Фиг. 4 - частотно-временная схема, содержащая блоки частотных выборок;

Фиг. 5 - декодер с масштабированием по времени в соответствии с вариантом осуществления изобретения; и

Фиг. 6 - графическая иллюстрация способа определения масштабированных по времени значений параметров в соответствии с вариантом осуществления изобретения.

Описание предпочтительных вариантов осуществления

Следующее описание ориентировано на вариант осуществления изобретения, применимый к аудиодекодеру с масштабированием по времени и, в частности, к стереодекодеру MPEG-4 Extension 2, содержащему функциональные возможности масштабирования по времени. Тем не менее, следует принимать во внимание, что изобретение не ограничено этим вариантом применения, но может быть применено ко многим другим сигналам и вариантам применения.

Следует принимать во внимание, что хотя конкретное описание ориентировано на этот вариант осуществления, принципы, альтернативы и признаки, описанные в данном документе, необязательно ограничены данным конкретным вариантом осуществления, но могут необязательно быть применены к другим подходящим вариантам осуществления.

Фиг. 5 иллюстрирует декодер 500 с масштабированием по времени в соответствии с вариантом осуществления изобретения.

Декодер 500 с масштабированием по времени содержит приемное устройство 501, которое принимает кодированный стереосигнал MPEG-4 Extension 2 от внешнего или внутреннего источника (не показан). Приемное устройство 501 может, например, принимать поток битов MPEG-4 Extension 2 из сетевого соединения или может извлекать сигнал из внешней памяти или процессора.

Поток битов MPEG-4 Extension 2 содержит параметрически кодированный моносигнал в форме переходных, синусоидальных и шумовых параметрических данных. Помимо этого, поток битов MPEG-4 Extension 2 содержит данные расширения в форме параметрически кодированных параметров стереоизображения. Конкретно, поток битов MPEG-4 Extension 2 содержит стереоданные расширения в форме параметров межканальной разности интенсивности (IID), параметров межканальной разности времен или фаз (ITD) и параметров межканальной когерентности (ICC).

Приемное устройство 501 подсоединено к процессору 503 масштабирования по времени, на который подаются данные кодированного сигнала, в том числе переходные, синусоидальные и шумовые параметры. Процессор 503 масштабирования по времени обрабатывает переходные, синусоидальные и шумовые параметры в ответ на требование по темпу и основному тону. Таким образом, параметр 503 масштабирования по времени генерирует масштабированные по времени переходные, синусоидальные и шумовые параметры, которые имеют требуемый основной тон и скорость воспроизведения. Следует принимать во внимание, что любая надлежащая соответствующая масштабированию по времени обработка параметров может быть применена без отклонения от изобретения. Например, длина синусоидальных окон синтеза и огибающей шума может быть масштабирована по времени.

Процессор 503 масштабирования по времени подсоединен к декодеру 505 моносигнала, который принимает масштабированные по времени переходные, синусоидальные и шумовые параметры от процессора 503 масштабирования по времени. В ответ декодер 505 моносигнала генерирует масштабированный по времени моносигнал. Масштабированные по времени переходные, синусоидальные и шумовые параметры предпочтительно являются совместимыми с параметрами MPEG-4 Extension 2, и декодер 505 моносигнала может конкретно использовать традиционный алгоритм параметрического декодирования MPEG-4 Extension 2, хорошо известный специалистам в данной области техники.

Конкретно, декодер 505 моносигнала может генерировать декодированный масштабированный по времени модулированный по импульсному коду (PCM) сигнал. Масштабированный по времени сигнал имеет временные характеристики реального времени, которые отличаются от временных характеристик реального времени исходного кодированного сигнала. Например, если применяется масштабирование по времени, соответствующее темпу, увеличенному на 10%, интервал времени, соответствующий 1 секунде для исходного кодированного сигнала соответствует масштабированному по времени интервалу времени в 0,9 секунды масштабированного по времени сигнала. При условии идентичной скорости дискретизации в 48 кГц исходный кодированный моносигнал должен содержать 48000 выборок, тогда как масштабированный по времени сигнал содержит только 0,9х48000= 43200 выборок. Очевидно, что масштабированный по времени интервал времени и число выборок, соответствующее не масштабированному по времени интервалу времени, зависит от того, в какой степени применяется масштабирование по времени.

Декодер 505 моносигнала подсоединен к процессору 507 временно-частотного преобразования, который принимает масштабированный по времени сигнал. Процессор 507 временно-частотного преобразования преобразует масштабированный по времени сигнал в последовательные блоки частотных выборок, эффективно соответствующие равному числу выборок временной области. В конкретном варианте осуществления процессор 507 временно-частотного преобразования эффективно преобразует каждый блок из 64 выборок масштабированного по времени сигнала в блоки из 64 субполосных выборок частотной области, которые далее обрабатываются по блокам.

Разделение выборок на блоки фиксированного размера не зависит от коэффициента масштабирования по времени, применяемого процессором 503 масштабирования по времени. Таким образом, каждый блок соответствует фиксированному интервалу времени масштабированного по времени сигнала. Например, для частоты дискретизации в 48 кГц каждый блок соответствует интервалу в 64/48000 кГц=1,33 мс вне зависимости от величины масштабирования по времени. Тем не менее, поскольку ассоциативно связанные интервалы масштабирования по времени являются фиксированными относительно масштабированного по времени сигнала, соответствующие интервалы времени исходного кодированного сигнала варьируются в зависимости от примененного коэффициента масштабирования по времени.

Процессор 507 временно-частотного преобразования работает так, чтобы генерировать блок частотных выборок для каждого блока масштабированного по времени сигнала. Таким образом, на каждом этапе обработки блоков процессор 507 временно-частотного преобразования генерирует 64 частотные выборки, которые соответствуют 64 временным выборкам масштабированного по времени сигнала. Тем не менее, процессор 507 временно-частотного преобразования может включать выборки, отличные от этих 64 выборок, в генерирование блока частотных выборок.

Конкретно, процессор 507 временно-частотного преобразования содержит понижающе-дискретизированную комплексно-экспоненциально модулированную гребенку фильтров, которая генерирует блок частотных выборок.

Аналогично, в процессе FFT комплексно-экспоненциально модулированные гребенки фильтров применяют комплексно-экспоненциальное преобразование. Комплексно-экспоненциально модулированные гребенки фильтров описываемого варианта осуществления (к примеру, основанная на QMF гребенка фильтров) генерируют 64 выходных выборки с помощью 640 входных выборок при преобразовании. Тем не менее, размер блока (или размер интервала связи) составляет только 64 выборки. Таким образом, первые 640 входных выборок дают первый набор 64 фильтрованных коэффициентов, затем последние 640-64=576 плюс 64 новые входные выборки используются для того, чтобы сгенерировать второй набор из 64 фильтрованных коэффициентов, и т.д. Таким образом, хотя само преобразование охватывает больше, чем один текущий блок, входной блок из 64 выборок масштабированного по времени сигнала приводит к блоку частотных выборок, содержащему 64 выборки частотной области.

Таким образом, для каждого блока временных выборок из 64 выборок масштабированного по времени сигнала процессор 507 временно-частотного преобразования эффективно генерирует блок частотных выборок из 64 частотных выборок, как проиллюстрировано на фиг. 4.

Процессор 507 временно-частотного преобразования подсоединен к параметрическому стереодекодеру 509, который принимает блоки частотных выборок, а также параметрические стереопараметры. Параметрический стереодекодер 509 обрабатывает каждый блок частотных выборок в ответ на параметрические стереопараметры для того, чтобы сгенерировать сигналы частотной области левого и правого канала.

Конкретно, параметрический стереодекодер 509 масштабирует отдельные частотные выборки в ответ на соответствующие параметры IID субполосы и меняет параметры в ответ на параметры ITD.

Для краткости и ясности принимается, что вышеприведенное описание ориентировано на генерирование стереосигнала без генерирования декоррелированного сигнала. Тем не менее, в конкретных вариантах применения более высокое качество может быть достигнуто посредством генерирования и обработки декоррелированного сигнала, как должно быть очевидно специалистам в данной области техники. Конкретно, моносигнал и декоррелированный сигнал могут быть смешаны в ответ на параметры ICC.

Таким образом, параметрический стереодекодер 509 может генерировать стереоблок частотных выборок (или эквивалентно может генерировать два блока выборок частотной области, соответствующих левому и правому каналу). Следует принимать во внимание, что параметрический стереодекодер 509 может обрабатывать блоки частотных выборок в соответствии с надлежащим алгоритмом совместимого с MPEG-4 Extension 2 параметрического стереокодирования. Таким образом, параметрический стереодекодер 509 выполнен с возможностью модифицирования данных блока частотных выборок для генерации, по меньшей мере, первого блока частотных выборок стереоканала.

Параметрический стереодекодер 509 подсоединен к первому и второму процессору 511, 513 частотно-временного преобразования. Первый процессор 511 частотно-временного преобразования принимает модифицированные блоки частотных выборок, а конкретно первый процессор 511 частотно-временного преобразования принимает выборки из модифицированных блоков частотных выборок, соответствующих левому каналу, и второй процессор 513 частотно-временного преобразования принимает выборки из модифицированных блоков частотных выборок, соответствующих левому каналу.

Первый и второй процессоры 511, 513 частотно-временного преобразования выполняют частотно-временное преобразование и таким образом генерируют блоки выборок временной области из левого и правого стереоканала, соответственно. Таким образом, предоставляется масштабированный по времени стереосигнал.

Следует принимать во внимание, что обработка параметрического стереодекодера 509 - это основанная на блоках обработка в частотной области. Каждый блок частотных выборок из 64 частотных полосных выборок эффективно соответствует блоку временных выборок из 64 временных выборок масштабированного по времени сигнала, и, таким образом, каждая из выборок частотной области ассоциирована с интервалом времени масштабированного по времени сигнала, который независим от коэффициента масштабирования по времени. Следовательно, каждый блок частотных выборок соответствует переменному интервалу времени исходного закодированного не масштабированного по времени сигнала. Длина немасштабированного интервала времени зависит от коэффициента масштабирования по времени.

Тем не менее, параметры стереоизображения, используемые параметрическим стереодекодером 509, принимаются в потоке битов MPEG-4 Extension 2 и синхронизированы с временными характеристиками исходного не масштабированного по времени сигнала. Таким образом, необходимо синхронизировать значения параметров и масштабированный по времени сигнал при выполнении обработки параметрическим стереодекодером 509.

Один вариант - использовать блоки выборок переменной длины посредством варьирования размера блока в ответ на коэффициент масштабирования по времени или эквивалентного варьирования масштабированного по времени интервала времени, ассоциированного с каждым блоком, в ответ на коэффициент масштабирования по времени. Тем не менее, как упоминалось ранее, это требует сложных операций и конкретно требует дополнительного оконного преобразования, тем самым приводя к высокой вычислительной нагрузке.

В текущем варианте осуществления обработка фиксированных блоков интервалов времени масштабированного по времени сигнала сохраняется, и вместо этого генерируются значения параметров стереоизображения, которые совместимы с обработкой фиксированных блоков времени. Таким образом, вместо синхронизации посредством модификации отношения по времени между масштабированным по времени сигналом и основанной на блоках обработкой синхронизация достигается посредством синхронизирования стереопараметров с обработкой фиксированных блоков времени.

Следовательно, декодер 500 масштабирования по времени содержит процессор 515 синхронизации, который подсоединен к приемному устройству 501 и параметрическому стереодекодеру 509 и который принимает не масштабированные по времени стереопараметры от приемного устройства 501 и генерирует стереопараметры, которые синхронизированы с масштабированным по времени моносигналом и, таким образом, с обработкой блоков фиксированного размера.

Конкретно, процессор 515 синхронизации работает так, чтобы определять временную ассоциацию между значением стереопараметра и блоком частотных выборок. В простом варианте осуществления временная ассоциация просто содержит указание того, какому блоку частотных выборок соответствует значение стереопараметра. Например, если стереопараметр обновляется каждые 16 блоков из 64 выборок в не масштабированном по времени сигнале, а коэффициент масштабирования по времени такой, что 16 не масштабированных по времени блоков из 64 выборок соответствуют только 15 блокам масштабированного по времени сигнала, процессор 515 синхронизации может просто определить блоки частотных выборок, ассоциированные со стереопараметрами, как каждый пятнадцатый блок.

В этом примере значение стереопараметра принимается для каждого 15 блока частотных выборок. Значения стереопараметров других частотных блоков могут быть вычислены посредством интерполяции между принятыми значениями стереопараметров. Таким образом, после определения того, к каким блокам частотных выборок применяются значения стереопараметров, значения параметров других блоков частотных выборок могут быть определены в ответ на эти значения параметров и синхронизации по времени с блоками частотных выборок, которым они принадлежат.

Это может обеспечивать возможность простой реализации, которая особенно подходит для коэффициентов масштабирования по времени, которые соответствуют фиксированным интервалам времени обработки блоков (т.е. с шагами по 64 выборки в немасштабированной временной области). Тем менее, для большей детализации коэффициента масштабирования по времени вычисленные значения параметров могут быть слишком неточными, чтобы добиться требуемого качества. Поэтому типично предпочтительно определить временную ассоциацию для того, чтобы дополнительно указать позицию времени значения стереопараметров в рамках интервала времени блока частотных выборок, которому, как считается, принадлежат значения параметров.

Далее этот подход иллюстрируется примером, в котором выполняется масштабирование по времени, при котором 16 блоков не масштабированного по времени сигнала масштабируются по времени к 14,5 блокам. Таким образом, при условии одной частоты дискретизации процессор 503 масштабирования по времени выполнен с возможностью модифицировать кодированные параметры, так чтобы 16х64 выборки=1024 выборки исходного сигнала масштабировались к 14,5х64 выборки=934 выборкам масштабированного по времени сигнала. В этом примере новое значение стереопараметров принимается для каждых 16 блоков, т.е. для каждых 1024 выборок исходного не масштабированного по времени сигнала.

Фиг. 6 графически иллюстрирует способ определения масштабированных по времени значений параметров в соответствии с этим примером. Далее указание времени стереопараметров дается относительно ассоциированных интервалов времени блоков частотных выборок. Таким образом, в примере по фиг. 6 первый блок частотных выборок соответствует указанию времени от 0 до 1, второй блок частотных выборок - интервалу времени от 1 до 2 и т.д.

Как показано, начальное значение параметра принимается в момент времени 1,5. Масштабированный сдвиг по времени между параметрами в масштабированной временной области составляет 14,5 блоков, а соответствующий момент времен следующего значения параметра может быть вычислен как 1,5+14,5=16, как проиллюстрировано на фиг. 6. Таким образом, значение стереопараметра известно в момент времени 1,5 и момент времени 16, и поэтому надлежащие значения стереопараметров, подходящие для промежуточных блоков частотных выборок, могут быть определены посредством простой интерполяции. Например, если значение параметра в момент времени 1,5 равно x₁, а значение параметра в момент времени 16 равно x₂, соответствующее значение параметра для третьего блока частотных выборок (соответствующего моменту времени 2,5) может быть вычислено из:

Более обобщено, в параметрическом стереодекодере, основанном на комплексно-экспоненциальных модулированных гребенках фильтров, субполосные стереосигналы типично составляются посредством следующих уравнений:

l _k (n)=H ₁₁ (k,n)m _k (n)+H ₂₁ (k,n)d _k (n)

r _k (n)=H ₁₂ (k,n)m _k (n)+H ₂₂ (k,n)d _k (n)'

где сигналы m _k (n) и d _k (n) представляют комплекснозначный субполосный моно- и декоррелированный сигнал частотной области для индекса субполосы k, n представляет индекс выборки субполосы, а матрицы H ₁₁ (k,n), H ₁₂ (k,n), H ₂₁ (k,n) и H ₂₂ (k,n) представляют матрицы обработки параметров.

Предшествующая и текущая (не обязательно целые) позиции масштабированных параметров могут быть обозначены _prev и _curr, соответственно. На основе принятых стереопараметров могут быть вычислены векторы H ₁₁ (k, _curr ), H ₁₂ (k, _curr ), H ₂₁(k, _curr) и H ₂₂ (k, _curr ).

Если H ₁₁ (k, _prev ), H ₁₂ (k, _prev ), H ₂₁(k, _prev) и H ₂₂ (k, _prev ) вычислены на предыдущем этапе, то матрицы обработки для

могут быть вычислены из:

Вариант осуществления может, следовательно, предоставлять несложный способ генерирования значений стереопараметров, которые синхронизированы по времени с масштабированным по времени моносигналом и, таким образом, обработкой фиксированных масштабированных по временной области блоков интервалов параметрического стереодекодера 509. Это может дополнительно давать возможность значительного упрощения, поскольку могут быть использованы более простые функции доменного преобразования.

В этом примере описанная интерполяция выполнялась с помощью фактических дробных моментов времени, определенных для принятых значений параметров. Тем не менее, в некоторых вариантах осуществления может быть желательно выполнить интерполяцию на основе номинальных моментов времени. Конкретно, это может предоставлять возможность снижения сложности обработки и может, в частности, уменьшать или устранять потребность в сложных и ресурсоемких операциях умножения и деления.

Следовательно, после определения дробного момента времени для заданного значения параметра он может быть ассоциативно связан с номинальной позицией времени в интервале времени для дальнейшей обработки. Таким образом, определенные позиции времени могут быть сдвинуты к ближайшему номинальному значению, например к средней точке соответствующего интервала времени блока частотных выборок, для интерполяции. Тем не менее, предпочтительно определенное дробное значение момента времени используется для вычисления момента времени следующего значения параметра.

В качестве конкретного примера, значение параметра по фиг. 6, получаемое в момент времени 16,0, может быть перемещено к моменту времени 16,5 (или 15,5) для интерполяции. Таким образом, интерполяция значения параметра для третьего блока частотных выборок (соответствующего моменту времени 2,5) может быть вычислена из:

Тем не менее, вычисление следующего момента времени для следующего значения параметра по-прежнему основано на точном значении, т.е. следующий параметр считается в момент времени 16,0+14,5=30,5. Таким образом, сохраняется корректное обновление средней частоты параметров.

Сдвиг по времени значений параметров для интерполяции приводит к другим значениям выборок, соответствующим значениям параметров. Тем не менее, поскольку сдвиг типично составляет менее 64 выборок, слышимые артефакты сдвигом не привносятся.

В общем, следует принимать во внимание, что важно, чтобы частота обновления масштабированных по времени значений параметров была синхронизирована с масштабированным по времени моносигналом для того, чтобы обеспечить, что синхронизация между ними поддерживается. Тем не менее, незначительный абсолютный сдвиг по времени (скажем, менее 64 выборок) имеет несущественное влияние на воспринимаемое качество.

Обозначая предыдущие и текущие моменты времени значений параметров (не обязательно целые) как _prev и _curr, соответственно, другой способ сопоставления нецелых позиций параметров _prev и _curr с целыми позициями n _prev и n _curr задается следующей рекурсией. Предполагается, что N - это число выборок в блоке (например, 64). Определяются следующие значения:

x ₁ = n _prev · N + 1

x ₂ = _curr · N

m = mod(x ₂ -x ₁ +1,N)

где n _prev - это предыдущая целая позиция.

Текущая целая позиция параметра затем вычисляется следующим образом:

Чтобы инициировать рекурсию, n _prev=0.

Изобретение может быть реализовано в любой надлежащей форме, включая аппаратные средства, программное обеспечение, микропрограммное обеспечение или любое их сочетание. Тем не менее, предпочтительно изобретение реализуется как вычислительное программное обеспечение, выполняемое на одном или более процессорах данных или процессорах цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически, функциональность может быть реализована в одном модуле, множестве модулей или как часть других функциональных модулей. По существу, изобретение может быть реализовано в одном модуле или может быть физически и функционально распределено между различными модулями и процессорами.

Хотя настоящее изобретение описано в связи с предпочтительным вариантом осуществления, оно не предназначено для того, чтобы быть ограниченным конкретной изложенной в данном документе формой. Вместо этого область применения настоящего изобретения ограничена прилагаемой формулой изобретения. В формуле изобретение термин "содержит" не исключает наличия других элементов или этапов. Более того, хотя перечислены по отдельности, множество средств, элементов или этапов способа может быть реализовано посредством, к примеру, одного модуля или процессора. Помимо этого, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть выгодным образом объединены, и их включение в различные пункты формулы изобретения не подразумевает, что сочетание признаков не является выполнимым и/или выгодным. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность.

Изобретение относится к способу и устройству масштабирования сигнала по времени. Декодер принимает (501) поток битов, содержащий кодированный моносигнал и стереоданные. Процессор масштабирования по времени генерирует масштабированный по времени моносигнал. Процессор временно-частотного преобразования генерирует блоки частотных выборок масштабированного по времени сигнала, при этом длина блоков является фиксированной и независимой от масштабирования по времени. Параметрический стереодекодер генерирует стереосигнал для блоков частотных выборок, и они преобразуются во временную область посредством процессора частотно-временного преобразования. Процессор синхронизации синхронизирует стереоданные с масштабированным по времени сигналом посредством определения временной ассоциации между значением параметра и блоком частотных выборок. Значение параметра и временная ассоциация используются для того, чтобы определять синхронизированные значения стереопараметров для этого и других блоков частотных выборок. Технический результат - обеспечение несложности генерирования масштабированных по времени стереосигналов из кодированных сигналов MPEG-4 и/или улучшения синхронизации. 2 н. и 13 з.п. ф-лы, 6 ил.

1. Устройство масштабирования по времени сигнала, содержащее:
средство приема входного сигнала, содержащего первый сигнал и данные расширения;
средство генерирования масштабированного по времени сигнала из первого сигнала;
средство генерирования множества блоков частотных выборок масштабированного по времени сигнала, при этом каждый блок частотных выборок соответствует фиксированному интервалу времени масштабированного по времени сигнала, причем фиксированный интервал времени не зависит от коэффициента масштабирования по времени;
средство определения первой временной ассоциации между первым значением параметра данных расширения и первым блоком частотных выборок, имеющим ассоциированный первый интервал времени масштабированного по времени сигнала;
средство определения второго значения параметра, ассоциированного со вторым блоком частотных выборок, в ответ на первую временную ассоциацию и первое значение параметра;
средство модификации данных второго блока частотных выборок в ответ на второе значение параметра и
средство генерирования блоков выходных выборок временной области из блоков частотных выборок.

2. Устройство по п.1, в котором средство определения первой временной ассоциации выполнено с возможностью определения первого блока частотных выборок как имеющего ассоциированный интервал времени, соответствующий моменту времени, ассоциированному с первым значением параметра.

3. Устройство по п.1, в котором первая временная ассоциация содержит указание позиции времени значения параметра в рамках первого интервала времени.

4. Устройство по п.1, дополнительно содержащее средство определения второй временной ассоциации между третьим значением параметра данных расширения и третьим блоком частотных выборок; при этом средство определения второго значения параметра выполнено с возможностью осуществления интерполяции в ответ на первое значение параметра, первую временную ассоциацию, третье значение параметра и вторую временную ассоциацию.

5. Устройство по п.4, в котором интерполяция является линейной интерполяцией.

6. Устройство по п.1, в котором средство определения первой временной ассоциации выполнено с возможностью определения первой временной ассоциации в ответ на предшествующую временную ассоциацию.

7. Устройство по п.1, дополнительно содержащее средство определения масштабированного сдвига по времени между последовательными значениями параметров данных расширения, при этом средство определения первой временной ассоциации выполнено с возможностью определения момента времени первого значения параметра в ответ на предшествующее значение параметра и масштабированный сдвиг по времени и с возможностью генерации временной ассоциации в ответ на этот момент времени.

8. Устройство по п.7, в котором средство определения второго значения параметра выполнено с возможностью ассоциирования первого значения параметра с номинальной временной позицией в рамках первого интервала времени в ответ на временную ассоциацию и с возможностью определения второго значения параметра в ответ на первое значение параметра и номинальную временную позицию.

9. Устройство по п.8, в котором средство определения второго значения параметра выполнено с возможностью определения второго значения параметра в качестве реакции на интерполяцию в ответ на первое значение параметра и номинальную позицию времени.

10. Устройство по п.1, в котором входной сигнал является параметрическим кодированным аудиосигналом.

11. Устройство по п.1, в котором средство генерирования блоков частотных выборок содержит комплексно экспоненциально модулированные гребенки фильтров.

12. Устройство по п.1, в котором данные расширения содержат параметрические стереоданные.

13. Устройство по п.12, в котором первое значение параметра - это значение параметра стереоизображения, выбранного из группы, состоящей из:
параметров межканальной разности интенсивностей;
параметров межканальной разности времен или фаз и
параметров межканальной когерентности.

14. Устройство по п.1, в котором средство модифицирования выполнено с возможностью модифицирования данных второго блока частотных выборок для того, чтобы генерировать, по меньшей мере, первый блок частотных выборок стереоканала.

15. Способ масштабирования по времени сигнала, содержащий этапы, на которых
принимают входной сигнал, содержащий первый сигнал и данные расширения;
генерируют масштабированный по времени сигнал из первого сигнала;
генерируют блоки частотных выборок масштабированного по времени сигнала, при этом каждый блок частотных выборок соответствует фиксированному интервалу времени масштабированного по времени сигнала, причем фиксированный интервал времени не зависит от коэффициента масштабирования по времени;
определяют первую временную ассоциацию между первым значением параметра данных расширения и первым блоком частотных выборок, имеющим ассоциированный первый интервал времени масштабированного по времени сигнала;
определяют второе значение параметра, ассоциированное со вторым блоком частотных выборок, в ответ на первую временную ассоциацию и первое значение параметра;
модифицируют данные второго блока частотных выборок в ответ на второе значение параметра и
генерируют блоки выходных выборок временной области из блоков частотных выборок.