УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ ТОГО, ЧТОБЫ УПРАВЛЯТЬ АУДИОСИГНАЛОМ, ВКЛЮЧАЮЩИМ ПЕРЕХОДНЫЙ СИГНАЛ Российский патент 2015 года по МПК G10L19/02 G10L21/02 

Согласно изобретению решения касаются устройства, метода и компьютерной программы для того, чтобы управлять аудиосигналом, включающим переходный сигнал.

Далее будут описаны сценарии, в которых могут быть применены решения изобретения.

В современных системах обработки аудиосигналы часто обрабатываются с использованием цифровых методов. Определенные части сигнала, такие как переходные сигналы, например, налагают особые требования на обработку цифрового сигнала.

Переходными событиями (или "переходными сигналами") являются события, во время которого энергия сигнала во всей полосе или в определенном частотном диапазоне быстро изменяется, то есть, энергия сигнала быстро увеличивается или быстро уменьшается. В распределении энергии сигнала в спектре могут быть найдены характерные особенности определенных переходных сигналов (переходных событий). Как правило, энергия аудиосигнала во время переходного сигнала распределена по всему частотному диапазону, в то время как в непереходных частях сигнала энергия обычно концентрируется в низкочастотной части аудиосигнала или в одном или более частотных диапазонах. Это означает, что у непереходный части сигнала, которую также называют постоянной или "тональной" частью сигнала, есть спектр, который является неплоским. Кроме того, спектр переходный части сигнала является типично хаотическим и "непредсказуемым" (например, при известном спектре части сигнала, предшествующей переходный части сигнала). Другими словами, энергия сигнала включена в сравнительно небольшое количество спектральных линий или диапазонов, которые сильно выделены над уровнем шума аудиосигнала. В переходный части, однако, энергия аудиосигнала будет распределена по многим различным диапазонам частот и, определенно, будет распределена в высокочастотной части так, чтобы спектр переходный части аудиосигнала был сравнительно плоским, как правило, более плоским, чем спектр тональной части аудиосигнала. Однако нужно отметить, что есть другие типы сигналов, имеющих плоский спектр, как, например, сигналы подобные шуму, которые не являются переходным сигналом. В то время как у спектральных компонент сигналов, подобных шуму, есть некоррелированные или слабо коррелированные значения фазы, часто есть очень существенная корреляция фазы спектральных компонент в условиях переходного сигнала.

Как правило, переходный сигнал определяет сильное изменение в представлении временного интервала аудиосигнала, что означает, что сигнал будет включать множество более высоких компонентов частоты при выполнении разложения Фурье. Важной особенностью этого множества гармоник более высокой частоты является то, что фазы этих высокочастотных гармоник находятся в очень определенных взаимоотношениях, так, чтобы сложение всех гармоник привело к быстрому изменению энергии сигнала (при рассмотрении сигнала на временном интервале). Другими словами, там существует сильная корреляция вдоль спектра в случае переходного сигнала. Определенную ситуацию с фазой среди всех гармоник можно также назвать "вертикальная когерентность". Эта "вертикальная когерентность" связана с представлением спектрограммы сигнала время/частота, где горизонтальное направление соответствует развитию сигнала в течение долгого времени, а вертикальное направление описывает частотную зависимость спектральных компонентов в спектре короткого временного интервала.

Если, например, изменения осуществляются на больших временных интервалах, например, при квантизации, эти изменения будут влиять на весь блок. Так как переходные сигналы характеризуются краткосрочным увеличением энергии, эта энергия, вероятно, распределится при изменении в блоке на всю область, представленную блоком.

Проблема становится особенно очевидной также, когда изменяется скорость воспроизведения сигнала, в то время как поддерживается основной тон, или когда сигнал транспонируется, в то время как поддерживается оригинальная продолжительность воспроизведения. Оба результата могут быть достигнуты с использованием вокодера фазы, или метода, такого как (P)SOLA (см. [А1]-[А4] относительно этой проблемы). Последний результат достигается воспроизведением растянутого сигнала, ускоренного коэффициентом растяжения времени. При представлении сигнала с дискретным временем это соответствует снижению скорости дискретизации сигнала с использованием коэффициента растяжения, в то время как поддерживается частота осуществления выборки. Методам растяжения времени, таким как вокодер фазы, фактически удовлетворяют только стационарные или квазистационарные сигналы, так как переходные сигналы "размазываются" во времени из-за дисперсии. Вокодер фазы ослабляет так называемые свойства вертикальной когерентности (связанные с представлением спектрограммы время/частота) сигнала.

Временное растяжение аудиосигналов играет важную роль как в развлечениях, так и в технике. Общие алгоритмы, такие как PV (Phase Vocoder), SOLA (Synchronous Overlap Add), PSOLA (Pitch Synchronous Overlap Add) и WSOLA (Waveform Similarity Overlap Add), основаны на технике наложения и сложения (OLA). В то время как эти алгоритмы способны к изменению скорости переигровки аудиосигналов, сохраняя их оригинальный основной тон, переходные сигналы при этом сохраняются плохо. Растяжение времени аудиосигнала, сохраняющее его основной тон, с использованием OLA требует отдельной обработки переходных сигналов и длительных частей сигнала, чтобы избежать переходный дисперсии [В1] и временных помех, которые часто возникают в WSOLA и SOLA. Проблемой является задача растяжения комбинации из тонального сигнала, такого как труба, ударного сигнала, такого как кастаньеты.

Для освещения материалов, относящихся к данному изобретению, далее будет сделана ссылка на некоторые обычные подходы решения этой проблемы.

Некоторые современные методы осуществляют растяжение времени в окрестности переходных сигналов более сильно, чтобы не осуществлять или осуществлять растяжение на небольшом интервале продолжительности переходного сигнала (см., например, ссылки [5] - [8]).

Следующие статьи и патенты описывают методы манипуляции с основным тоном и/или временем: [А1], [А2], [A3], [А4], [А5], [А6], [AT], [A8].

В [В2] предложен метод, который приблизительно сохраняет огибающую сигнала в растянутом времени, так же как его спектральные характеристики. В этом подходе ожидается случай ударного расширения времени, чтобы затухание было медленнее, чем в оригинале.

Несколько широко известных методов допустимы для обработки с разделением переходных сигналов и постоянных компонентов сигнала, например, моделирования сигнала как суммы синусов, переходных сигналов и шума (S+T+N) [В4, В5]. Чтобы сохранить переходные сигналы после временного масштабирования, все три части растягиваются отдельно. Эта техника способна к прекрасному сохранению переходных компонентов аудиосигналов. Получающийся звук, однако, часто воспринимается как неестественный.

Дальнейшие подходы изменяют величину растяжения времени и устанавливают ее в единицу в течение переходного сигнала или захватывают фазу в случае переходного сигнала [В3, В6, В7].

Статья [В8] демонстрирует, как переходные сигналы могут быть сохранены при временном и частотном растяжении с использованием PV. В этом подходе переходные сигналы вырезались из сигнала перед растяжением. Удаление переходных частей привело к промежуткам в пределах сигнала, которые были растянуты с использованием процедуры PV. После растяжения переходные сигналы были повторно добавлены к сигналу с окружением, которое соответствовало растянутым промежуткам.

Ввиду вышеизложенного есть потребность в создании концепции манипулирования аудиосигналом, включающим переходный сигнал, что обеспечивает выходной сигнал с улучшенным качеством восприятия.

Согласно решению изобретения создается устройство для того, чтобы управлять аудиосигналом, включающим переходный сигнал. "Устройство включает модуль замещения переходного сигнала, выполненный с возможностью заменить часть переходного сигнала, включающую переходное событие, частью сигнала замены, приспособленной к энергетическим особенностям одной или более непереходных частей аудиосигнала, или к энергетической особенности сигнала переходный части сигнала, чтобы получить аудиосигнал сокращенным переходным сигналом. Устройство далее включает процессор сигнала, выполненный с возможностью обработать аудиосигнал с сокращенным переходным сигналом, чтобы получить обработанную версию аудиосигнала с сокращенным переходным сигналом. Устройство также включает модуль вставки переходного сигнала, выполненный с возможностью объединения обработанной версии аудиосигнала с сокращенным переходным сигналом и представления переходного сигнала, в оригинальной или обработанной форме, с содержимым переходный части сигнала.

Описанное выше решение основано на найденной закономерности, что процессор сигнала обеспечивает выходной сигнал улучшенного качества, если переходная часть сигнала заменена частью сигнала замены, энергия которого приспособлена к энергетическим особенностям оригинального аудиосигнала, уменьшая или устраняя переходный случай. В этой концепции избегаются большие пошаговые изменения мощности сигнала на входе процессора сигнала, которые были бы вызваны простым удалением переходный части сигнала в аудиосигнале, и также избегается, или по крайней мере уменьшается, неблагоприятное воздействие переходного сигнала на процессор сигнала.

Таким образом, удаляя или уменьшая переходное событие в аудиосигнале (чтобы получить аудиосигнал с сокращенным переходным сигналом) и ограничивая изменение мощности аудиосигнала с сокращенным переходным сигналом, когда по сравнению с входным аудиосигналом, процессор сигнала получает соответствующий входной сигнал, такой, что его выходной сигнал приближает желаемый выходной сигнал в отсутствие переходного события.

В предпочтительном решении модуль замещения переходного сигнала выполнен с возможностью обеспечения части сигнала замены (или части сигнала с сокращенными переходным сигналом) таким образом, что часть сигнала замены представляет временной сигнал, имеющий сглаженное временное развитие по сравнению с переходный частью сигнала, таким образом, что отклонение между энергией части сигнала замены и энергией непереходный части сигнала аудиосигнала, предшествующего переходный части сигнала или после переходный части сигнала, меньше чем предопределенное пороговое значение. Это может быть достигнуто таким образом, что для части сигнала замены выполняются два условия, а именно, так называемое "переходное условие" и так называемое "энергетическое условие". Переходное условие указывает, что переходное событие, которое представлено скачком или пиком на временном интервале, ограничено по интенсивности (или по высоте шага, или по высоте пика) в пределах части сигнала замены. Энергетическое условие далее указывает, что у аудиосигнала с сокращенным переходным сигналом (части сигнала замены) должно быть гладкое временное развитие распределения спектральной плотности мощности. Неоднородности во временном развитии спектральной плотности мощности, как правило, приводят к слышимым искажениям. Соответственно, ограничивая такие временные неоднородности спектрального энергетического распределения можно избежать слышимых искажений, которые могут возникать из-за простого удаления (без замены) переходный части входного аудиосигнала,

В предпочтительном решении модуль замещения переходного сигнала выполнен с возможностью экстраполировать значения амплитуды одной или более частей сигнала, предшествующих переходный части сигнала, чтобы получить значения амплитуды части сигнала замены. Модуль замещения переходного сигнала также выполнен с возможностью экстраполировать значения фазы одной или более частей сигнала, предшествующих переходный части сигнала, чтобы получить значения фазы части сигнала замены. Используя этот подход, может быть получено гладкое изменение амплитуды аудиосигнала с сокращенным переходным сигналом. Далее фазы различных спектральных компонент аудиосигнала с сокращенным переходным сигналом хорошо контролируются (посредством экстраполяции), такой, что переходное событие, которое характеризуется определенными значениями фазы во время переходный части сигнала (отличающимися от значений фазы непереходных частей сигнала) подавлено.

Другими словами значения фазы, вводимые посредством экстраполяции, формируются по-другому в отличие от значений фазы, характеризующих переходный сигнал. Экстраполяция также обеспечивает преимущество, т.к. знание частей аудиосигнала, предшествующих переходный части сигнала, достаточно, чтобы выполнить экстраполяцию. Однако естественно возможно далее применить некоторую стороннюю информацию, например, параметры экстраполяции, и выполнить экстраполяцию.

В другом предпочтительном решении модуль вставки переходного сигнала (150) выполнен с возможностью плавно наложить обработанную версию аудиосигнала с сокращенным переходным сигналом и переходное представление сигнала, в оригинальной или обработанной форме, содержащее переходную часть сигнала. В этом случае обработанная версия сигнала с сокращенным переходным сигналом может быть растянутой во времени версией входного аудиосигнала. Соответственно, переходный сигнал может быть гладко повторно введен в растянутую версию входного аудиосигнала. Другими словами, после (временного) растяжения аудиосигнала с сокращенным переходным сигналом, переходные сигналы (в обработанной или необработанной форме) повторно добавляются к сигналу с окружением, которое соответствует растянутым промежуткам.

В другом предпочтительном решении модуль вставки переходного сигнала выполнен с возможностью интерполяции между значением амплитуды части сигнала, предшествующей переходный части сигнала и значением амплитуды части сигнала после переходный части сигнала, чтобы получить одно или более значений амплитуды части сигнала замены. Модуль вставки переходного сигнала, кроме того, выполнен с возможностью интерполяции между значением фазы части сигнала, предшествующей переходный части сигнала и значением фазы части сигнала после переходный части сигнала, чтобы получить одно или более значений фазы части сигнала замены. Особенно гладкое временное развитие амплитуды и значений фазы может быть получено при выполнении интерполяции. Интерполяция фазы также, как правило, приводит к сокращению или аннулированию переходного события, поскольку переходные сигналы, как правило, включают определенное распределение фазы в прямой близости переходного сигнала, которое обычно отличается от распределения фазы на определенном интервале в дали от переходного сигнала.

В предпочтительном решении модуль вставки переходного сигнала выполнен с возможностью применения взвешенного шума (например, спектр подобного шуму сигнала, приспособленного к энергетическим характеристикам сигнала одной или более непереходных частей сигнала аудиосигнала, или к энергетической характеристики сигнала переходный части сигнала) для того, чтобы получить значения амплитуды части сигнала замены, и применения взвешенный шум для того, чтобы получить значения фазы части сигнала замены. Это возможно, применяя взвешенный шум, чтобы далее сократить переходный сигнал, сохраняя воздействие на энергию достаточно малым.

В предпочтительном решении модуль вставки переходного сигнала выполнен с возможностью объединения непереходных компонент переходный части сигнала с экстраполируемыми или интерполированными величинами, чтобы получить часть сигнала замены. Было найдено, что улучшенное качество аудиосигнала с сокращенным переходным сигналом (и его обработанной версии, которая получена, используя процессор сигнала) может быть достигнуто, если поддержаны непереходные компоненты переходный части сигнала. Например, тональные компоненты переходный части сигнала могут оказать только ограниченное влияние на переходный сигнал (потому что временный переходный сигнал, как правило, является широкополосным сигналом, имеющим определенное распределение фазы по частоте). Таким образом, тональные непереходные компоненты переходный части сигнала могут нести важную информацию, которая может фактически способствовать требуемому выходному сигналу процессора сигнала. Таким образом, поддержка таких частей сигнала и сокращение переходного сигнала может способствовать усовершенствованию обработки аудиосигнала.

В предпочтительном решении модуль вставки переходного сигнала выполнен с возможностью получить части сигнала замены переменной длины в зависимости от длины переходный части сигнала. Было найдено, что качество аудиосигнала может иногда улучшаться при приспосабливании длины частей сигнала замены к переменной длине переходных частей сигнала. Например, в некоторых сигналах переходная часть сигнала может быть очень короткой продолжительности. В этом случае быть получен оптимизированный обработанный аудиосигнал может путем замены только относительно короткой части входного аудиосигнала. Таким образом, может быть поддержана насколько возможно большая (непереходная) информация оригинального входного аудиосигнала. Также, сохраняя короткие части сигнала замены (в соответствии с длиной переходный части сигнала) во многих ситуациях можно избежать наложения последующих частей сигнала замены. Поэтому в большинстве случаев может быть достигнута оригинальная непереходная часть сигнала между двумя последующими частями сигнала замены. Следовательно обработанный аудиосигнал сформирован с достаточной точностью, сохраняя насколько возможно большую (непереходную) информацию оригинального входного аудиосигнала.

В предпочтительном решении процессор сигнала выполнен с возможностью обработать аудиосигнал с сокращенным переходным сигналом, таким образом, что данная временная часть сигнала обработанной версии аудиосигнала с сокращенным переходным сигналом зависит от неперекрывающегося множества временных частей аудиосигнала с сокращенным переходным сигналом. Другими словами предпочтительно, чтобы процессор сигнала включал временную память, формируя части сигнала обработанной версии аудиосигнал с сокращенным переходным сигналом. Обработка сигнала с использованием памяти возможна при блочной обработке аудиосигнала с сокращенным переходным сигналом, или для временного фильтрования (например, FIR - фильтрование, или ПК - фильтрование) уменьшенного переходным сигналом аудиосигнала. Было также найдено, что изобретенный способ замены переходных частей сигнала очень хорошо приспособлен для реализации процессором сигнала. В то время как для переходных сигналов обычно было бы существенное негативное воздействие на описанный процессор сигнала, выполняющий блочную обработку или имеющий временную память, предлагаемые в изобретении части сигнала замены уменьшают это неблагоприятное воздействие переходного сигнала. В то время как переходный сигнал обычно оказывал бы влияние на множество частей сигнала, обеспеченных процессором сигнала, простирающихся вне временных пределов переходный части сигнала, неблагоприятное воздействие переходного сигнала уменьшается или даже устраняется с использованием изобретенного способа. При поддержке гладкого временного изменения энергии сигнала с сокращенным переходным сигналом любое ослабление интенсивности тона может быть сделано достаточно гладким. Например, блок (блока обработки сигнала процессором), который включает часть сигнала замены (например, в дополнение к оригинальной непереходный части сигнала), сильно не ухудшается, поскольку часть сигнала замены приспособлена к энергии остальной части блока. Таким образом, содержимое блока не значительно затрагивается устранением или сокращением переходного сигнала. Далее временное фильтрование, на которое переходный сигнал и также полное удаление переходный части сигнала (например, в при установке его в ноль) влияли бы отрицательно, остается практически незатронутым при удалении переходного сигнала (или его сокращения) с использованием части сигнала замены.

В предпочтительном решении процессор сигнала выполнен с возможностью обработки временных блоков аудиосигнала с сокращенным переходным сигналом, чтобы получить обработанную версию аудиосигнала с сокращенным переходным сигналом. Модуль замещения переходного сигнала также выполнен с возможностью подстройки продолжительности части сигнала, которая будет заменена частью сигнала замены с временным разрешением лучшим, чем во временном блоке, или заменять переходную часть сигнала, имеющую временную продолжительность, меньшую чем продолжительность временного блока с частью сигнала замены, имеющей временную продолжительность, меньшую чем продолжительность временного блока. Таким образом, предложенная здесь замена, позволяет обрабатывать аудиосигналы с низким искажением, даже если длина удаленных переходных частей отличается от длины временных блоков.

В предпочтительном решении процессор сигнала выполнен с возможностью обработать аудиосигнал с сокращенным переходным сигналом в зависимости от частоты, так чтобы обработка ввела переходную спадающую частоту в зависимости от фазовых сдвигов аудиосигнала с сокращенным переходным сигналом. Однако даже такая обработка, сокращающая переходные сигналы сигнала, не оказывает существенное вредное влияние на обработанный аудиосигнал, поскольку переходные сигналы, как правило, обрабатываются отдельно от обработки аудиосигнала с сокращенным переходным сигналом. Соответственно, во время действия ухудшающего переходного сигнала может быть применен алгоритм обработки сигнала в процессоре сигнала, качество переходных сигналов может быть сохранено с использованием отдельной обработки переходного сигнала и вставки переходных сигналов на более поздней стадии обработки.

В предпочтительном решении модуль вставки переходного сигнала включает датчик переходного сигнала, выполненный с возможностью обеспечить изменяющий во времени порог обнаружения для обнаружения переходного сигнала в аудиосигнале, так, что порог обнаружения следует за огибающей аудиосигнала с подстраиваемым постоянным временем сглаживания. Датчик переходного сигнала выполнен с возможностью изменить постоянную времени сглаживания при обнаружении переходного сигнала и/или в зависимости от временного развития аудиосигнала. При использовании такого датчика переходного сигнала возможно обнаружить переходные сигналы различной интенсивности, даже если переходные сигналы близко расположены во времени. Например, изобретение учитывает обнаружение слабого переходного сигнала, даже если слабый переходный сигнал близко следует за предыдущим более сильным переходным сигналом. Соответственно обнаружение переходных сигналов для их замены может быть выполнено в надежно и точно.

В предпочтительном решении устройство включает процессор переходного сигнала, выполненный с возможностью получить информацию о переходном сигнале, представляющую содержание переходный части сигнала. В этом случае процессор переходного сигнала может быть выполнен с возможностью получения на основе информации о переходном сигнален обработанного переходного сигнала, в котором уменьшены тональные компоненты. Модуль вставки переходного сигнала может быть выполнен с возможностью объединения обработанной версии аудиосигнала с сокращенным переходным сигналом с обработанным переходным сигналом, сформированным процессором переходного сигнала. Таким образом, отдельная обработка аудиосигнала с сокращенным переходным сигналом и переходного сигнала входного аудиосигнала (представленного информацией о переходном сигнале) может быть выполнена таким способом, при котором последующая комбинация различных частей сигнала приводит к соответствующему полному выходному сигналу. Эти компоненты сигнала переходного сигнала, которые были обработаны "главным" процессором сигнала (например, тональные компоненты сигнала), не должны быть включены в отдельную обработку переходного сигнала. Соответственно, может быть выполнено соответствующее разделение обработки аудиокомпонентов переходный части сигнала.

Дальнейшие решения согласно изобретению создают метод и компьютерную программу для того, чтобы управлять аудиосигналом, включающим переходный сигнал.

Краткое описание иллюстраций

Решения согласно изобретению будут описаны впоследствии со ссылками на рисунки, где:

Фиг.1 показывает блок-схему устройства для манипулирования аудиосигналом, включающим переходный сигнал в соответствии с содержанием данного изобретения;

Фиг.2 показывает блок-схему модуля замещения устройства в соответствии с содержанием данного изобретения;

Фиг.3a-3d показывают блок-схемы процессора сигнала в соответствии с содержанием данного изобретения;

Фиг.4 показывает блок-схему устройства временного переходного сигнала в соответствии с настоящим изобретением;

Фиг.5а показывает обзор выполнения вокодера для использования в процессоре сигнала на фиг.1;

Фиг.5b показывает реализацию частей (анализ) процессора сигнала на фиг.1;

Фиг.5с иллюстрирует другие части (растяжение) процессора сигнала на фиг.1;

Фиг.6 иллюстрирует выполнение преобразования фазовым вокодером фазы для использования в процессоре сигнала на фиг.1;

Фиг.7 показывает схематическое представление алгоритма работы фазового вокодера с синтезируемым размером прыжка, отличающимся от анализируемого размера прыжка, например в 2 раза;

Фиг.8 показывает графическое представление временной эволюции амплитуды аудиосигнала;

Фиг.9 показывает графическое представление синхронизации обработки сигнала в устройстве на фиг.1;

Фиг.10 показывает графическое представление сигналов, которые могут формироваться в устройстве в соответствии с фиг.1;

Фиг.11 показывает другое графическое представление сигналов, которые могут формироваться в устройстве в соответствии с фиг.1;

Фиг.12 показывает схему последовательности операций в способе манипуляции аудиосигналом в соответствии с содержанием данного изобретения;

Фиг.13 показывает графическое представление удаления переходных сигналов и интерполяции в соответствии с содержанием данного изобретения;

Фиг.14 показывает графическое представление растяжения времени и вставку переходного сигнала в соответствии с содержанием данного изобретения;

Фиг.15 показывает графическое представление колебаний сигнала, которые наблюдаются на различных шагах предлагаемой обработки переходного сигнала в способе временного растяжения фазовым вокодером; и

Фиг.16 показывает графическое представление сигналов, которые формируются на различных шагах временного растяжения.

Далее будут описаны некоторые решения согласно изобретению. Первое воплощение устройства для того, чтобы управлять аудиосигналом, включающим переходный сигнал, будет описано в отношении фиг.1, на которой показан краткий обзор первого решения, а также в отношении фиг.2, 3а-3с, 4, 5а, 5b, 5с, 6 и 7, которые показывают детали компонентов первого решения и операции фазового вокодера (фиг.7). Переходный сигнал показан на фиг.8, и его обработка иллюстрирована на фиг.9 - 11. На фиг.12 приведена блок-схема соответствующего метода.

Далее будет описана процедура построения второго устройства для того, чтобы управлять аудиосигналом, включающим переходный случай, в соответствии с фиг.13-17.

Решение согласно фиг.1

На фиг.1 показана блок-схема устройства для того, чтобы согласно решению изобретения управлять аудиосигналом, включающим переходный сигнал. Устройство, показанное на фиг.1, определяется номером 100. Устройство 100 выполнено с возможностью получить аудиосигнал 110, включающий переходной сигнал, и сформировать на его основе обработанный аудиосигнал 120 с необработанным "естественным" или синтезированным переходным сигналом. Устройство 100 включает модуль замещения переходного сигнала 130, выполненный с возможностью заменить переходную часть сигнала, включающую переходное событие аудиосигнала 110, на часть сигнала замены, приспособленную к энергетическим характеристикам одной или более непереходных частей аудиосигнала, или к энергетической характеристике сигнала переходный части, чтобы получить аудиосигнал с сокращенным переходным сигналом 132. Особенности фазы части сигнала замены могут быть приспособлены к особенностям фазы одной или более непереходных частей аудиосигнала, устройство 100 далее включает процессор сигнала 140, выполненный с возможностью обработки аудиосигнал с сокращенным переходным сигналом 132, чтобы получить обработанную версию 142 аудиосигнала с сокращенным переходным сигналом. Устройство 100 далее включает модуль вставки переходного сигнала 150, выполненный с возможностью объединить обработанную версию 142 аудиосигнала с сокращенным переходным сигналом с переходным сигналом 152 и получить обработанный аудиосигнал 120 с "естественным" необработанным или синтезированным переходным сигналом. Переходный сигнал 152 может быть представлен, в оригинальной или обработанной форме, содержание переходной части сигнала которого было заменено частью сигнала замены в модуле замещения переходного сигнала 130.

Модуль замещения переходного сигнала 130 может далее, опционально, предоставить информацию о переходном сигнале 134, представляющую содержание переходной части сигнала (которая заменена частью сигнала замены в аудиосигнале с сокращенным переходным сигналом 132). Соответственно, информация о переходном сигнале 134 может служить, чтобы "сохранить" содержание переходного аудиосигнала 110, который уменьшен или даже полностью подавлен в аудиосигнале с сокращенным переходным сигналом 132. Информация о переходном сигнале 134 может быть отправлена непосредственно в модуль вставки переходного сигнала 150, чтобы служить переходным сигналом 152. Однако устройство 100 может далее включать дополнительный процессор переходного сигнала 160, который выполнен с возможностью обработать информацию переходную о переходном сигнале 134 и получить оттуда переходный сигнал 152. Например, процессор переходного сигнала 160 может быть выполнен с возможностью выполнения преобразования переходной частоты, смещения переходной частоты, или синтеза переходного сигнала.

Устройство 100 может далее включить, опционально, определитель параметров сигнала 170, выполненный с возможностью определить параметры сигнала 120, чтобы получить аудиосигнал с определенными параметрами для воспроизводства.

Относительно функциональности устройства 100 можно вообще сказать, что устройство 100 позволяет отдельно обрабатывать непереходное содержание аудиосигнала 110 (представленное аудиосигналом с сокращенным переходным сигналом 132) и содержание переходного аудиосигнала 110 (представленного информацией о переходном сигнале 134). Переходные события уменьшены или даже подавлены в аудиосигнале с сокращенным переходным сигналом 132 так, что процессор сигнала 140 может выполнить обработку сигнала, которая ухудшила бы переходные события, и/или на которую негативно воздействуют переходные события. Однако, заменяя переходный сигнал приспособленными к энергии частями сигнала замены, модуль замещения переходного сигнала 130 служит для того, чтобы избежать слышимых искажений, которые были бы введены процессором сигнала 140, если переходные части сигнала будут просто установлены в ноль.

Соответствующее слуховое впечатление также получается с использованием вставки переходного сигнала в модуле вставки переходного сигнала 150. Конечно, слуховое впечатление, как правило, серьезно ухудшалось бы, если бы переходные события были просто устранены. Поэтому переходные сигналы повторно вводятся в обработанный аудиосигнал 142. Повторно введенные переходные сигналы могут быть идентичными переходным сигналам, удаленным из аудиосигнала 110 в модуле замещения переходного сигнала 130. Альтернативно, обработка упомянутых удаленных (или замененных) переходных сигналов может быть выполнена, например в форме преобразования частоты или сдвига частоты. Однако в некоторых решениях повторно вставленные переходные сигналы могут даже быть искусственно сформированы, например, на основе параметров переходных сигналов, описывающих время и интенсивность переходных сигналов.

Детали модуля замещения переходного сигнала.

Далее будет описана функциональность модуля замещения переходного сигнала 130 в соответствии с фиг.2, где представлена блок-схема выполнения модуля замещения переходного сигнала 130. Модуль замещения переходного сигнала 130 получает аудиосигнал 110 и формирует на его основе аудиосигнал с сокращенным переходным сигналом 132.

С этой целью модуля замещения переходного сигнала 130 может например включать датчик переходного сигнала 130а, который выполнен с возможностью обнаружить переходный сигнал и предоставить информацию о промежутке времени переходного сигнала. Например, датчик переходного сигнала 130а может предоставить информацию 130b, являющуюся описанием времени начала и времени окончания переходной части сигнала. В технике известны различные способы обнаружения переходного сигнала, так что их подробное описание здесь будет опущено. Однако в некоторых случаях датчик переходного сигнала 130а может быть выполнен с возможностью отличить переходные сигналы различной длины, таким образом, что длина определенной переходный част сигнала может измениться по зависимости от фактической формы сигнала,

Альтернативно, модуль замещения переходного сигнала может включать экстрактор сторонней информации 130с, например, если сторонняя информация, описывающая выбор промежутков времени переходных сигналов, связана с аудиосигналом 110. В этом случае датчик переходного сигнала 130а может естественно быть опущен. Экстрактор сторонней информации 130с может далее, опционно, быть выполнен с возможностью обеспечения одного или более параметров интерполяции, параметров экстраполяции и/или параметров замены на основе сторонней информации, связанной с аудиосигналом 110. Модуль замещения переходного сигнала 130 далее включает заменитель участка переходного сигнала 130d, например, интерполятор переходной части сигнала или экстраполятор переходной части сигнала. Экстрактор участка переходного сигнала 130е выполнен с возможностью получения аудиосигнала 110 и информации о времени переходного сигнала 130b (сформированной датчиком переходного сигнала 130а или экстрактором сторонней информации 130 с) и заменить переходную часть аудиосигнала 110 частью сигнала замены.

Далее будут описаны детали относительно обнаружения и замены (или удаления) переходных сигналов. В частности подробно будут обсуждены различные методы удаления переходного сигнала.

Переходные сигналы (например, вступление инструмента или ударные сигналы) могут вообще быть описаны как короткий временной интервал, во время которого сигнал быстро развивается непредсказуемым образом. Например, переходный сигнал может быть обнаружен (использование датчика переходного сигнала 130а) путем оценки представления временного интервала аудиосигнала 110. Если представление временного интервала аудиосигнала 110 превышает порог (который может быть изменен во времени), то может быть зафиксировано присутствие переходного события. Временную область, включающую переходное событие, можно рассмотреть как переходную часть сигнала, которая может быть описана информацией о времени переходного сигнала 130b.

Поскольку такие части сигнала (то есть переходные сигналы, или временные интервалы, во время которых сигнал быстро развивается непредсказуемым образом) в идеале не должны быть растянуты во времени, выгодно перед растяжением (которое может быть выполнено процессором сигнала 140) удалить "переходный промежуток времени". Подавление может иметь место в течение всего промежутка времени, который считают "нестационарным". Для ударных инструментов этот период времени главным образом состоит из всего звукового события (например, единственный удар HiHat). Для вступления инструмента может служить так называемая ADSR (Attack Decay Sustain Release реализация поддержки затухания атаки) огибающая, чтобы иллюстрировать переходный период времени.

На фиг.8 показано графическое представление временного развития амплитуды сигнала 800. Абсцисса 810 описывает время, и ордината 812 описывает амплитуду. Кривая 814 описывает временное развитие амплитуды. Как может быть замечено на фиг.8, временное развитие амплитуды включает интервал атаки, интервал затухания, интервал выдержки и интервал завершения. Интервал атаки и интервал затухания можно, например, рассмотреть как "переходную область" или переходную часть сигнала.

Однако было найдено, что для дальнейшей обработки сигнала (например, в процессоре сигнала 140), промежуток аудиосигнала, который вызван подавлением переходного сигнала, должен быть заполнен таким образом, чтобы при прослушивании обработанного сигнала (=сигнала синтеза) (обработанного, например, с использованием процессора сигнала 140) было слуховое восприятие непрерывного, переходного, свободного сигнала без разрывных пауз и модуляций амплитуды.

Для конкретного описанного здесь случая предпочтительно подавить все переходные части оригинального сигнала (например, сигнала 110) в синтезированном сигнале (например, в сигнале 132, сформированным процессором сигнала 140 или, следовательно, в сигнале 142, сформированном процессором сигнала 140), тогда как тональные части и непереходные шумовые компоненты продолжают существовать.

В этой части уже существуют различные подходы, но их целью не является высококачественный переходной подстроенный (или переходной очищенный) сигнал. Относительно этой проблемы можно сослаться, например, на публикацию [Edier].

Относительно эффективности методов обнаружения переходных сигналов и разложения на различные компоненты, таких как, например, "переходные сигналы+шум", могут быть сделаны выводы из соответствующих публикаций [Bello] и [Daudet], которые обеспечивают хорошее и полное представление об общепринятых методиках: ни один из методов явно не превосходит другие; выбор должен управляться соответствующим приложением и доступной вычислительной мощностью.

Из этого следует, что выбор определенных методов обнаружения и разложения может значительно влиять на результат изобретаемого способа. Для квалифицированных специалистов возможно применить любой из различных известных методов, чтобы обеспечить лучшее условие, возможное для соответствующего прикладного сценария.

Концепция замещения переходной части сигнала.

В некоторых прикладных сценариях формируются части сигнала, которые не должны быть оценены как "правильные" или "неправильные" сверкой со справочным сигналом, а должны быть оценены только на основе их хорошего полного звука. Это означает, что решения согласно изобретению не ограничены отделением частей, и исключением переходных компонентов, но могут сформировать синтезированные сигналы, имеющие определенные свойства.

Поэтому формирование синтезированного сигнала (например, формирование сигнала с сокращенным переходным сигналом 132 заменителем участка переходного сигнала 130d) может быть комбинацией разложения сигнала и формирования сигнала (в смысле интерполяции и/или экстраполяции принятого сигнала) во время переходного временного периода. Непереходные компоненты оригинального сигнала могут быть смешаны с компонентами интерполяции/экстраполяции или могут быть заменены на них.

В некоторых решениях согласно данному изобретению экстраполяция может быть эквивалентна формированию синтезированного сигнала с использованием предыдущих величин. Соответственно, экстраполяция может быть осуществлена в реальном времени. Напротив, в некоторых решениях интерполяция может быть эквивалентна формированию синтезированного сигнала с использованием предыдущих и последующих величин. Таким образом, в некоторых случаях, интерполяция может потребовать предвидения.

Суммирование вышеупомянутых различных понятий может быть осуществлено в заменителе участка переходного сигнала 130d для того, чтобы получить аудиосигнал с сокращенным переходным процессом 132.

Например, заменитель участка переходного сигнала 130d может быть выполнен с возможностью уменьшить переходные компоненты от аудиосигнала 110 и получить аудиосигнал с сокращенным переходным процессом. В этом случае заменитель участка переходного сигнала 130d может быть выполнен с возможностью гарантировать, что достаточная энергия, имеющая место в переходной части сигнала, остается в части сигнала замены. Например, компоненты частоты, которые включают фазовую характеристику переходного сигнала, могут быть удалены из аудиосигнала 110, в то время как другие компоненты частоты, которые не включают фазовую характеристику переходного сигнала (например, тональные компоненты частоты), могут быть взяты из переходной части сигнала в часть сигнала замены. Соответственно может быть обеспечено, что часть сигнала замены включает достаточную энергию сигнала, которая не отклоняется слишком сильно от энергии сигнала предыдущих и последующих частей сигнала.

Альтернативно, заменитель участка переходного сигнала 130d может быть выполнен с возможностью получения части сигнала замены с разрушением формирования фазового соотношения в переходной части сигнала. Например, заменитель участка переходного сигнала может быть выполнен с возможностью рандомизировать или (детерминировано) приспособить фазу различных частотных компонентов переходной части сигнала. Соответственно, часть сигнала замены, полученная этим способом, может включить (по крайней мере, приблизительно) ту же самую энергию как переходная часть сигнала (поскольку модификация фазы компонентов частоты не изменяет энергию). Однако временное развитие формы переходного сигнала, описанного частью сигнала замены, может быть потеряно из-за развития переходного сигнала во времени которое основано на определенном отношении фазы различных компонентов частоты и разрушено.

Альтернативно, заменитель участка переходного сигнала 130d может интерполировать, например, временное развитие энергии в различных диапазонах частот на основе непереходной части сигнала, предшествующей переходной части сигнала. Соответственно, содержание части сигнала замены может быть просто основано на экстраполяции содержания непереходной части сигнала, предшествующей переходной части сигнала. Соответственно, содержание переходной части сигнала может быть полностью игнорировано.

Альтернативно, содержание части сигнала замены может быть получено с использованием заменителя участка переходного сигнала 130d, интерполируя между содержанием непереходной части сигнала, предшествующей переходной части сигнала, и непереходной частью сигнала, следующей за переходной частью сигнала. При этом содержание переходной части сигнала снова может быть полностью игнорировано. Интерполяция может быть выполнена, например, в частотно-временной области.

Альтернативно, может использоваться комбинация вышеупомянутых описанных методов, чтобы получить содержание части сигнала замены. Например, непереходное содержание переходной части сигнала (извлеченное, например, путем удаления переходного содержания или разрушения фазового соотношения, формирующего переходный процесс) может быть объединено с содержанием аудиосигнала, полученным путем интерполяции или экстраполяции одной или более переходных частей сигнала. В другом примере может быть разрушено формирующее переходный процесс фазовое соотношение в переходной части сигнала, и может быть измерена энергия переходной части сигнала, чтобы быть приспособленной к энергии смежных непереходных частей сигнала.

Ввиду вышеизложенного можно сказать, что часть сигнала замены синтезируется как на основе только непереходных частей сигнала (например, на основе предшествующих и/или последующих частей переходной части сигнала) (без использования содержания переходной части сигнала), так и на основе только переходной части сигнала, или на основе комбинации одной или более непереходных частей сигнала и переходной части сигнала.

Продолжение концепции формирования аудиосигнала с сокращенным переходным процессом-основы

Далее будет описано продолжение концепции формирования аудиосигнала с сокращенным переходным процессом 132, аспекты которой могут быть применены в любых описанных здесь решениях. Процесс обнаружения и замены описан в патенте WO 2007/118533, на который здесь включена ссылка.

Патент WO 2007/118533 А1 описывает устройство и метод для формирования фонового сигнала окружающего пространства. Этот документ описывает датчик переходного сигнала, который выполнен с возможностью обнаружить интервал времени с переходным сигналом. Датчик переходного сигнала, описанный в WO 2007/118533 А1, может, например, использоваться в качестве реализации (или замены) описанного здесь датчика переходного сигнала 130а. Упомянутый патент далее описывает генератор синтезированного сигнала, который формирует синтезированный сигнал, удовлетворяющий переходному условию и условию непрерывности. Генератор синтезированного сигнала, описанный в WO 2007/118533 А1, может, например, использоваться, чтобы создать заменитель участка переходного сигнала 130d, или может даже использоваться вместо заменителя участка переходного сигнала 130d. Таким образом, концепция формирования синтезированного сигнала, описанная в WO 2007/118533 А1, может использоваться для формирования аудиосигнала с сокращенным переходным сигналом 132 в некоторых решениях данного изобретения.

Продолжение концепции формирования аудиосигнала с сокращенным переходным процессом-дополнения

Как было описано выше (обработка сигнала, включающего переходный процесс, поддерживая хорошее качество слухового восприятия), высокое качество звука формируемого сигнала существенно более важно, чем описано в WO 2007/118533 (Генерация Фонового Сигнала). Метод, описанный в WO 2007/118533, расширен некоторыми шагами, чтобы улучшить качество аудиосигнала.

Например, в дополнение к экстраполяции амплитуды, решение согласно данному изобретению может также включить экстраполяцию или интерполяцию значений фазы, чтобы получить синтезированный сигнал улучшенного качества, у которого нет никаких переходных частей.

Экстраполяция или интерполяция выполняются, например, с использованием линейного предсказания или кодирования с линейным предсказанием (LPC), или линейно и/или сплайнами, или т.п. +взвешенный шум.

В некоторых решениях описанное выше формирование аудиосигнала с сокращенным переходным процессом 132 может быть особенно выгодным, когда оно используется в комбинации с фазовым вокодером, который может быть частью процессора сигнала 140, или который может представлять процессор сигнала 140. В некоторых решениях свойство фазового вокодера (которое, как обычно полагают, является большой проблемой [8]), которое состоит в том, что нет никаких предсказуемых отношений, чтобы использовать предшествующих переходным сигналам фреймы. В некоторых решениях используется факт подавления переходного сигнала, при котором переходный сигнал стирается, вызывая отношения с предыдущими фрагментами. Другими словами, фазы коэффициентов, описывающих различные частотно-временные компоненты замещаемого сигнала на интервале (например, в форме комплексных чисел), являются, например, подстроенными с использованием экстраполяции от предыдущих частотно-временных компонент (предыдущей непереходной части сигнала), или интерполяции между соответствующими частотно-временными компонентами предыдущей непереходной части сигнала и следующей непереходной части сигнала. В публикации [Maher] описан аналогичный метод интерполяции. Методика, представленная в [Maher], работает не в реальном времени, так как требуются также части, которые следуют за промежутком сигнала. Кроме того, [Maher] описывает только обработку "пиков" в аудиосигнале (в отличие от этого, некоторые решения согласно изобретению обрабатывают все частотные линии), и также не имеют явно дело с шумовыми компонентами. Другими словами в некоторых решениях может быть применен способ, описанный в [Maher], для устранения пробелов в аудиосигнале, позволяющий с предлагаемым решением получить аудиосигнал с сокращенным переходным процессом 132, на основе оригинального входного аудиосигнала 110. Вместо того чтобы соединять "недостающую" часть аудиосигнала, идентифицированную как переходная, часть сигнала может быть заменена, используя метод, описанный в [Maher]. Однако интерполяция/экстраполяция может быть выполнена независимо для каждого компонента частоты. Амплитуда и фаза возможно могут быть интерполированы (например, отдельно).

Датчик переходного сигнала 130а

Далее будут описаны некоторые существующие детали относительно описываемого датчика переходного сигнала 130а. Нужно отметить, что может использоваться много различных исполнений датчика переходного сигнала 130а, так что следующие детали можно рассмотреть как примеры одного выгодного выполнения. В некоторых решениях предпочтительны адаптивные пороги для того, чтобы определить временные интервалы переходных сигналов. Обычно адаптивными порогами являются сглаженные версии функции обнаружения, что может привести к существенным колебаниям, и поэтому к пропуску маленьких пиков в среде больших пиков. Детали описаны в публикации [Bello]. Эта проблема может быть решена, например, подходящей адаптацией констант сглаживания в зависимости от обнаруживаемого текущего условия (переходная область/не переходная область) и от развития функции обнаружения (например, атака, затухание).

Далее будут даны некоторые литературные ссылки относительно вышеупомянутых аспектов: [Edier], [Bello], [Goodwin], [Walther], [Maher], [Daudet].

Экстрактор участка переходного сигнала 130е

В дополнение к функциональностям, описанным выше, модуль замещения переходного сигнала 130 может далее включать экстрактор участка переходного сигнала 130е, который может быть выполнен с возможностью получить аудиосигнал 110 (или по крайней мере переходную часть этого сигнала) и предоставить информацию о переходном сигнале 134. Экстрактор участка переходного сигнала 130е может быть выполнен с возможностью предоставить информацию о переходном сигнале 134 в любой возможной форме, например в форме "переходного сигнала на временном интервале сигнала", в форме "представления переходного сигнала в частотно-временной области", или в форме параметров переходного сигнала (например, информация о времени переходного сигнала, и/или информация об интенсивности переходного сигнала, и/или информация о крутизне переходного сигнала и/или любая другая соответствующая информация о переходном процессе).

В частности, экстрактор участка переходного сигнала 130е может быть выполнен с возможностью предоставить информацию переходную о переходном сигнале 134 только для частей сигнала, которые были удалены из аудиосигнала 110, чтобы получить аудиосигнал с сокращенным переходным процессом 132, и чтобы сохранять скорость передачи данных небольшой в разумных пределах.

Альтернативы выполнения процессора сигнала 140 - краткий обзор

Далее будут описаны различные базовые концепции выполнения процессора сигнала 140. На фиг.3а иллюстрируется предпочтительное выполнение процессора сигнала 140, представленного на фиг.1. Это выполнение включает частотно-селективный анализатор 310 и последовательно соединенный блок частотно-селективной обработки 312, которая осуществляется таким образом, что оказывает отрицательное влияние на "вертикальную когерентность" оригинального аудиосигнала. Примером этой частотно-селективной обработки является растяжение сигнала во времени или сокращение сигнала во времени, причем это растяжение или сокращение применены частотно-селективным способом так, чтобы, например, обработка ввела сдвиги фазы в обрабатываемом аудиосигнале, которые отличаются для различных диапазонов частот, фазы могут, например, быть введены таким образом, что переходные процессы подавлены. Процессор сигнала 140, показанный на фиг.3а, может далее, возможно, включать объединитель частот 314, который выполнен с возможностью объединить в единственный сигнал (например, сигнал на временном интервале) различные частотные компоненты обработанного аудиосигнала, сформированного частотно-селективной обработкой 312.

Чтобы выполнить блочную обработку могут использоваться частотно-селективный анализатор 310, который может разделить аудиосигнал с сокращенным переходным сигналом 132 на множество частотных компонентов (например, комплексные спектральные коэффициенты) и объединитель частот 314, который может быть выполнен с возможностью получения представления временного интервала обработанного аудиосигнала 142 на основе множества комплексных спектральных коэффициентов для различных диапазонов частот. Например, частотно-селективный анализатор 310 может обработать (например, обработка функцией окна) блок сэмплов аудиосигнала 132, чтобы получить ряд спектральных комплексных коэффициентов, представляющих аудиосодержание блока сэмплов аудиосигнала. Точно так же дополнительный объединитель частот 314 может получить ряд комплексных коэффициентов (например, один для каждого диапазона частот из множества диапазонов частот) и обеспечить, на основе этого, представление временного интервала, перекрывающее ограниченный временной интервал, включающий множество сэмплов временной области.

Другая предпочтительная обработка сигнала иллюстрирована на фиг.3b в контексте обработки, осуществляемой фазовым вокодером. Вообще, фазовый вокодер включает анализатор подполос/преобразования 320, последовательно соединенный с процессором 322 для того, чтобы выполнить частотно-селективную обработку множества выходных сигналов, сформированных анализатором 320, и последовательно соединенный объединитель подполос/преобразования 324, который объединяет сигналы, обработанные процессором 322 так, чтобы окончательно получить обработанный сигнал 142 во временной области на выходе 326. Обработанный сигнал 142 во временной области, снова, является сигналом с полной полосой для фильтра нижних частот, если полоса пропускания обработанного сигнала 142 больше, чем полоса пропускания, одной ветви, соединяющей блоки 322 и 324, так как объединитель подполос/преобразования 324 выполняет объединение выделенных частотных сигналов.

Более подробная информация об этом фазовом вокодере будет обсуждена ниже в связи данными на фиг.5а, 5b, 5 с, и 6.

На фиг.3с представлено другое возможное выполнение процессора сигнала 140. Как можно заметить, аудиосигнал с сокращенным переходным процессом 132 может быть обработан даже во временной области при использовании некоторых решений. Как правило, обработка во временной области 330, может включать память, такую, что переходный процесс в сигнале 132 оказал бы долговременное влияние на обработанный аудиосигнал 142. В некоторых случаях аудиосигнал с сокращенным переходным процессом 132 вызвал бы переходный отклик в обработанном аудиосигнале 142, который значительно более длинный (например, дольше в 2 раза, или даже в 5 раз, или даже в 10 раз), чем продолжительность переходного процесса (или продолжительность переходной части сигнала). В этом случае переходные процессы в аудиосигнале 132 значительно ухудшили бы нежелательным образом обработанный аудиосигнал 142, например, производя слышимое эхо. Далее, полное удаление переходной части сигнала также оказало бы долговременное влияние на обработанный аудиосигнал 142, потому что полное удаление переходной части сигнала непосредственно вызывает переходный процесс.

Выполнение процессора сигнала с использованием вокодера - банка фильтров

На фиг.5 и 6 иллюстрировано предпочтительное выполнение вокодера, который может использоваться для выполнения процессора сигнала 140, или который может быть частью процессора сигнала 140. На фиг.5а показано выполнение банка фильтров фазового вокодера, где входной аудиосигнал (например, аудиосигнал с сокращенным переходным процессом 132) подается на вход 500, и обработанный аудиосигнал (например, обработанный аудиосигнал 142) получается на выходе 510. В частности, каждый канал схемы банка фильтров, иллюстрированный на фиг.5а, включает полосовой фильтр 501 и расположенный понижающий осциллятор 502. Чтобы получить выходной сигнал на выходе 510 выходные сигналы всех генераторов от каждого канала объединены объединителем, который, например, осуществлен как сумматор и обозначен блоком 503. Каждый фильтр 501 выполнен с возможностью обеспечения амплитудного сигнала с одной стороны и частотного сигнала с другой стороны. Амплитудный сигнал и частотный сигнал - это временные сигналы, иллюстрирующие развитие амплитуды в фильтре 501 во времени, в то время как частотный сигнал представляет развитие частоты сигнала фильтрованного фильтром 501.

Схематически работа фильтра 501 иллюстрирована на фиг.5b. Каждый фильтр 501 на фиг.5а может быть настроен, как показано на фиг.5b, где только частоты f_i, подаваемые на два входных миксера 551 и сумматор 552, различны от канала к каналу. Оба выходных сигналов миксера фильтрованы с использованием фильтра нижних частот 553, где сигналы нижних частот отличаются, поскольку они были сформированы сигналами локального генератора, которые не совпадают на 90°. Верхний фильтр нижних частот 553 обеспечивает квадратурный сигнал 554, в то время как нижний фильтр нижних частот 553 обеспечивает синфазный сигнал 555. Эти два сигнала, то есть I и Q, подаются на преобразователь координат 556, который формирует представление в виде амплитуды и фазы из представления в прямоугольной системе координат. Сигнал магнитуды или сигнал амплитуды в соответствии с фиг.5а во времени формируется на выходе 557. Сигнал фазы подается на блок разворачивания фазы 558. На выходе блока 558 нет более величины фазы, которая всегда лежит между 0 и 360°, но величина фазы увеличивается линейно. Эта "развернутая" величина фазы подается на конвертер фаза/частота 559, который может, например, быть выполнен как простой формирователь разности фаз, который вычитает фазу предыдущего момента времени и фазу текущего момента времени, чтобы получить величину частоты для текущего момента времени. Эта величина частоты добавляется к постоянной величине частоты f_i канала фильтра i, чтобы получить изменяющуюся во времени частоту на выходе блока 560. У величины частоты на выходе блока 560 есть постоянный компонент = f_i и переменный компонент = отклонение частоты, на которую текущая частота сигнала в канале фильтра отклоняется от средней частоты f_i.

Таким образом, как иллюстрировано на фиг.5а и 5b, фазовый вокодер обеспечивает разделение спектральной информации и временной информации. Спектральная информация находится в специальном канале или на частоте f_i, что обеспечивает постоянную компоненту частоты для каждого канала, в то время как временная информация содержится в девиации частоты или магнитуды во времени, соответственно.

На фиг.5с показана манипуляция, которая может быть выполнена в вокодере в позиции вокодера, обозначенной прерывистыми линиями, на фиг.5а.

Для масштабирования времени, например, сигналы амплитуды A(t) в каждом канале или частота сигналов f(t) в каждом сигнале могут быть децимированы или интерполированы, соответственно. В целях перемещения, поскольку это необходимо для данного изобретения, выполняется интерполяция, то есть расширение во времени или распространение сигналов A(t) и f (t), чтобы получить расширенные сигналы A'(t) и f'(t), где интерполяция управляется множителем расширения. С использованием интерполяции девиации фазы, то есть величины перед сложением с постоянной частотой в сумматоре 552, частота каждого отдельного генератора 502 на фиг.5а не изменяется. Временное изменение полного аудиосигнала замедлено в 2 раза. В результате тон, имеющий оригинальный основной тон, расширяется во времени, то есть тон, имеющий оригинальную фундаментальную частоту с гармониками.

Для перемещения частоты может использоваться следующий способ. Путем выполнения обработки сигнала, иллюстрированной на фиг.5с, где такая обработка выполняется в каждом канале банка фильтров, представленного на фиг.5а, и децимирования получающегося сигнала во времени, аудиосигнал может быть сокращен назад к его оригинальной продолжительности, в то время как все частоты удвоены одновременно. Это приводит к перемещению основного тона на множитель 2, причем у полученного аудиосигнала та же самая длина, как и у оригинального аудиосигнала, то есть то же самое число сэмплов.

Выполнение процессора сигнала с использованием вокодера - преобразователя

Поскольку альтернативное выполнение банка фильтров иллюстрировано на фиг.5а, выполнение преобразования фазовым вокодером может быть реализовано, как изображено на фиг.6. Здесь, аудиосигнал 132, в виде последовательности временных сэмплов, подается на процессор FFT (БПФ Быстрое Преобразование Фурье), или более широко, на процессор преобразования Фурье на коротком временном интервале 600. Процессор БПФ 600, показанный схематично на фиг.6, выполнен с возможностью осуществить временную обработку аудиосигнала функцией окна, чтобы затем путем БПФ вычислить спектральные амплитуды и фазы, причем это вычисление выполняется для последовательности спектрограмм, которые связаны с сильно перекрывающимися блоками аудиосигнала.

В крайнем случае, для каждого нового сэмпла аудиосигнала может быть вычислен новый спектр, причем новый спектр может быть вычислен также, например, только для каждого двадцатого нового сэмпла. Этот интервал «а» между двумя спектрами, представленный в образцах, предпочтительно определяется контроллером 602. Контроллер 602 далее выполнен с возможностью формирования сигнала, подаваемого на процессор обратного БПФ 604, который выполнен с возможностью осуществлять в операции по перекрытию. В частности, процессор обратного БПФ 604 осуществлен таким образом, что он выполняет преобразование, обратное преобразованию Фурье на коротком временном интервале, выполняя одно обратное БПФ спектрограммы, основанной на магнитуде и фазе модифицированной спектрограммы, чтобы затем осуществить операцию перекрытия и сложения, в результате которой получается результирующий временной сигнал. Операция перекрытия и сложения устраняет эффекты аналитического окна.

Расширение сигнала во времени достигнуто путем обеспечения расстояния b между двумя спектрограммами, поскольку они обработаны процессором обратного БПФ 604, что является большим расстоянием, чем расстояние между спектрами при формировании спектрограмм с использованием БПФ. Основная идея состоит в том, чтобы расширить аудиосигнал обратными БПФ просто путем расположения с интервалами в отличие от анализа с использованием последовательности БПФ. В результате временные изменения в синтезируемом аудиосигнале происходят более медленно, чем в оригинальном аудиосигнале.

Без повторного масштабирования фазы в блоке 606 это, однако, привело бы к искажениям. Пусть, например, рассматривается один единственный частотный компонент, для которого реализуются последовательные величины фазы 45°, это подразумевает, что сигнал в пределах банка фильтров увеличивается по фазе со скоростью 1/8 за цикл, то есть на 45° за временной интервал, причем временной интервал здесь является временным интервалом между последовательными БПФ. Если теперь обратные БПФ располагаются дальше друг от друга, то увеличение фазы на 45° происходит через более длительный временной интервал. Это означает, что из-за фазы происходит несоответствие в последующем наложении и сложении, что происходит процесс, приводящий к нежелательному завершению сигнала. Чтобы устранить это искажение, фаза повторно масштабируется (перемасштабируется) с тем же самым коэффициентом, с которым аудиосигнал был расширен во времени. Фаза каждой спектральной величины БПФ, таким образом, увеличена с использованием коэффициента b/а так, чтобы описанное несоответствие было устранено.

В то время как в решении, иллюстрированном на фиг.5с, расширение интерполяцией управляющих сигналов амплитуды/частоты было достигнуто для одного генератора сигнала в банке фильтров, показанном на фиг.5а, расширение на фиг.6 достигнуто созданием расстояния между двумя спектрограммами обратного БПФ, большего, чем расстояние между двумя спектрограммами после БПФ, то есть b должно быть больше чем а, причем, однако, для предотвращения искажений перемасштабирование фазы выполняется с коэффициеном b/а.

Подробное описание фазовых вокодеров сделано в следующих публикациях:

"The phase Vocoder: A tutorial", Mark Dolson, Computer Music Journal, vol. 10, no. 4, pp.14 - 27,1986, or "New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects", L. Laroche und M. Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics. New Paltz, New York, October 17-20,1999, pages 91 to 94; "New approached to transient processing interphase vocoder", A. Röbel, Proceeding of the 6th international conference on digital audio effects (DAFx-03), London, UK, September 8-11, 2003, pages DAFx-1 to DAFx-6; "Phase-locked Vocoder", Meller Puckette, Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics, or US Patent Application Number 6,549,884.

В следующем примере будет кратко описана функциональность фазового вокодера, основанного на преобразовании, который изображен на фиг.7. На фиг.7 показано схематическое представление операций алгоритма фазового вокодера с размером скачка при синтезе, отличающимся от размера скачка при анализе, например в 2 раза.

В фазовом вокодере используется алгоритм (PV), изменяющий продолжительность сигнала, без изменения его основного тона [В9]. В этом алгоритме сигнал разделяется на так называемые частицы, которые представляют вырезки сигнала, обработанного функцией окна, с длиной, как правило, в диапазоне приблизительно десяти миллисекунд. Частицы перестраиваются, перекрываются и складываются в результате OLA размером скачка при синтезе, отличающимся от размера скачка при анализе. Чтобы растянуть сигнал с масштабным коэффициентом, например 2, размер скачка при синтезе является двойным размером скачка при анализе. На фиг.7 иллюстрируется алгоритм.

Модуль вставки переходного сигнала

Далее в соответствии с фиг.4 будет описано предпочтительное выполнение показанного на фиг.1 модуля вставки переходного сигнала 150.

Модуль вставки переходного сигнала 150 включает, как ключевой компонент, объединитель сигнала 150а. Объединитель сигнала 150а выполнен с возможностью получения и обработки аудиосигнала 142 и переходного сигнала 152, и формирования на основе этих сигналов обработанного аудиосигнала 120. Объединитель сигнала 150а может, например, быть выполнен с возможностью выполнить сложную замену, с использованием переключения, части обработанного аудиосигнала 142 частью переходного сигнала 152. Однако в предпочтительном решении, объединитель сигнала 150а может быть выполнен с возможностью сформировать плавное наложение между обработанным аудиосигналом 142 и переходным сигналом 152 таким образом, что создается гладкий переход между указанными сигналами 142, 152 в пределах обработанного аудиосигнала 120.

Модуль вставки переходного сигнала 150 может быть выполнен с возможностью определить оптимальный коэффициент вставки. Например, модуль вставки переходного сигнала 150 может включать калькулятор 150b для того, чтобы вычислить длину вставляемого участка переходного сигнала. Вычисление этой длины вставляемого участка переходного сигнала может быть важным, например, если длина замененной переходной части (как определено, например, датчиком переходного сигнала 130а) является переменной в зависимости особенностей сигнала. Чтобы определить длину переходной части вставки, в случае если обработанный аудиосигнал 142 включает различную длину (или различное число сэмплов в секунду, или различное полное число сэмплов) по сравнению с оригинальным входным аудиосигналом 110, калькулятором 150b может быть определен коэффициент расширения или коэффициент сжатия. Детальное обсуждение этого изменения длины будет дано ниже, включая ссылки на фиг.10 и 11.

Модуль вставки переходного сигнала 150 может далее включать калькулятор 150с для того, чтобы вычислить положение вставки. В некоторых случаях для вычисления положения вставки следует принять во внимание растяжение или сжатие обработанного аудиосигнала 142. В некоторых случаях предпочтительно, чтобы отношения между непереходным содержанием аудиосигнала и переходным содержанием сигнала (например, отношения во времени) в обработанном аудиосигнале 120 были по крайней мере приблизительно идентичны отношениям во времени указанного непереходного аудиосодержания и указанного переходного аудиосодержания в оригинальном входном аудиосигнале 110. Однако в дополнение к предварительному вычислению соответствующего положения вставки переходного сигнала может быть выполнена точная настройка указанного положения вставки. Например, калькулятор 150с для того, чтобы вычислить положение вставки может быть выполнен с возможностью прочитать обработанный аудиосигнал 142 и переходный сигнал 152 и определить момент времени вставки на основе сравнения обработанного аудиосигнала 142 и переходного сигнала 152.

Детали относительно возможного вычисления положения вставки (перевставки) будут описаны ниже с использованием ссылок на примеры, иллюстрированные на фиг.10 и 11.

Возможные временные соотношения

Далее со ссылкой на фиг.9 будут описаны детали возможных временных соотношений. На фиг.9 показано графическое представление обработки различных блоков оригинального входного аудиосигнала 110. Первое графическое представление 910 описывает временное развитие оригинального входного аудиосигнала 110, где абсцисса 912 определяет время. Входной аудиосигнал 110 включает переходную часть сигнала 920, длина которого может быть переменной. На графическом представлении 910 показаны синхронизация, обработка интервалов, или обработка блоков 922а, 922b, 922 с процессором сигнала 140. Как может быть замечено, продолжительность переходной части сигнала 920 может быть меньше, чем продолжительность во времени интервалов обработки 922а, 922b, 922 с. В некоторых случаях, однако, временная продолжительность переходной части сигнала может даже быть больше, чем временная продолжительность обрабатываемых интервалов, или быть больше чем один обрабатываемый интервал. В некоторых случаях обрабатываемые интервалы 922а, 922b, 922с могут также перекрываться во времени.

Графическое представление 930 показывает аудиосигнал с сокращенным переходным сигналом 132, который может быть получен заменой переходного сигнала, выполненной в модуле замещения переходного сигнала 130. Как может быть замечено, переходная часть сигнала 920 была заменена частью сигнала замены.

Графическое представление 950 описывает обработанный аудиосигнал 142, который может быть получен, например, используя блочную обработку аудиосигнала с сокращенным переходным сигналом 132. Обработка может, например, быть выполнена, используя фазовый вокодер и уменьшение частоты дискретизации. В этой обработке блоки, возможно, могут быть обработаны оконной функцией, возможно, чтобы блоки также перекрывались.

Дальнейшее графическое представление 970 показывает обработанный аудиосигнал 120, в который был повторно вставлен переходный сигнал (или его модифицированная версия) в модуле вставки переходного сигнала 150.

Важно отметить, что переходная часть сигнала 920 оказала бы влияние на весь блок 1", если бы переходная часть сигнала 920 рассматривалась в блочной обработке, поскольку энергия переходного сигнала, как правило, распространяется по всему блоку в такой блочной обработке. Таким образом, если бы переходную часть сигнала нужно было рассмотреть в блочной обработке, полная энергия блока была бы возможно сфальсифицирована переходной энергией. Далее, переходный сигнал, как правило, распространялся бы (то есть расширялся бы), если бы переходный сигнал был затронут блочной обработкой. Напротив, отдельная обработка переходного сигнала учитывает ограничение воздействия переходного сигнала к временному интервалу 1" обработанного аудиосигнала 120, который связан с переходным процессом. Расширения переходной части сигнала на полный блок блочной обработки сигнала в процессоре сигнала 140 можно избежать. Продолжительность переходной части сигнала в обработанном аудиосигнале 120 может быть определена обработкой переходного сигнала, выполненной процессором переходного сигнала 160. Альтернативно, при желании возможно вставить переходную часть сигнала 920 в обработанный аудиосигнал 142 в его оригинальной продолжительности. Таким образом нежелательного распространения энергии переходного сигнала в процессоре сигнала 140 можно избежать.

Время распространения аудиосигнала

Как может быть замечено из описания, данного выше, предлагаемые способы управления аудиосигналом, включающим переходное событие, могут быть применены во многих различных решениях. Например, упомянутый способ может быть применен в любой обработке аудиосигнала, в которой переходные процессы были бы ухудшены обработкой сигнала, и в котором, однако, желательно оставить переходные процессы. Например, много типов нелинейной обработки аудиосигнала привели бы к серьезно ухудшенным результатам в присутствии переходных процессов. Некоторые типы фильтрации во времени, кроме того, были бы значительно затронуты присутствием переходных процессов. Далее, блочная обработка аудиосигнала, как правило, ухудшалась бы с присутствием переходных процессов, поскольку энергия переходных процессов размазывается по всему блоку обработки, что приводит к слышимым искажениям.

Однако растяжение аудиосигналов во времени, как можно полагать, является наиболее важным применением концепции управления аудиосигналом, включающим переходный случай. Поэтому далее будут описаны детали относительно этой концепции.

Далее, чтобы способствовать пониманию преимуществ данного изобретения будут описаны некоторые недостатки обычных способов растяжения аудиосигналов во времени. Растяжение аудиосигналов во времени фазовым вокодером включает "смазывание" части сигнала, соответствующего переходному процессу, с использованием дисперсии, при этом ослабляется так называемая вертикальная когерентность сигнала (в смысле определенного фазового соотношения между компонентами различных диапазонов частот). Методы OLA, в которых используется так называемое наложение и сложение, могут сформировать разрушающее предварительное и задержанное эхо переходных звуковых событий. Эти проблемы могут действительно быть резко выраженными при растяжении сигнала во времени в присутствии переходных процессов. Если должно иметь место перемещение, то фактор перемещения больше не будет постоянным в присутствии переходных процессов, т.е. структура основного тона налагаемого сигнала (возможно тонального) будет изменена и будет воспринята как разрушающий всплеск.

Если переходные процессы вырезаны и получающийся временной промежуток растянут, в след за этим должен будет быть заполнен очень большой промежуток. Если переходные процессы следуют близко за друг другом, большие промежутки могли бы возможно наложиться.

Далее описан новый способ преобразования сигналов. Методика, представленная здесь, решает упомянутые выше проблемы.

Согласно этому методу, участок, обработанный оконной функцией и содержащий переходный процесс, интерполирован или экстраполирован из обрабатываемого сигнала (например, оригинального входной аудиосигнала 110). Если приложение критично во времени, то есть если нужно избежать задержки, предпочтительно может быть выбрана экстраполяция. Если будет известно будущее за счет так называемого предвидения, и если задержка не будет играть слишком важную роль, то будет предпочтена интерполяция.

В некоторых решениях метод может по существу состоять из следующих шагов, иллюстрированных на фиг.10 и 11.

1. Распознание переходного процесса;

2. Определение продолжительности переходного процесса;

3. Сохранение переходного процесса;

4. Экстраполяция и/или интерполяция;

5. Применение фактического метода, например фазового вокодера;

6. Перевставка (вставка) сохраненного переходного процесса; и

7. Возможно (опционно) передискретизация (для модификации частоты дискретизации).

Когда выполнена эта последовательность, продолжительность времени переходного процесса сокращена за счет понижения частоты дискретизации. Если это не желательно, переходный процесс может быть преобразован таким образом, чтобы находиться в пределах желаемого диапазона частот прежде, чем он будет повторно вставлен после осуществления изменений (при этом шаги 6 и 7 меняются местами).

Далее будут описаны некоторые детали в отношении фиг.10. На фиг.10 показано графическое представление различных сигналов, которые могут появиться в решении устройства 100, представленного на фиг.1. Представление фиг.10 определяется номером 1000. Представление сигнала 1010 описывает временное развитие оригинального входного аудиосигнала 110. Как может быть замечено, входной аудиосигнал 110 включает переходную часть сигнала 1012, переменная длина (или продолжительность) которого может быть определена датчиком переходного сигнала 130а с использованием адаптации к сигналу. Переходная часть сигнала 1012 может быть удалена и заменена частью сигнала замены в модуле замещения переходного сигнала 130. Соответственно, может быть получен аудиосигнал с сокращенным переходным процессом 132, который показан на рисунке сигналом 1020. Часть сигнала замены, замещающая переходную часть сигнала 1012, показана с номером ссылки 1022. Аудиосигнал с сокращенным переходным процессом 132 может быть обработан блочным способом, где различные окна обработки (которые определяют степень детализации блочной обработки, и также определяются как "частицы") показаны в представлении сигнала 1030. Например, для каждого блока (или "частицы") может быть получен ряд спектральных коэффициентов, чтобы сформировать представление аудиосигнала с сокращенным переходным процессом 132 в области частоты-времени. В пределах представления в области частоты-времени аудиосигнала с сокращенным переходным процессом 132 может быть применена обработка вокодером фазы, такая, что будет получен сигнал увеличенной продолжительности. С этой целью могут быть получены коэффициенты интерполяции области частоты-времени. Коэффициенты в области частоты-времени тогда могут использоваться для того, чтобы сформировать сигнал временного интервала с поддержкой основного тона, временная продолжительность которого расширена по сравнению с оригинальным входным аудиосигналом. Другими словами число периодов сигнала увеличивается. Сигнал, полученный в результате работы фазового вокодера, показан в представлении сигнала ссылкой с номером 1040. Как может быть замечено на графическом представлении 1040, так называемая "вырезанная область переходного процесса", в которую была вставлена часть сигнала замены, чтобы заменить переходную часть сигнала, является временем, сдвинутым относительно временного положения переходной части сигнала в оригинальном входном аудиосигнале 110 (при рассмотрении относительно начала входного аудиосигнала).

Впоследствии, переходная часть сигнала, которая была ранее заменена, повторно вставляется, например в модуле вставки переходного сигнала 150. Например, переходная часть сигнала, описанная переходным сигналом 152, может быть плавно наложена в обработанную версию 142 аудиосигнала с сокращенным переходным процессом. Результат перевставки переходного сигнала показан в графическом представлении под номером 1050.

В последующей процедуре снижения частоты дискретизации (субдискретизации) может быть уменьшена временная продолжительность обработанного аудиосигнала 120. Субдискретизация может, например, быть выполнена определителем параметров сигнала 170. Субдискретизация может, например, включать изменение масштабирования времени. Альтернативно, ряд сэмплов может быть сокращен. Как следствие временная продолжительность субдискретизированного сигнала уменьшается по сравнению с сигналом, сформированным фазовым вокодером. В то же самое время субдискретизацией может быть поддержан ряд периодов по сравнению с сигналом, сформированным фазовым вокодером. Соответственно, основной тон субдискретизированного сигнала, который показан в представлении сигнала номером 1050, может возрасти по сравнению с сигналом, обеспеченным фазовым вокодером (показанный в представлении сигнала номером 1040).

На фиг.11 показано другое представление сигналов, появляющихся в другом решении устройства 100, показанного на фиг.1. Обработка подобна обработке, показанной на фиг.10, так что здесь будут описаны только различия в обработке, таким образом, что идентичные представления сигнала и особенности сигнала будут определяться идентичными справочными цифрами на фигурах 10 и 11.

В обработке сигнала, представленной в представлении сигнала 1100, субдискретизация выполнена перед перевставкой переходного сигнала. Таким образом, представление сигнала 1150 показывает субдискретизированный сигнал без вставленной переходной части. Однако переходная часть сигнала перемещена в частоте с использованием операции по изменению частоты переходного сигнала 1160, которая может быть выполнена процессором обработки переходного сигнала 160. Перемещенный по частоте переходный сигнал (перемещенный по частоте сигнал в отношении переходной части сигнала, замененной в модуле замещения переходного сигнала 130) может быть повторно вставлен в субдискретизированный обработанный аудиосигнал 142 модулем вставки переходного сигнала 150. Результат перевставки переходного сигнала показан в представлении сигнала 1170.

Подстройка переходной части сигнала

Далее это будет описано, как переходный сигнал 152 может быть объединен с обработанным аудиосигналом 142 с использованием модуля вставки переходного сигнала 150. Например, модуль вставки переходного сигнала 150 может быть выполнен с возможностью вырезать переходную область из обработанного аудиосигнала 142, в которую должен быть вставлен переходный сигнал 152. Здесь можно считать, что граничные части переходного сигнала 152 могут наложиться во времени с граничными частями предназначенной для вырезания области переходного процесса. При этом между накладывающимися граничными областями обработанного аудиосигнала 142 и переходного сигнала 152 может иметь место кроссфейд. Переходный сигнал 152 может также быть перемещен во времени относительно обработанного аудиосигнала 142 так, что форма сигнала граничных областей покрываемой переходной части будет приведена в хорошее соглашение с формой сигнала граничных областей переходного сигнала 152.

Точная подстройка может быть выполнена путем вычисления максимума поперечной корреляции краев получающегося разрыва с краями переходной части (где разрыв может быть вызван вырезанием переходной области из обработанного аудиосигнала 142). Таким образом субъективное качество звука переходного процесса больше не ослабляют эффекты эха и дисперсия.

Может быть выполнено точное определение положения переходного процесса с целью выбора подходящей области вырезания, например, с использованием плавающего вычисления центра тяжести энергии за подходящий промежуток времени.

Оптимальная подстройка переходного процесса в соответствии с максимальной взаимной корреляцией может потребовать небольшого смещения во времени относительно начальной позиции переходного процесса. Из-за существования эффектов предварительной маскировки во времени и, в частности, постмаскировки положение вставки переходного сигнала не точно соответствует оригинальному положению. В этом контексте из-за более длинного периода действия постмаскировки должен преобладать сдвиг переходного процесса в положительном направлении времени. При вставке оригинальной части сигнала изменение в частоте осуществления выборки приводит к изменению в тембре, или основном тоне. Однако это вообще замаскировано переходным процессом посредством механизмов физикоакустической маскировки.

Обработка переходного сигнала

Если переходный процесс (сигнал) должен быть менее тональным до перевставки, чем вырезанный, например, потому что он просто должен быть добавлен к обработанному сигналу, соответствующая обработанная функцией окна переходная часть должна будет быть обработана подходящим образом. В этом контексте может быть проведено обратное (LPC) фильтрование.

Альтернативный подход кратко описан следующими шагами.

1. Нахождение преобразования Фурье на коротком времени (КВПФ) (например, переходной части сигнала, описанной информацией о переходном сигнале 134), чтобы

получить спектрограмму;

2. Нахождение Кепстра (например, спектрограммы переходной части сигнала);

3. Фильтрование кепстра с использование фильтра высоких частот (первые коэффициенты установлены в 0), чтобы получить фильтрование спектрограммы с использованием фильтра высоких частот;

4. Деление спектрограммы (например, переходной части сигнала) с использованием фильтрованной спектрограммы (например, переходной части сигнала), чтобы получить сглаженную спектрограмму; и

5. Обратное преобразование (например, сглаженной спектрограммы) во временной интервал (например, чтобы получить обработанный переходный сигнал 152).

Получающиеся выставки сигнала (по крайней мере, приблизительно) имеют ту же самую спектральную огибающую, что и выходной сигнал, но с потерей тональных частей.

Метод

Решение согласно изобретению включает способ управления аудиосигналом, включающим переходное событие. На фиг.12 показана блок-схема такого способа 1200.

Способ 1200 включает шаг 1210 замещения участка переходного сигнала, включающего переходное событие аудиосигнала на участок замены, адаптированный к энергетическим характеристикам одного или более непереходных участков сигнала, или адаптированный к энергетической характеристике участка переходного сигнала, чтобы получить аудиосигнал с сокращенным переходным сигналом.

Метод 1200 далее включает шаг 1220 обработки аудиосигнала с сокращенным переходным сигналом, чтобы получить обработанную версию аудиосигнала с сокращенным переходным сигналом.

Метод 1200 далее включает шаг 1230 объединения обработанной версии аудиосигнала с сокращенным переходным сигналом и переходного сигнала, представляющего в оригинальной или обработанной форме переходное содержание участка переходного сигнала.

Метод 1200 может быть добавлен к любой из описанных здесь возможностей или функциональностей в отношении вышеупомянутого предлагаемого устройства.

Другими словами, хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют шагу способа или особенности шага способа. Аналогично аспекты, описанные в контексте шага способа, также представляют описание соответствующего блока или пункта или особенности соответствующего устройства.

Компьютерная программа

В зависимости от определенных требований выполнения, воплощения изобретения могут быть осуществлены в аппаратурных средствах или в программном обеспечении. Выполнение может быть выполнено с использованием цифрового носителя данных, например дискеты, DVD, Blue-Ray, CD, ROM, PROM, EPROM, EEPROM или Флэш-памяти, на которых сохранены с помощью электроники удобочитаемые управляющие сигналы, которые вслед за тем работают (или способны к работе) совместно с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Поэтому цифровой носитель данных может быть выполнен с возможностью чтения компьютером.

Некоторые решения согласно изобретению включают носитель информации, формирующий с помощью электроники удобочитаемые управляющие сигналы, которые способны к взаимодействию с программируемой компьютерной системой, так, что выполняется один из описанных здесь способов.

Вообще, решения данного изобретения могут быть выполнены как компьютерная программа с программными кодами, выполненными с возможностью реализации одного из способов, когда компьютерная программа выполняется на компьютере. Код программы может, например, быть сохранен на машиночитаемом носителе.

Другие решения включают компьютерную программу для того, чтобы выполнить один из описанных здесь способов, сохраненный на машиночитаемом носителе.

Другими словами решением изобретенного способа поэтому является компьютерная программа, имеющая код программы для того, чтобы выполнить один из описанных здесь способов, когда компьютерная программа выполняется на компьютере.

Поэтому дальнейшим воплощением изобретенных способов является носитель информации (или цифровой носитель данных, или удобочитаемая компьютером среда), включающий записанную на нем компьютерную программу для того, чтобы выполнить один из описанных здесь способов.

Поэтому дальнейшим воплощением изобретенного способа является поток данных или последовательность сигналов, представляющих компьютерную программу для того, чтобы выполнить один из описанных здесь способов. Поток данных или последовательность сигналов может, например, формироваться так, чтобы быть переданными через систему передачи данных, например через Интернет.

Дальнейшее решение включает средство обработки, например компьютер, или программируемое логическое устройство, выполненное с возможностью осуществить один из описанных здесь способов.

Дальнейшее воплощение включает компьютер с установленной компьютерной программой для того, чтобы выполнить один из описанных здесь методов.

В некоторых решениях может использоваться программируемое логическое устройство (например, FPGA - программируемая пользователем вентильная матрица), чтобы выполнить некоторые или все функции описанных здесь методов. В некоторых решениях программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнить один из описанных здесь способов. Вообще, способы предпочтительно выполняются любым устройством, относящимся к аппаратурным средствам.

Выводы

Чтобы суммировать вышеупомянутое, воплощения согласно данному изобретению включают новый способ рассмотрения звуковых событий, которые не должны быть или не могут быть обработаны посредством существующих алгоритмов обработки (например, использование процессора сигнала). В некоторых решениях разработанный способ по существу состоит из экстраполяции или интерполяции части сигнала, содержащей звуковые события, которые должны быть обработаны отдельно. После обработки выделенные части переходного сигнала рассматриваются отдельно и добавляются снова. Эта обработка не ограничена растяжением во времени или по частоте, но может вообще использоваться при обработке сигнала, когда существующая обработка сигнала вредна для переходной части сигнала (или если она отрицательно затрагивает переходные части сигнала).

Далее описаны некоторые преимущества нового способа, который может быть реализован в некоторых из решений. В новом способе существенно учтены искажения (такие как дисперсия, предварительное эхо и задержанное эхо), которые могут возникнуть во время обработки переходного сигнала, использования способов растяжения и перемещения. Устранено потенциальное ухудшение качества накладываемых (возможно тональных) частей сигнала.

Решения согласно изобретению могут быть применены в различных областях. Способ является, например, подходящим для любых аудиорешений, где должны быть изменены скорости формирования аудиосигналов, или их передачи.

Подводя итог, были описаны позволяющие избежать искажений средства и метод для раздельной обработки звуковых событий в аудиосигналах.

Решение 2

Другое решение изобретения будет описано согласно фиг.13-16.

Во-первых, будут обсуждены детали относительно обнаружения переходного сигнала. Впоследствии будет объяснена обработка переходного сигнала в соответствии с фиг.13 и 14. Результаты обработки переходного сигнала будут обсуждены в отношении фиг.15. Дополнительные усовершенствования обработки переходного сигнала будут объяснены в отношении фиг.16. Кроме того, будет дана оценка производительности решения, и будут сделаны некоторые заключения.

Воплощение 2 - обнаружение переходного сигнала.

Чтобы осуществить предлагаемый способ, замену переходных процессов и для раздельной обработки переходных процессов, важно обнаружить присутствие переходных процессов.

Помимо приложения растяжения времени, широкий диапазон методов обработки сигнала требует знания о переходном содержании аудиосигнала. Значимыми примерами являются: определение размера блока (В.Edier, "Coding of audio signals with overlapping block transform and adaptive window functions (in German)", Frequenz, vol. 43, no. 9, pp.252-256, Sept. 1989), или отдельное кодирование переходных и стационарных сигналов (Oliver Niemeyer and Bemd Edier, "Detection and extraction of transients for audio coding", in AES 120 th Convention, Paris, France, 2006), в кодер-декодерах аудио преобразования, модификации переходных компонентов (М.М. Goodwin and С.Avendano, "Frequency-domain algorithms for audio signal enhancement based on transient modifiation", Journal of thr Aution Engineering Society, voi. 54, pp.827-840, 2006), сегментации аудиосигнала (Р.Brossier, J.P.Bello, and M.D.Plumbley, "Real-time temporal segmentation of note objects in music signals", in ICMC, Miami, USA, 2004). Столь же многочисленными, как их приложения, являются способы обнаружения переходных процессов. Обычно обнаружение выполняется путем вычисления функции обнаружения (J.P. Bello, L. Daudet, S. Abdallah, С.Duxbury, M. Davies, and M.B. Sandier, "A tutorial on onset detection in music signals", Speech and Audio Processing, IEEE Transactions vol. 13, no. 5, pp.1035-1047, Sept. 2005), то есть функции с местными максимумами, совпадающими с возникновением переходных процессов. Различные предложенные способы получают такую функцию обнаружения, исследуя (взвешенную) магнитуду или энергетическую огибающую сигналов подполос, сигнал широкого диапазона частот, его производную или его функции относительной разницы (см., например, (A.Klapuri, "Sound onset detection by applying psychoacoustic knowledge", in ICASSP, 1999) и (P. Masri and A. Batcman, "Improved modelling of attack transients in music analysis-resynthesis", in ICMC, 1996)).

Другие методы вычисляют отклонение между измеренной и предсказанной фазой (см., например, С.Duxbury, M. Davies, and M. Sandier, "Separation of transient information in musical audio using multiresolution analysis techniques", in DAFX, 2001), объединенный анализ магнитуд и фаз сигналов подполос (см., например, С.Duxbury, M. Sandier, and M. Davies, "A hybrid approach to musical note onset detection", in DAFX, 2002), или ошибку, сделанную на основе адаптивного линейного предсказания (см., например, W-C. Lee and C-C. 1 Kuo, "Musical onset detection based on adaptive linear prediction", in ICME, 2006). Выбор пиков присутствующего переходного процесса и его локализация во времени получается или при бинарном рассмотрении, или применяется непрерывная функция обнаружения, чтобы управлять поведением модуля модификации (см., например, Ret M. M. Goodwin and С.Avendano, "Frequency-domain algorithms for audio signal enhancement based on transient modifiation", Journal of the Audio Engineering Society, vol. 54, pp.827-840, 2006).

При бинарном анализе неправильные назначения из-за потери размерности на стадии обнаружения могут вызвать серьезные ухудшения в некоторых решениях. Для существующего алгоритма ложное отрицание (то есть пропавший переходной процесс) было бы хуже, чем ложное положительное (то есть обнаружение несуществующего переходного процесса). Первое привело бы к размазанному переходному компоненту, в то время как последнее приводит только к лишней интерполяции, если интерполяция выполнена должным образом.

Полученные в итоге взвешенные абсолютные величины преобразованных блоков на базе преобразования Фурье на коротком промежутке времени используются для обнаружения переходных областей. Эта функция показывает отмеченные повышения во время атаки переходных процессов и также способна к указанию на затухание ударных сигналов и связанной реверберации. Собирание пиков на сглаженной функции обнаружения было осуществлено с использованием адаптивного порога, основанного на вычислении процентиля как описано, например, в Ref. J.P.Bello, L.Daudet, S.Abdallah, C.Duxbury, M.Davies, and M.B.Sandier, "A tutorial on onset detection in music signals", Speech and Audio Processing, IEEE Transactions on vol. 13, nо. 5, pp.1035-1047, Sept. 2005.

Суммируя сказанное, в искусстве известны различные способы для обнаружения переходного процесса, которые могут быть применены в предлагаемом устройстве. Например, вышеупомянутый способ для обнаружения переходного процесса может использоваться в датчике переходного сигнала 130а модуля замещения переходного сигнала 130.

Решение 2 - обработка переходного сигнала

Далее будет описана обработка переходного процесса, в соответствии с фиг.13 и 14. На фиг.13 показано графическое представление удаления переходного сигнала и интерполяция. Фиг.14 показано графическое представление растяжения времени и перевставки переходного сигнала. Таким образом, схематические представления на фиг.13 и 14 иллюстрируют последовательность шагов обработки представленного алгоритма.

Первая строка 1310 на фиг.13 показывает оригинальный сигнал (то есть аудиосигнал 110), содержащий переходное событие 1312. В ответ на (или в процессе) обнаружения этого переходного сигнала 1312 определена (например, датчиком переходного сигнала 130а) область переходного сигнала (например, простирающаяся от положения начала области переходного сигнала 1314 до положения конца области переходного сигнала 1316), который впоследствии вычтен из сигнала. Другими словами, во-первых, переходный сигнал обнаружен и обработан оконной функцией. Во-вторых, он вычтен из сигнала. Сигнал, в котором вычтен переходный процесс, показан в [В20]. Сам переходный сигнал сохранен для более позднего использования. До этого шага алгоритм идентичен описанному в [В8] алгоритму, несмотря на то что предназначенное для вырезания окно, используемое здесь, является прямоугольным (прерывистая толстая линия). Для хранения переходного сигнала предшествует и добавлен охранный интервал в течение нескольких миллисекунд, и окно сужено (тонкая сплошная линия), чтобы определить области кросфейда для гладкой перевставки сохраненного переходного процесса в интервал времени, соответствующий удаленным свободным переходным сигналам.

Впоследствии, самой важной особенностью изобретенного алгоритма согласно существующему решению является применение интерполяция для того, чтобы дополнить промежуток. Другими словами, окончательно получающийся промежуток заполнен с использованием интерполяции. Результат интерполяции может быть замечен в нижнем ряду на фиг.13 в отношении номера 1330. Поскольку сигнал обычно квазипостоянен после интерполяции, он может теперь быть растянут, без создания искажений. Результат этого растяжения иллюстрирован в первом ряду на фиг.14 в отношении номера 1410. Переходная область в перемещенном положении идентифицирована и подготовлена к перевставке прежде сохраненного и обработанного оконной функцией переходного сигнала. Поэтому клиновидное окно (которое было применено для извлечения и/или хранения переходного сигнала, и которое показано тонкой сплошной линией в графическом представлении в отношении номера 1310) инвертировано и приложено к сигналу, чтобы обеспечить повторное добавление переходного сигнала. Результат этого процесса показан диаграммой с номером 1420. Наконец, сохраненный переходный сигнал добавляется к растянутому сигналу, как может быть замечено на графическом представлении в отношении номера 1430.

Суммируя вышеупомянутое, удаление переходного сигнала и интерполяция промежутка, который вызван удалением переходного сигнала, показаны на фиг.13. Во-первых, переходный сигнал обнаружен и обработан оконной функцией. Во-вторых, он вычтен из сигнала. Наконец, получающийся промежуток заполнен путем интерполяции. На фиг.14 показано растягивание во времени и перевставка переходного сигнала, которая следует за удалением переходного сигнала и интерполяцией. Во-первых, квазипостоянный сигнал растянут, например, с использованием описанного здесь вокодера. Впоследствии положение переходного сигнала в растянутом во времени сигнале подготовлено умножением на оконную функцию, обратную той, что использовалось для того, чтобы сохранить переходный сигнал (см. фиг.14). Наконец, переходный сигнал повторно добавлен к сигналу. Другими словами, окончательно, сохраненный переходный процесс добавлен к растянутому во времени сигналу.

Решение 2 - результат обработки переходных процессов

Далее, в соответствии с фиг.15 будут обсуждены некоторые результаты предлагаемой обработки переходного сигнала. На фиг.15 показано графическое представление шагов предлагаемой обработки переходного сигнала в применении к растягиванию во времени с использованием фазового вокодера. Первый ряд содержит не растянутый сигнал, и второй ряд содержит растянутые участки. Необходимо описать различные временные участки, используемые в графических представлениях первого и второго рядов.

На фиг.15 демонстрируются результаты различных алгоритмических шагов на основе звука кастаньет, смешанных со звуком трубы.

На фиг.15а изображен график оригинального входного сигнала с признаками обнаруженных переходных областей. Фиг.15b показывает предназначенные для вырезания области переходного процесса, которые интерполированы (на последующем шаге), чтобы получить стационарный сигнал, показанный на фиг.15с. Фиг.15d содержит переходные области, включая плавно накладываемые охранные интервалы в то время, как фиг.15е показывает интерполированный (и, как правило, растянутый во времени) сигнал, который подавлен с использованием инверсного окна кроссфейда на местах, где удалены переходные сигналы. Наконец, на фиг.15f показан заключительный результат алгоритма, растягивающего во времени.

Таким образом, фиг.15а представляет аудиосигнал 110. Фиг.15е представляет аудиосигнал с сокращенным переходным процессом 132. Фиг.15d представляет переходный сигнал 152. Фиг.15f представляет обработанный аудиосигнал 120.

Решение 2 - улучшения обработки переходных сигналов

Было найдено, что различные концепции относительно интерполяции предназначенных для вырезания областей переходного процесса могут быть важными в некоторых случаях. Например, интерполяция по переходной области может быть трудной, если сигнал перед переходным процессом значительно отличается от сигнала после переходного процесса. При этом в некоторых случаях запутанность сигнала во время переходного процесса может едва ли быть предсказана. На фиг.16 иллюстрируется такая упрощенная ситуация. Алгоритм (например, алгоритм для того, чтобы выполнить интерполяцию, заполняющую промежуток) должен делать выбор для одного вовлеченного основного тона (интерполированного сигнала заполняющего промежуток). То же самое относится к более сложным широкополосным сигналам. Возможное решение преодолеть проблему заключается в прямом и обратном предсказании с кроссфейдом друг между другом. Таким образом, такое прямое и обратное предсказание с кроссфейдом друг между другом может быть применено для вычисления интерполированного сигнала, заполняющего промежуток.

Эта проблема и ее решение согласно изобретению иллюстрировано на фиг.16. На фиг.16 показано, что интерполяция переходного сигнала (то есть интерполяция промежутка, вызванного удалением переходного процесса) является затруднительной, если сигнал существенно изменяется во время переходного процесса. Бесконечные пути контуров основного тона существуют во время интерполируемого участка (то есть промежутка, вызванного удалением переходного процесса). На фиг.16а показано графическое представление сигнала, содержащего переходное событие в форме представления частота-время. Переходный участок, то есть временной интервал, который был идентифицирован как переходный временной интервал, определяется ссылкой 1610. На фиг.16b показано графическое представление различных возможностей для того, чтобы получить временную часть входного аудиосигнала, где переходный процесс был обнаружен и удален. Как может быть замечено, если есть первый основной тон, во времени предшествует временному интервалу 1620, на котором из входного аудиосигнала удален переходный процесс, и второй основной тон расположен во времени после временного интервала 1620, необходимо определить развитие основного тона для того, чтобы заполнить промежуток, который образован при удалении переходного сигнала на временном интервале 1620. Как может быть замечено, например, возможна прямая экстраполяция (в направлении времени) основного тона, предшествующего временному интервалу 1620, чтобы получить основной тон во время временного интервала 1620 (см. пунктирную линию 1630). Альтернативно, это возможно обратной экстраполяцией (в обратном направлении) основного тона, который присутствует после временного интервала 1620, к временному интервалу 1620 (см. пунктирную линию 1632). Альтернативно, возможно интерполировать на временном интервале 1620, между основным тоном, который присутствует перед временным интервалом 1620 и основным тоном, который присутствует после временного интервала 1620 (см. пунктирную линию 1634). Естественно, возможны различные схемы получения развития основного тона во времени на временном интервале 1620 (промежуток, вызванный удалением переходного сигнала).

Воздействие на окончательно обработанный аудиосигнал перевставки переходного сигнала показано на фиг.16с. Как можно заметить, повторно вставленная переходная часть сигнала (которая отражает оригинальное или обработанное содержание переходной части сигнала) может быть короче во времени, чем обработанный (например, растянутый во времени) аудиосигнал 142, который был обработан без переходных процессов. Таким образом, выбор концепции для того, чтобы заполнить промежуток, вызванный удалением переходного процесса в аудиосигнале 132, может фактически оказать слышимое влияние на обработанный аудиосигнал 120 даже после перевставки переходного сигнала, например, если повторно вставленная переходная часть (описанная переходным сигналом 152) короче, чем обработанный результат заполнения промежутка в обработанном аудиосигнале 142. Ссылка сделана на временной интервал 140, предшествующий повторно введенному переходному процессу и временному интервалу 142, следующему за повторно введенным переходным процессом.

Чтобы суммировать сказанное на фиг.16 было показано, что интерполяция переходной области требует некоторого рассмотрения, если изменения сигнала существенные во время переходного процесса. Бесконечные контуры основного тона существуют во время интерполяции диапазона. На фиг.16а показан сигнал, содержащий переходное событие. На фиг.16b пунктирами показаны различные возможности для интерполяции переходного участка. На фиг.16с показан растянутый сигнал. Поскольку растянутые интерполированные области простираются вне переходных частей, интерполированный сигнал является слышимым и может привести к искажениям восприятия.

Решение 2 - определение эффективности

Чтобы получить некоторое представление об эффективности предложенного метода в отношении восприятия, проводилось неофициальное прослушивание. Чтобы оценить преимущество новой схемы обработки переходных сигналов, в то же самое время гарантируя, что стационарные сигналы не ухудшились, выбранные аудиосигналы включали фрагменты с переходными и со стационарными характеристиками.

Этот неофициальный тест показал существенное преимущество для вышеупомянутой комбинации трубы и кастаньет по сравнению с используемым в технике программным алгоритмом растяжения во времени. Исследования показали преимущество алгоритмов растяжения во времени, основанных на PV, по сравнению WSOLA, когда во внимание попадают переходные сигналы.

Сигналы реального мира, растянутые новым способом, также иногда имели предпочтение по сравнению с другими способами.

Вывод

Суммируя сказанное, была описана новая схема обработки переходных сигналов, которая может с преимуществами использоваться в алгоритмах растяжения времени. Изменение или скорости, или основного тона аудиосигналов без воздействия друг на друга часто используется для музыкального производства и творческого воспроизводства, такого как создание ремиксов. Это также используется в других целях, таких как повышение скорости и расширение полосы частот. В то время как постоянные сигналы могут быть растянуты без вреда качеству, переходные процессы часто плохо поддерживаются после растяжения с использованием обычных алгоритмов. Данное изобретение демонстрирует подход для обработки переходных сигналов в алгоритмах растягивания во времени. Переходные области заменяются стационарными сигналами. Таким образом, удаленные переходные процессы сохраняются и повторно вводятся в растянутый во времени стационарный аудиосигнал после растяжения во времени.

Проблема получена при решении задачи растяжения комбинации тонального сигнала, такого как труба, и ударного сигнала, такого как кастаньеты.

В то время как некоторые обычные методы приблизительно сохраняют огибающую сигнала в растянутой во времени версии так же, как ее спектральные характеристики, и ожидают, что растянутое во времени ударное событие будет затухать медленнее, чем оригинал, данное изобретение основано на положении, что при временном масштабировании музыкальных сигналов цель состоит в сохранении огибающей переходных событий. Поэтому некоторые решения согласно изобретению растягивают только непрерывный компонент, чтобы достигнуть эффекта, звучания того же самого инструмента, играющего в различном темпе (см., например, [В3]). Чтобы достигнуть этого, согласно изобретению переходные и постоянные компоненты сигнала рассматривают отдельно.

Решения согласно изобретению основаны на концепции, которая была описана в публикации [В8], где было продемонстрировано, как переходные процессы могут быть сохранены при растяжении во времени и по частоте фазовым вокодером. В том подходе переходные процессы вырезаются из сигнала прежде, чем он будет растянут.Удаление переходной части приводит к промежуткам в пределах сигнала, которые растянуты фазовым вокодером. После растяжения переходные процессы с окружением, которое подстроено к растянутым промежуткам, повторно добавляются к сигналу. Было найдено, что решение включает некоторые преимущества для многих сигналов. Было также найдено, что при вырезании переходных процессов возникают новые искажения, так как промежутки вводят новые нестационарные части в сигнал, в особенности на границах промежутков. Такая нестационарность может быть замечена, например, на фиг.15b.

Решения согласно описанному здесь изобретенному способу имеют преимущество перед описанными, например, в публикациях [ВЗ], [В6], [В7], способами, которые позволяют растянуть сигнал во времени без потребности изменения коэффициента растяжения в окрестности переходного процесса. У изобретенного метода есть общие свойства с описанными, например, в [В8] и [В5] методами. Изобретенная схема делит сигнал на переходную часть и непереходный квазипостоянный сигнал. В отличие от метода, описанного в [В8], промежутки, которые являются результатом исключения переходных процессов, заменяются постоянными сигналами. Чтобы определить продолжение сигналов внутри промежутка по сигналам, окружающим промежуток, используется метод интерполяции. Получающиеся тогда квазипостоянные части хорошо подходят для обработки с использованием алгоритмов растяжения во времени. Вследствие того, что этот сигнал делает теперь (то есть после интерполяции или экстраполяции) - больше не включает ни переходных процессов, ни промежутков, могут быть предотвращены искажения, вносимые растянутыми переходными процессами и растянутыми промежутками. После выполнения растяжения переходные процессы заменяют части интерполированного сигнала. Техника основывается на двух положениях:

правильное обнаружение переходных процессов и перцепционно правильная интерполяция постоянной части. Однако, как описано выше, кроме интерполяции могут использоваться другие методы заполнения.

Чтобы лучше суммировать сказанное, в некоторых описанных выше решениях, цель состояла в том, чтобы растянуть без любых перцепционных искажений комбинацию строго тонального и переходного сигнала, такого как труба и кастаньеты. Было показано, что данное изобретение обеспечивает существенный прогресс на пути к этой цели. Один из важных аспектов данного изобретения находится в правильной идентификации переходного события, особенно его точного начала, и более трудно находимого затухания, а также связанной с этим реверберации. Так как затухание и реверберация переходного события наложены на стационарные части сигнала, эти части нуждаются в тщательной обработке, чтобы избежать перцепционных колебаний после передобавления к растянутым частям сигнала.

Некоторые слушатели склонны предпочитать версии, в которых реверберация растянута вместе с непрерывными частями сигнала. Это предпочтение противоречит фактической цели рассмотреть переходный процесс и связанные звуки как единое. Поэтому, в некоторых случаях необходимо большее понимание предпочтения слушателей.

Однако, идея и принципиальный подход, согласно данному изобретению, доказали их ценность и патентоспособность. Однако ожидается, что диапазон применений данного изобретения может даже быть расширен. Из-за его структуры, изобретенный алгоритм может быть легко приспособлен, чтобы использоваться для манипуляции переходной частью, например, изменяя ее уровень по сравнению с постоянными частями сигнала.

Дальнейшее возможное применение изобретенного метода состояло бы в том, чтобы произвольно уменьшить или получить переходные процессы для переигровки. Это может использоваться для того, чтобы изменить громкость переходных событий, таких как барабаны, или даже полностью удалить их, поскольку разделение сигнала на переходную и постоянную части является естественным для алгоритма.

Описанные выше решения иллюстративны для пояснения принципов данного изобретения. Подразумевается, что модификация и изменения описанных здесь мер и деталей будут очевидны для специалистов, квалифицированных в технике. Поэтому намерением является то, чтобы ограничиться только областью независимых доступных требований, а не определенными деталями, представленными здесь путем описания и объяснения решений.

Список цитированной литературы

[Al] J.L.Flanagan and R.M.Golden, "The Bell System Technical Journal, November 1966", pages 1394 to 1509;

[A2] United States Patent 6,549,884, Laroche, 1 & Dolson, M.: "Phase-vocoder pitch-shining";

[A3] Jean Laroche and Mark Dolson, "New Phase-Vocoder Techniques for Pitch-Shifting, Harmonizing and Other Exotic Effects", by Proc.

[A4] Zolzer, U: "DAFX: Digital Audio Effects", Wiley & Sons, Edition: 1 (26 February 2002), pages 201-298;

[A5] Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp.323-332;

[A6] Emmanuel Ravelli, Mark Sandier and Juan P. Bello: "Fast implementation for non-linear time-scaling of stereo audio", Proc. of the 8^th Int. Conference on Digital Audio Effects

(DAFx'05), Madrid, Spain, September 20-22,2005;

[A7] Duxbury, С., M. Davies, and M. Sandier (2001, December): "Separation of transient information in musical audio using multiresolution analysis techniques". In: Proceedings of the COST G-6 Conference on Digital Audio Effects (DAFX-01), Limerick, Ireland;

[A8] Röbel A.: "A NEW APPROACH TO TRANSIENT PROCESSING IN THE PHASE VOCODER", Proc. Of the 6^th Int. Conference on Digital Audio Effects (DAFx-03), London, UK, September 8-11,2003.

[Bl] Т. Karrer, E. Lee, and J. Borchers, "Phavorit: A phase vocoder for real-time interactive time-stretching", in Proceedings of the ICMC 2006 International Computer Music Conference, New Orleans, USA, November 2006, pp.708-715.

[B2] Т.F.Quatieri, R. B. Dunn, R.J.McAulay, and T.E.Hanna, "Time-scale modifications of complex acoustic signals in noise", Technical report, Massachusetts Institute of Technology, February 1994.

[В3] С.Duxbury, M. Davies, and M. B. Sandier, "Improved time-scaling of musical audio using phase locking at transients", in 112th AES Convention, Munich, 2002, Audio Engineering Society.

[B4] S.Levine and Julius 0.Smith III, "A sines+transients+noise audio representation for data compression and time/pitchscale modifications", 1998.

[B5] T.S.Verma and T.H.Y.Meng, "Time scale modification using a sines+transients+noise signal model", in DAFX98, Barcelona, Spain, 1998.

[В6] A. Röbel, "A new approach to transient processing in the phase vocoder", in 6th Digital Audio Effects (DAFx-03), London, 2003, pp.344-349.

.[B7] A.Röbel, "Transient detection and preservation in the phase vocoder", in Int. Computer Music Conference (ICMC 03), Singapore, 2003, pp.247-250.

.[B8] F.Nagel, S.Disch, and N. Rettelbach, "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs", in 126 th AES Convention, Munich, 2009.

[B9] M. Dolson, "The phase vocoder: A tutorial", Computer Music Journal, vol. 10, no. 4, pp.14-27, 1986.

[В 10] В.Edier, "Coding of audio signals with over-lapping block transform and adaptive window functions (in german) ", Frequenz, vol. 43, no. 9, pp.252-256, Sept. 1989.

[В 11] Oliver Niemeyer and Bemd Edier, "Detection and extraction of transients for audio coding", in AES 120th Convention, Paris, France, 2006.

[В 12] M. М. Goodwin and С.Avendano, "Frequency-domain algorithms for audio signal enhancement based on transient modifiation", Journal of the Audio Engineering Society, vol. 54, pp.827-840, 2006.

[В 13] P. Brossier, IP. Bello, and M.D. Plumbley, "Real-time temporal segmentation of note objects in music signals", in ICMC, Miami, USA, 2004.

[В 14] I.P.Bello, L.Daudet, S.Abdallah, C.Duxbury, M.Davies, and M.B.Sandier, "A tutorial on onset detection in music signals", Speech and Audio Processing IEEE Transactions on, vol. 13, no. 5, pp.1035-1047, Sept. 2005.

[В 15] A.Klapuri, "Sound onset detection by applying psychoacoustic knowledge", in ICASSP, 1999.

[В 16] P.Masri and A. Bateman, "Improved modelling of attack transients in music analysis-resynthesis", in ICMC, 1996.

[В 17] С.Duxbury, M. Davies, and M. Sandier, "Separation of transient information in musical audio using multiresolution analysis techniques", in DAFX, 2001.

[В 18] С.Duxbury, M. Sandier, and M. Davies, "A hybrid approach to musical note onset detection," in DAFX, 2002.

[В 19] W-C.Lee and C-C.J.Kuo, "Musical onset detection based on adaptive linear prediction", in ICME, 2006.

[Edier] 0.Niemeyer and B.Edier, "Detection and extraction of transients for audio coding", presented at the AES 120^th Convention, Paris, France, 2006;

[Bello] J.P.Bello et al., "A Tutorial on Onset Detection in Music Signals", IEEE Transactions on Speech and Audio Processing, Vol.13, No. 5, September 2005;

[Goodwin] M. Goodwin, С.Avendano, "Enhancement of Audio Signals Using Transient Detection and Modification", presented at the AES 117^th Convention, USA, October 2004;

[Walther] Walther et al., "Using Transient Suppression in Blind Multi-channel Upmix Algorithms", presented at the AES 122th Convention, Austria, May 2007;

[Maher] R.C.Maher, "A Method for Extrapolation of Missing Digital Audio Data", JAES, Vol.42, No. 5, May 1994;

[Daudet] L.Daudet, "A review on techniques for the extraction of transients in musical signals", book series: Lecture Notes in Computer Science, Springer Berlin/Heidelberg, Volume 3902/2006, Book: Computer Music Modeling and Retrieval, pp.219-232.

Изобретение относится к радиотехнике и предназначено для управления аудиосигналом, включающим переходное событие. Технический результат - повышение точности воспроизведения сигнала. Для этого устройство содержит модуль замещения переходного сигнала, выполненный с возможностью заменить переходную часть сигнала, включающего переходное событие аудиосигнала, частью сигнала замены, приспособленной к энергетическим характеристикам сигнала одной или более переходных частей аудиосигнала, или к энергетической характеристике сигнала переходной части сигнала, чтобы получить аудиосигнал с сокращенным переходным процессом. Устройство также включает процессор сигнала, выполненный с возможностью обработать аудиосигнал с сокращенным переходным процессом, чтобы получить обработанную версию аудиосигнала с сокращенным переходным процессом. Устройство также включает модуль вставки переходного сигнала, выполненный с возможностью объединить обработанную версию аудиосигнала с сокращенным переходным процессом с переходным сигналом, представляющим в оригинальной или обработанной форме переходное содержание переходной части сигнала. 5 н. и 9 з.п. ф-лы, 20 ил.

1. Устройство (100) для управления аудиосигналом (110), включающим переходное событие, содержащее модуль замещения переходного сигнала (130), выполненный с возможностью заменить переходную часть аудиосигнала, включающую переходное событие, частью сигнала замены, приспособленной к энергетическим характеристикам одной или более непереходных частей аудиосигнала, или к энергетической характеристике сигнала переходной части, чтобы получить аудиосигнал с сокращенным переходным процессом (132); процессор сигнала (140), выполненный с возможностью обработать аудиосигнал с сокращенным переходным процессом (132) и получить обработанную версию (142) аудиосигнала с сокращенным переходным процессом; и модуль вставки переходного сигнала (150), выполненный с возможностью объединить обработанную версию (142) аудиосигнала с сокращенным переходным процессом (132) с переходным сигналом (152), представляющим, в оригинальной или обработанной форме, переходное содержание переходной части сигнала; где модуль замещения переходного сигнала (130) выполнен с возможностью экстраполировать величины амплитуды одной или более частей сигнала, предшествующих переходной части сигнала, чтобы получить значения амплитуды части сигнала замены, и где модуль замещения переходного сигнала (130) выполнен с возможностью экстраполировать величины фазы одной или более частей сигнала, предшествующих переходной части сигнала, чтобы получить величины фазы части сигнала замены.

2. Устройство (100) для управления аудиосигналом (110), включающим переходное событие, содержащее модуль замещения переходного сигнала (130), выполненный с возможностью заменить переходную часть сигнала, включающую переходное событие аудиосигнала, частью сигнала замены, приспособленной к энергетическим характеристикам сигнала одной или более непереходных частей сигнала аудиосигнала, или к энергетической характеристике сигнала переходной части сигнала, чтобы получить аудиосигнал с сокращенным переходным процессом (132); процессор сигнала (140), выполненный с возможностью обработать аудиосигнал с сокращенным переходным процессом (132), чтобы получить обработанную версию (142) аудиосигнала с сокращенным переходным процессом; и модуль вставки переходного сигнала (150), выполненный с возможностью объединения обработанной версии (142) аудиосигнала с сокращенным переходным процессом (132) и переходного сигнала (152), представляющего в оригинальной или обработанной форме переходное содержание переходной части сигнала; где модуль замещения переходного сигнала (130) выполнен с возможностью интерполяции между величиной амплитуды части сигнала, предшествующей переходной части сигнала, и величиной амплитуды части сигнала, следующей за переходной частью сигнала, чтобы получить одну или более величин амплитуды части сигнала замены, и где модуль замещения переходного сигнала (130) выполнен с возможностью интерполяции между величиной фазы части сигнала, предшествующей переходной части сигнала, и величиной фазы части сигнала, следующей за переходной частью сигнала, чтобы получить одну или более величин фазы части сигнала замены.

3. Устройство (100) для управления аудиосигналом (110), включающим переходное событие, содержащее модуль замещения переходного сигнала (130), выполненный с возможностью заменить переходную часть сигнала, включающую переходное событие аудиосигнала, частью сигнала замены, приспособленной к энергетическим характеристикам сигнала одной или более непереходных частей аудиосигнала, или к энергетической характеристике сигнала переходной части сигнала, чтобы получить аудиосигнал с сокращенным переходным процессом (132); процессор сигнала (140), выполненный с возможностью обработать аудиосигнал с сокращенным переходным процессом (132), чтобы получить обработанную версию (142) аудиосигнала с сокращенным переходным процессом; и модуль вставки переходного сигнала (150), выполненный с возможностью объединения обработанной версии (142) аудиосигнала с сокращенным переходным процессом (132) с переходным сигналом (152), представляющим в оригинальной или обработанной форме переходное содержание переходной части сигнала; где модуль замещения переходного сигнала (130) выполнен с возможностью экстраполировать в области частоты-времени комплексные коэффициенты области частоты-времени, связанные с непереходной частью аудиосигнала (110), предшествующего переходной части сигнала, чтобы получить коэффициенты области частоты-времени части сигнала замены, или где модуль замещения переходного сигнала (130) выполнен с возможностью интерполяции в области частоты-времени между комплексными коэффициентами области частоты-времени, связанными с непереходной частью аудиосигнала (110), предшествующей переходной части сигнала, и комплексными коэффициентам области частоты времени, связанными с непереходной частью аудиосигнала, следующей за переходной частью сигнала, чтобы получить коэффициенты области частоты-времени части сигнала замены.

4. Устройство (100) по п.3, где модуль замещения переходного сигнала (130) включает датчик переходного сигнала (130а, 130с), выполненный с возможностью обнаружить переходную часть аудиосигнала (110) на основе контроля аудиосигнала (110), или на основе сторонней информации, сопровождающей аудиосигнал, и определить длину переходной части сигнала; где модуль замещения переходного сигнала (130) выполнен с возможностью принять во внимание длину переходной части сигнала, определенной датчиком переходного сигнала (130а, 130с); где модуль замещения переходного сигнала (130) выполнен с возможностью экстраполировать, в области частоты-времени, комплексные коэффициенты области частоты-времени, связанные с непереходной частью аудиосигнала (110), предшествующей переходной части сигнала, чтобы получить коэффициенты в области частоты-времени части сигнала замены, или где модуль замещения переходного сигнала (130) выполнен с возможностью интерполирования, в области частоты-времени, между комплексными коэффициентами области частоты-времени, связанными с непереходной частью аудиосигнала (110), предшествующей переходной части сигнала, и комплексными коэффициентами области частоты-времени, связанными с непереходной частью аудиосигнала, следующей за переходной частью сигнала, чтобы получить коэффициенты области частоты-времени части сигнала замены; где процессор сигнала (140) выполнен с возможностью осуществить обработку, уменьшающую переходный процесс аудиосигнала во времени, растягивая или сжимая время так, чтобы обработанный сигнал (142), сформированный процессором сигнала (140), включал продолжительность, большую чем, или меньшую чем, продолжительность необработанного сигнала (132), полученного процессором аудиосигнала; и где устройство (100) выполнено с возможностью приспособить масштабирование времени или частоту дискретизации сигнала, полученного в модуле вставки переходного сигнала (150) таким образом, чтобы, по крайней мере, непереходные компоненты сигнала, полученного в модуле вставки переходного сигнала (150), были перемещены по частоте по сравнению с аудиосигналом (110), входящим в модуль замещения переходного сигнала (130).

5. Устройство (100) по п.1, где модуль замещения переходного сигнала (130) выполнен с возможностью объединить непереходные компоненты переходной части сигнала с экстраполированными или интерполированными величинами, чтобы получить часть сигнала замены.

6. Устройство (100) по п.1, где модуль замещения переходного сигнала (130) выполнен с возможностью получения части сигнала замены переменной длины в зависимости от длины существующей переходной части сигнала.

7. Устройство (100) по п.1, где процессор сигнала (140) выполнен с возможностью обработки аудиосигнала с сокращенным переходным процессом (132) таким образом, что данная временная часть сигнала обработанной версии (142) аудиосигнала с сокращенным переходным процессом зависит от множества перемещенных во времени временных частей аудиосигнала с сокращенным переходным процессом (132).

8. Устройство (100) по п.1, где процессор сигнала (140) выполнен с возможностью осуществить обработку временных блоков аудиосигнала с сокращенным переходным процессом 132, чтобы получить обработанную версию (142) аудиосигнала с сокращенным переходным процессом; и где модуль замещения переходного сигнала 130 выполнен с возможностью приспособить продолжительность переходной части сигнала, которая будет заменена частью сигнала замены с временным разрешением, лучшим, чем продолжительность временного блока, или заменить переходную часть сигнала, имеющую временную продолжительность, меньшую, чем продолжительность временного блока, частью сигнала замены, имеющей временную продолжительность, меньшую, чем продолжительность временного блока.

9. Устройство (100) по п.1, где процессор сигнала (140) выполнен с возможностью обработать аудиосигнал с сокращенным переходным процессом (132) способом, зависящим от частоты, так, чтобы обработка ввела в аудиосигнал с сокращенным переходным процессом (132) уменьшающие переходный процесс зависимые от частоты сдвиги фазы.

10. Устройство (100) по п.1, где модуль замещения переходного сигнала (130) включает датчик переходного сигнала (130а), где датчик переходного сигнала (130а) выполнен с возможностью обеспечить изменяющийся во времени порог обнаружения для обнаружения переходного процесса в аудиосигнале (110) таким образом, что порог обнаружения следует за огибающей аудиосигнала с подстраиваемой постоянной временного сглаживания, и где датчик переходного сигнала выполнен с возможностью изменить постоянную времени сглаживания в ответ на обнаружение переходного процесса и/или в зависимости от временного развития аудиосигнала.

11. Устройство (100) по п.1, где устройство (100) включает процессор обработки переходного сигнала (160), выполненный с возможностью получить информацию о переходном сигнале (134) и сформировать на основе информации о переходном сигнале (134) обработанный переходной сигнал (152), в котором уменьшены тональные компоненты, и где модуль вставки переходного сигнала (150) выполнен с возможностью объединить обработанную версию (142) аудиосигнала с сокращенным переходным процессом (132) и обработанный переходной сигнал (152), сформированный процессором обработки переходного сигнала (160).

12. Устройство (100) по п.1, где модуль вставки переходного сигнала (150) выполнен с возможностью кросфейда обработанной версии (142) аудиосигнала с сокращенным переходным процессом (132) и переходного сигнала (152), представляющего в оригинальной или обработанной форме переходное содержание переходной части сигнала.

13. Способ (1200) манипулирования аудиосигналом, включающим переходное событие, способ включает замену (1210) переходной части сигнала, включающей переходное событие аудиосигнала, частью сигнала замены, приспособленной к энергетическим характеристикам сигнала одной или более непереходных частей аудиосигнала, или к энергетическим характеристикам переходной части сигнала, чтобы получить аудиосигнал с сокращенным переходным процессом; обработку (1220) аудиосигнала с сокращенным переходным процессом, чтобы получить обработанную версию аудиосигнала с сокращенным переходным процессом; и объединение (1230) обработанной версии аудиосигнала с сокращенным переходным процессом с переходным сигналом, представляющим в оригинальной или обработанной форме переходное содержание переходной части сигнала; где величины амплитуды одной или более частей сигнала, предшествующих переходной части сигнала, экстраполируются, чтобы получить величины амплитуды части сигнала замены, и где величины фазы одной или более частей сигнала, предшествующих переходной части сигнала, экстраполируются, чтобы получить величины фазы части сигнала замены; или где интерполяция выполнена между величиной амплитуды части сигнала, предшествующей переходной части сигнала, и величиной амплитуды части сигнала, следующей за переходной частью сигнала, чтобы получить одну или более величин амплитуды части сигнала замены, и где интерполяция выполнена между величиной фазы части сигнала, предшествующей переходной части сигнала, и величиной фазы части сигнала, следующей за переходной частью сигнала, чтобы получить одну или более величин фазы части сигнала замены; или где комплексные коэффициенты области частоты-времени, связанные с непереходной частью аудиосигнала, предшествующего переходной части сигнала, экстраполируются в области частоты-времени, чтобы получить комплексные коэффициенты области частоты-времени части сигнала замены; или где интерполяция выполнена в области частоты-времени между комплексными коэффициентами области частоты-времени, связанными с непереходной частью аудиосигнала, предшествующего переходной части сигнала, и комплексными коэффициентами области частоты-времени, связанными с непереходной частью аудиосигнала, следующей за переходной частью сигнала, чтобы получить коэффициенты в области частоты-времени части сигнала замены.

14. Машиночитаемый носитель информации с компьютерной программой для того, чтобы выполнить способ по п.13, при выполнении компьютерной программы на компьютере.