УСТРОЙСТВО И СПОСОБ ДЛЯ ГЕНЕРАЦИИ СИГНАЛА МАСКИРОВАНИЯ ОШИБОК С ИСПОЛЬЗОВАНИЕМ ИНДИВИДУАЛЬНЫХ ЗАМЕЩАЮЩИХ ПРЕДСТАВЛЕНИЙ LPC ДЛЯ ИНФОРМАЦИИ ИНДИВИДУАЛЬНЫХ КОДОВЫХ КНИГ Российский патент 2018 года по МПК G10L19/05 G10L19/06 

Настоящее изобретение относится к аудио-кодированию и, в частности, к аудио-кодированию, основанному на LPC-подобной обработке в контексте кодовых книг.

Перцепционные аудио кодеры часто используют кодирование с линейным предсказанием (LPC) для моделирования речевого тракта человека и для уменьшения степени избыточности, который может быть смоделирован с помощью параметров LPC. Остаток LPC, который получается путем фильтрации входного сигнала с помощью фильтра LPC, далее моделируется и передается путем его представления с помощью одной, двух или более кодовых книг (примерами являются: адаптивная кодовая книга, кодовая книга глоттальных импульсов, инновационная кодовая книга, кодовая книга переходов, гибридные кодовые книги, состоящие из прогнозирующих и преобразующих частей).

В случае потери кадра теряется сегмент речевых/аудиоданных (обычно 10 мс или 20 мс). Чтобы сделать эту потерю как можно менее различимой на слух, применяются различные методики маскирования. Эти методики обычно состоят из экстраполяции прошлых, принятых данных. Эти данные могут быть: усилениями кодовых книг, векторами кодовых книг, параметрами для моделирования кодовых книг и коэффициентов LPC. Во всей технологии маскирования, известной в области техники, набор коэффициентов LPC, который используется для синтеза сигнала, или повторяется (на основе последнего достоверного (хорошего) набора) или экстра-/интерполируется.

ITU G.718 [1]: параметры LPC (представленные в области ISF) экстраполируются во время маскирования. Экстраполяция включает в себя два этапа. Во-первых, вычисляется долговременный целевой вектор ISF. Этот долговременный целевой вектор ISF является взвешенным средним (с фиксированным весовым коэффициентом beta)

• вектора ISF, представляющего собой среднее последних трех известных векторов ISF, и

• автономного натренированного вектора ISF, который представляет собой долговременную среднюю спектральную форму.

Этот долговременный целевой вектор ISF затем интерполируется с помощью последнего правильно принятого вектора ISF, один раз на кадр, с использованием изменяющегося во времени фактора alpha, чтобы обеспечить плавный переход от последнего принятого вектора ISF к долговременному целевому вектору ISF. Полученный в результате вектор ISF затем преобразуется обратно в область LPC, чтобы cгенерировать промежуточные этапы (ISF передаются каждые 20 мс, интерполяция генерирует набор LPC каждые 5 мс). LPC затем используются для синтезирования выходного сигнала путем фильтрации результата сложения адаптивной и фиксированной кодовой книги, которые усиливаются с помощью соответствующих усилений кодовой книги перед сложением. Фиксированная кодовая книга содержит шумы во время маскирования. В случае последовательной потери кадров адаптивная кодовая книга подается в качестве обратной связи без прибавления фиксированной кодовой книги. Альтернативно, может подаваться в качестве обратной связи суммарный сигнал, как это сделано в AMR-WB [5].

В [2] описывается схема маскирования, которая использует два набора коэффициентов LPC. Один набор коэффициентов LPC получается на основании последнего достоверного (хорошего) полученного кадра, другой набор параметров LPC получается на основании первого достоверного полученного кадра, но предполагается, что сигнал развивается в обратном направлении (по направлению к прошлому). Затем предсказание выполняется в двух направлениях, одно по направлению к будущему и одно по направлению к прошлому. Поэтому генерируются два представления отсутствующего кадра. Наконец, оба сигнала умножаются на весовые коэффициенты (взвешиваются) и усредняются перед проигрыванием.

Фиг. 8 показывает технологию маскирования ошибок в соответствии с предшествующим уровнем техники. Адаптивная кодовая книга 800 предоставляет информацию адаптивной кодовой книги усилителю 808, который применяет усиление g_p кодовой книги к информации от адаптивной кодовой книги 800_. Выход усилителя 808 присоединен к входу объединителя 810. Кроме того, генератор 804 статистического шума вместе с фиксированной кодовой книгой 802 предоставляет информацию кодовой книги дополнительному усилителю g_c. Усилитель g_c, указанный под номером позиции 806, применяет коэффициент g_c усиления_, который является усилением фиксированной кодовой книги, к информации, предоставленной фиксированной кодовой книгой 802 вместе с генератором 804 статистического шума. Выход усилителя 806 затем дополнительно подается на вход объединителя 810. Объединитель 810 складывает результат обеих кодовых книг, усиленных соответствующими усилениями кодовых книг, для получения объединенного сигнала, который затем подается на вход синтезирующего блока 814 LPC. Синтезирующий блок 814 LPC управляется заменяющим представлением, которое генерируется, как описано выше.

Эта процедура предшествующего уровня техники имеет определенные недостатки.

Чтобы учесть изменяющиеся характеристики сигнала, или чтобы огибающая LPC сходилась к свойствам, подобным фоновому шуму, LPC изменяется во время маскирования путем экстра/интерполяции с некоторыми другими векторами LPC. Возможность точно управлять энергией во время маскирования отсутствует. Хотя есть шанс управлять усилениями различных кодовых книг, LPC будет неявно влиять на общий уровень или энергию (даже зависящую от частоты).

Может предусматриваться постепенное затухание до определенного уровня энергии (например, уровня фонового шума) во время пакетной потери кадров. Это невозможно с существующим уровнем техники, даже при управлении усилениями кодовых книг.

Невозможно постепенно уменьшить шумные части сигнала до фонового шума, при это сохраняя возможность синтезировать тональные части с теми же самыми спектральными свойствами, как перед потерей кадров.

Задачей настоящего изобретения является обеспечение улучшенной концепции для генерации сигнала маскирования ошибок.

Эта задача решается с помощью устройства для генерации сигнала маскирования ошибок по п. 1, способа генерации сигнала маскирования ошибок по п. 14 или компьютерной программы по п. 15 формулы изобретения.

В одном аспекте настоящего изобретения устройство для генерации сигнала маскирования ошибок содержит генератор представления LPC для генерации первого заменяющего представления LPC и отличающегося второго заменяющего представления LPC. Кроме того, обеспечен синтезатор LPC для фильтрации информации первой кодовой книги с использованием первого заменяющего представления LPC для получения первого заменяющего сигнала и для фильтрации информации второй отличающейся кодовой книги с использованием второго заменяющего представления LPC для получения второго заменяющего сигнала. Выходные сигналы синтезатора LPC объединяются объединителем заменяющих сигналов, объединяющим первый заменяющий сигнал и второй заменяющий сигнал для получения сигнала маскирования ошибок.

Первая кодовая книга является предпочтительно адаптивной кодовой книгой для обеспечения информации первой кодовой книги, а вторая кодовая книга является предпочтительно фиксированной кодовой книгой для обеспечения информации второй кодовой книги. Другими словами, первая кодовая книга представляет собой тональную часть сигнала, а вторая или фиксированная кодовая книга представляет собой шумовую часть сигнала и поэтому может рассматриваться как шумовая кодовая книга.

Информация первой кодовой книги для адаптивной кодовой книги генерируется с использованием среднего значения последних достоверных представлений LPC, последнего достоверного представления и значения постепенного затухания. Кроме того, представление LPC для второй или фиксированной кодовой книги генерируется с использованием последнего достоверного представления LPC, значения постепенного затухания и оценки шумов. В зависимости от реализации оценка шумов может быть фиксированным значением, автономно натренированным значением, или оно может адаптивно получаться из сигнала, предшествующего ситуации маскирования ошибок.

Предпочтительно, выполняется вычисление усиления LPC для вычисления влияния заменяющего представления LPC, и эта информация затем используется для выполнения компенсации так, чтобы мощность или громкость или, в общем, связанная с амплитудой мера синтезированного сигнала была аналогична соответствующему синтезированному сигналу перед операцией маскирования ошибок.

В дополнительном аспекте устройство для генерации сигнала маскирования ошибок содержит генератор представления LPC для генерации одного или нескольких заменяющих представлений LPC. Кроме того, обеспечен вычислитель усиления для вычисления информации об усилении по представлению LPC, и затем дополнительно обеспечен компенсатор для компенсации влияния усиления заменяющего представления LPC, и эта компенсация усиления выполняется с использованием операции усиления, обеспеченной вычислителем усиления. Синтезатор LPC затем фильтрует информацию кодовой книги с использованием заменяющего представления LPC для получения сигнала маскирования ошибок, при этом компенсатор выполнен с возможностью умножения на весовой коэффициент информации кодовой книги перед синтезом с помощью синтезатора LPC или умножения на весовой коэффициент выходного сигнала синтезирования LPC. Таким образом, любое заметное влияние, связанное с усилением, или мощностью, или амплитудой в начале ситуации маскирования ошибок уменьшается или устраняется.

Эта компенсация полезна не только для индивидуальных представлений LPC, как отмечено в упомянутом выше аспекте, но также полезна в случае использования только одиночного заменяющего представления LPC вместе с одиночным синтезатором LPC.

Значения усиления определяются путем вычисления импульсных характеристик последнего достоверного представления LPC и заменяющего представления LPC и, в частности, путем вычисления среднеквадратичного (rms) значения по импульсной характеристике соответствующего представления LPC за некоторое время, которое лежит в пределах между 3 и 8 мс и предпочтительно равно 5 мс.

В одной реализации фактическое значение усиления определяется путем деления нового rms значения, то есть rms значения для заменяющего представления LPC, на rms значение достоверного представления LPC.

Предпочтительно, одиночное или несколько заменяющих представлений LPC вычисляются с использованием оценки фонового шума, которая предпочтительно является оценкой фонового шума, полученной по декодируемым в настоящий момент сигналам, в отличие от просто заранее определенной оценки шумов автономно натренированного вектора.

В дополнительном аспекте устройство для генерации сигнала содержит генератор представления LPC для генерации одного или нескольких заменяющих представлений LPC и синтезатор LPC для фильтрации информации кодовой книги с использованием заменяющего представления LPC. Дополнительно обеспечен блок оценки шумов для оценки шумов во время приема достоверных аудиокадров, и эта оценка шумов зависит от достоверных аудиокадров. Генератор представления выполнен с возможностью использования оценки шумов, полученной блоком оценки шумов, при генерации заменяющего представления LPC.

Спектральное представление прошлого декодированного сигнала обрабатывается для обеспечения спектрального представления шумов или целевого представления. Спектральное представление шумов преобразуется в представление LPC шумов, и представление LPC шумов является, предпочтительно, таким же типом представления LPC, как и заменяющее представление LPC. Векторы ISF являются предпочтительными для конкретных процедур обработки, связанных с LPC.

Оценка получается путем применения подхода минимальной статистики с оптимальным сглаживанием к прошлому декодированному сигналу. Эта спектральная оценка шумов затем преобразуется в представление во временной области. Затем выполняется рекурсия Левинсона-Дарбина с использованием первого числа сэмплов представления во временной области, где число сэмплов равно порядку LPC. Затем, из результата рекурсии Левинсона-Дарбина получаются коэффициенты LPC, и этот результат наконец преобразуется в вектор. Аспект использования индивидуальных представлений LPC для индивидуальных кодовых книг, аспект использования одного или нескольких представлений LPC с компенсацией усиления и аспект использования оценки шумов при генерации одного или нескольких представлений LPC, причем эта оценка не является автономно натренированным вектором, а является оценкой шумов, полученной из прошлого декодированного сигнала, могут применяться индивидуально для получения улучшения относительно предшествующего уровня техники.

Кроме того, эти индивидуальные аспекты также могут комбинироваться друг с другом, так что, например, могут комбинироваться первый аспект и второй аспект, или могут комбинироваться первый аспект и третий аспект, или могут комбинироваться друг с другом второй аспект и третий аспект для обеспечения еще более улучшенных рабочих характеристик относительно предшествующего уровня техники. Еще более предпочтительно, все три аспекта могут комбинироваться друг с другом для получения улучшений по сравнению с предшествующим уровнем техники. Таким образом, даже при том, что аспекты описываются индивидуальными фигурами, все аспекты могут быть применены в комбинации друг с другом, как можно видеть со ссылкой на прилагаемые фигуры и описание.

Далее описываются предпочтительные варианты осуществления настоящего изобретения относительно прилагаемых чертежей, на которых:

фиг. 1a иллюстрирует вариант осуществления первого аспекта;

фиг. 1b иллюстрирует использование адаптивной кодовой книги;

фиг. 1c иллюстрирует использование фиксированной кодовой книги в случае нормального режима или режима маскирования;

фиг. 1d иллюстрирует блок-схему последовательности операций для вычисления первого заменяющего представления LPC;

фиг. 1e иллюстрирует блок-схему последовательности операций для вычисления второго заменяющего представления LPC;

фиг. 2 иллюстрирует общий вид декодера с контроллером маскирования ошибок и блоком оценки шумов;

фиг. 3 иллюстрирует подробное представление синтезирующих фильтров;

фиг. 4 иллюстрирует предпочтительный вариант осуществления, комбинирующий первый и второй аспект;

фиг. 5 иллюстрирует дополнительный вариант осуществления, комбинирующий первый и второй аспекты;

фиг. 6 иллюстрирует вариант осуществления, комбинирующий первый и второй аспекты;

фиг. 7a иллюстрирует вариант осуществления для выполнения компенсации усиления;

фиг. 7b иллюстрирует блок-схему последовательности операций для выполнения компенсации усиления;

фиг. 8 иллюстрирует генератор сигнала маскирования ошибок предшествующего уровня техники;

фиг. 9 иллюстрирует вариант осуществления в соответствии со вторым аспектом с компенсацией усиления;

фиг. 10 иллюстрирует дополнительную реализацию варианта осуществления на фиг. 9;

фиг. 11 иллюстрирует вариант осуществления третьего аспекта с использованием блока оценки шумов;

фиг. 12a иллюстрирует предпочтительную реализацию для вычисления оценки шумов;

фиг. 12b иллюстрирует дополнительную предпочтительную реализацию для вычисления оценки шумов; и

фиг. 13 иллюстрирует вычисление одиночного заменяющего представления LPC или индивидуальных заменяющих представлений LPC для индивидуальных кодовых книг c использованием оценки шумов и с применением операции постепенного затухания.

Предпочтительные варианты осуществления настоящего изобретения относятся к управлению уровнем выходного сигнала посредством усилений кодовых книг независимо от любого изменения усиления, вызванного экстраполированным LPC, и управлению спектральной формой, моделируемой с помощью LPC, отдельно для каждой кодовой книги. С этой целью для каждой кодовой книги применяются отдельные LPC, и применяется средство компенсации для компенсации любого изменения усиления LPC во время маскирования.

Варианты осуществления настоящего изобретения, как они определены в различных аспектах или в комбинированных аспектах, имеют преимущество обеспечения высокого субъективного качества речи/аудио в случае неправильного приема и неприема вообще на стороне декодера одного или нескольких пакетов данных.

Кроме того, предпочтительные варианты осуществления компенсируют разности усиления между последовательными LPC во время маскирования, которые могут возникать из-за изменения с течением времени коэффициентов LPC, и поэтому не допускаются нежелательные изменения уровня сигнала.

Кроме того, преимущество вариантов осуществления заключается в том, что во время маскирования используются два или более набора коэффициентов LPC, чтобы независимо влиять на спектральное поведение вокализированных и невокализованных частей речи, а также тональных и шумоподобных частей аудио.

Все аспекты настоящего изобретения обеспечивают улучшенное субъективное качество звука.

В соответствии с одним аспектом этого изобретения происходит точное управление энергией во время интерполяции. Любое усиление, которое вносится при изменении LPC, компенсируется.

В соответствии с другим аспектом этого изобретения используются индивидуальные наборы LPC для каждого из векторов кодовой книги. Каждый вектор кодовой книги фильтруется с помощью его соответствующего LPC, и индивидуальные фильтрованные сигналы только после этого суммируются для получения синтезированного вывода. В противоположность этому технология существующего уровня техники сначала складывает все векторы возбуждения (генерируемые из различных кодовых книг) и только потом подает сумму на вход одному фильтру LPC.

В соответствии с другим аспектом оценка шумов не используется, например, в качестве автономно натренированного вектора, а фактически получается из прошлых декодированных кадров, так что после определенного количества ошибочных или пропущенных пакетов/кадров получается затухание к фактическому фоновому шуму, а не к какому-либо предварительно заданному спектру шума. Это, в частности, приводит к благосклонному отношению со стороны пользователя, но также к факту, что даже когда возникает ситуация ошибки, сигнал, обеспеченный декодером после определенного числа кадров, связан с предшествующим сигналом. Однако сигнал, обеспеченный декодером в случае определенного числа потерянных или ошибочных кадров, является сигналом, абсолютно не связанным с сигналом, обеспеченным декодером перед ситуацией ошибки.

Применение компенсации усиления для зависящего от времени усиления LPC обеспечивает следующие преимущества:

Это компенсирует любое усиление, которое вносится при изменении LPC.

Следовательно, уровнем выходного сигнала можно управлять с помощью усилений различных кодовых книг. Это обеспечивает предварительно заданное затухание путем устранения любого нежелательного влияния со стороны интерполированного LPC.

Использование отдельного набора коэффициентов LPC для каждой кодовой книги, используемой во время маскирования, обеспечивает следующие преимущества:

Это создает возможность влиять на спектральную форму тональных и шумоподобных частей сигнала по-отдельности.

Это дает возможность воспроизводить вокализированную часть сигнала почти без изменений (например, это желательно для гласных), в то время как шумовая часть может быстро сходиться к фоновому шуму.

Это дает возможность замаскировать вокализированные части, и постепенно ослаблять вокализированную часть с произвольной скоростью постепенного затухания (например, скоростью постепенного затухания, зависящей от характеристик сигнала), при этом одновременно сохраняя фоновый шум во время маскирования. Кодеки существующего уровня техники обычно страдают от очень чистого вокализированного маскирующего звука.

Это обеспечивает средство для гладкого постепенного затухания до фонового шума во время маскирования путем постепенного уменьшения тональных частей без изменения спектральных свойств и постепенного затухания шумоподобных частей до огибающей фонового спектра.

Фиг. 1a иллюстрирует устройство для генерации сигнала 111 маскирования ошибок. Устройство содержит генератор 100 представления LPC для генерации первого заменяющего представления и дополнительно для генерации второго заменяющего представления LPC. Как указано на фиг. 1a, первое заменяющее представление подается на вход синтезатора LPC 106 для фильтрации информации первой кодовой книги, выводимой первой кодовой книгой 102, такой как адаптивная кодовая книга 102, для получения первого заменяющего сигнала на выходе блока 106. Кроме того, второе заменяющее представление, генерируемое генератором 100 представления LPC, подается на вход синтезатора LPC для фильтрации информации второй отличающейся кодовой книги, предоставленной второй кодовой книгой 104, которая является, например, фиксированной кодовой книгой, для получения второго заменяющего сигнала на выходе блока 108. Оба заменяющих сигнала затем подаются на вход объединителя 110 заменяющих сигналов для объединения первого заменяющего сигнала и второго заменяющего сигнала для получения сигнала 111 маскирования ошибок. Оба синтезатора 106, 108 LPC могут быть реализованы в одном блоке синтезатора LPC или могут быть реализованы как отдельные фильтры синтезатора LPC. В других реализациях процедуры обоих синтезаторов LPC могут быть реализованы с помощью двух фильтров LPC, фактически реализованных и функционирующих параллельно. Однако синтезирование LPC также может быть синтезирующим фильтром LPC и некоторым управлением, так что синтезирующий фильтр LPC обеспечивает выходной сигнал для информации первой кодовой книги и первого заменяющего представления, а затем, вслед за этой первой операцией, управление обеспечивает информацию второй кодовой книги и второе заменяющее представление синтезирующему фильтру для получения второго заменяющего сигнала последовательным образом. Другие реализации для синтезатора LPC, помимо одиночного или нескольких синтезирующих блоков, очевидны для специалистов в области техники.

Как правило, выходные сигналы синтезирования LPC являются сигналами во временной области, и объединитель110 заменяющих сигналов выполняет объединение синтезированных выходных сигналов путем выполнения синхронизированного посэмплового (выборка за выборкой) сложения. Однако, другие объединения, такие как посэмпловое (выборка за выборкой) взвешенное сложение или сложение в частотной области или любое другое объединение сигналов, также может выполняться объединителем 110 заменяющих сигналов.

Кроме того, первая кодовая книга 102 показана содержащей адаптивную кодовую книгу, а вторая кодовая книга 104 показана содержащей фиксированную кодовую книгу. Однако первая кодовая книга и вторая кодовая книга могут быть любыми кодовыми книгами, такими как кодовая книга с предсказанием в качестве первой кодовой книги и шумовая кодовая книга в качестве второй кодовой книги. Однако другие кодовые книги могут быть кодовыми книгами глоттальных импульсов, инновационными кодовыми книгами, кодовыми книгами переходов, гибридными кодовыми книгами, состоящими из прогнозирующих и преобразующих частей, кодовыми книгами для индивидуальных речевых генераторов, таких как мужчины/женщины/дети, или кодовые книги для различных звуков, например, звуков животных и т.д.

Фиг. 1b иллюстрирует представление адаптивной кодовой книги. Адаптивная кодовая книга обеспечена контуром 120 обратной связи и принимает, в качестве входа, запаздывание 118 основного тона. Запаздывание основного тона может быть декодированным запаздыванием основного тона в случае достоверного полученного кадра/пакета. Однако, если обнаружена ситуация ошибки, указывающая на ошибочный или пропущенный кадр/пакет, то запаздывание 118 основного тона маскирования ошибки обеспечивается декодером и подается на вход адаптивной кодовой книги. Адаптивная кодовая книга 102 может быть реализована как память, хранящая подаваемые обратно выходные значения, обеспеченные через линию 120 обратной связи, и, в зависимости от примененного запаздывания 118 основного тона, определенное количество пробных значений выводится адаптивной кодовой книгой.

Далее фиг. 1c иллюстрирует фиксированную кодовую книгу 104. В случае нормального режима фиксированная кодовая книга 104 принимает индекс кодовой книги и в ответ на индекс кодовой книги фиксированной кодовой книгой обеспечивается некоторая запись кодовой книги 114 в качестве информации кодовой книги. Однако, если определен режим маскирования, индекс кодовой книги не доступен. Затем активируется генератор 112 шума, обеспеченный в фиксированной кодовой книге 104, который обеспечивает шумовой сигнал в качестве информации 116 кодовой книги. В зависимости от реализации генератор шума может обеспечивать случайный индекс кодовой книги. Однако является предпочтительным, чтобы генератор шума фактически обеспечивал шумовой сигнал, а не случайный индекс кодовой книги. Генератор 112 шума может быть реализован как некоторый аппаратный или программный генератор шума, или может быть реализован как таблицы шумов, или некоторая «дополнительная» запись в фиксированной кодовой книге, которая имеет форму шума. Кроме того, возможны комбинации упомянутых выше процедур, то есть запись шумовой кодовой книги вместе с некоторой последующей обработкой.

Фиг. 1d иллюстрирует предпочтительную процедуру для вычисления первого заменяющего представление LPC в случае ошибки. Этап 130 иллюстрирует вычисление среднего значения представлений LPC двух или более последних достоверных кадров. Предпочтительно трех последних достоверных кадров. Таким образом, среднее значение по трем последним достоверным кадрам вычисляется в блоке 130 и предоставляется блоку 136. Далее сохраненная информация LPC последнего достоверного кадра обеспечивается на этапе 132 и дополнительно предоставляется блоку 136. Далее в блоке 134 определяется коэффициент 134 постепенного затухания. Затем, в зависимости от последней достоверной информации LPC, в зависимости от среднего значения информации LPC последнего достоверного кадра и в зависимости от коэффициента постепенного затухания блока 134 вычисляется первое заменяющее представление 138.

В существующем уровне техники применяется только одно LPC. Для нового предложенного способа каждый вектор возбуждения, который генерируется адаптивной или фиксированной кодовой книгой, фильтруется с помощью своего собственного набора коэффициентов LPC. Получение индивидуальных векторов ISF происходит следующим образом:

Набор А коэффициентов (для фильтрации адаптивной кодовой книги) определяется следующей формулой:

(блок 136),

(блок 136),

где является изменяющимся во времени адаптивным коэффициентом постепенного затухания, который может зависеть от устойчивости сигнала, класса сигнала и т.д. является коэффициентами ISF, где x обозначает номер кадра относительно конца текущего кадра: x=-1 обозначает первый потерянный ISF, x=-2 последний достоверный, x=-3 предпоследний достоверный и так далее. Это приводит к постепенному затуханию LPC, которое используется для фильтрации тональной части, начиная с последнего правильно полученного кадра к среднему LPC (усредненному по трем последним достоверным 20 мс кадрам). Чем больше кадров теряется, тем ближе будет ISF, который используется во время маскирования, к этому краткосрочному среднему вектору ISF ().

Фиг. 1e иллюстрирует предпочтительную процедуру для вычисления второго заменяющего представления. В блоке 140 определяется оценка шумов. Затем, в блоке 142, определяется коэффициент постепенного затухания. Дополнительно, в блоке 144, обеспечивается последний достоверный кадр, который является информацией LPC, которая была ранее сохранена. Затем, в блоке 146, вычисляется второе заменяющее представление. Предпочтительно, набор B коэффициентов (для фильтрации фиксированной кодовой книги) определяется с помощью следующей формулы:

(блок 146),

где является набором коэффициентов ISF, полученным из оценки фонового шума, и является зависящим от времени коэффициентом скорости постепенного затухания, который предпочтительно зависит от сигнала. Целевая спектральная форма получается путем отслеживания прошлого декодированного сигнала в области FFT (энергетический спектр) с использованием подхода минимальной статистики с оптимальным сглаживанием, аналогичным [3]. Эта оценка FFT преобразуется в представление LPC путем вычисления автокорреляции путем выполнения обратного FFT, а затем использования рекурсии Левинсона-Дарбина для вычисления коэффициентов LPC с использованием первых N сэмплов обратного FFT, где N является порядком LPC. Это LPC затем преобразуется в область ISF для получения Альтернативно, если такое отслеживание фоновой спектральной формы не доступно, целевая спектральная форма может также быть получена на основании любой комбинация автономно натренированного вектора и краткосрочного спектрального среднего, как это сделано в G.718 для общей целевой спектральной формы.

Предпочтительно, коэффициенты A и α_B постепенного затухания определяются в зависимости от декодируемого аудиосигнала, то есть в зависимости от декодируемого аудиосигнала до возникновения ошибки. Коэффициент постепенного затухания может зависеть от стабильности сигнала, класса сигнала и т.д. Таким образом, если определяется, что сигнал является довольно шумным сигналом, то коэффициент постепенного затухания определяется таким образом, что коэффициент постепенного затухания уменьшается, время от времени, более быстро по сравнению с ситуацией, в которой сигнал является довольно тональным. В этой ситуации коэффициент постепенного затухания уменьшается от одного временного кадра к следующему временному кадру на меньшее значение. Это гарантирует, что постепенное затухание от последнего достоверного кадра до среднего значения последних трех достоверных кадров произойдет более быстро в случае шумных сигналов по сравнению с нешумными или тональными сигналами, в которых скорость постепенного затухания меньше. Аналогичные процедуры могут выполняться для классов сигналов. Для вокализированных сигналов постепенное затухание может выполняться медленнее, чем для невокализированных сигналов или для музыкальных сигналов, некоторая скорость постепенного затухания может быть уменьшена при сравнении с дополнительными характеристиками сигнала, и могут применяться соответствующие определения коэффициента постепенного затухания.

Как обсуждалось в контексте фиг. 1e, для информации второй кодовой книги может быть вычислен другой коэффициент α_B постепенного затухания. Таким образом, различные записи кодовой книги могут быть обеспечены различной скоростью постепенного затухания. Таким образом, постепенное затухание до оценки шумов как f^cng может быть установлено отличающимся от скорости постепенного затухания от представления ISF последнего достоверного кадра до среднего представления ISF, как указано в блоке 136 на фиг. 1d.

Фиг. 2 иллюстрирует общий вид предпочтительной реализации. Входная линия принимает, например, от беспроводного входного интерфейса или кабельного интерфейса, пакеты или кадры аудиосигнала. Данные во входной линии 202 предоставляются декодеру 204 и одновременно контроллеру 200 маскирования ошибок. Контроллер маскирования ошибок определяет, является ли принятый пакет или кадры ошибочными или отсутствующими. Если это определено, контроллер маскирования ошибок подает управляющее сообщение на вход декодера 204. В реализации на фиг. 2 сообщение «1» в линии CTRL управления сигнализирует, что декодер 204 должен функционировать в режиме маскирования. Однако, если контроллер маскирования ошибок не находит ситуации ошибки, то линия CTRL управления передает сообщение «0», указывающее нормальный режим декодирования, как указано в таблице 210 на фиг. 2. Декодер 204 дополнительно соединен с блоком 206 оценки шумов. Во время нормального режима декодирования блок 206 оценки шумов принимает декодированный аудиосигнал через линию 208 обратной связи и определяет оценку шумов из декодированного сигнала. Однако, когда контроллер маскирования ошибок указывает изменение из нормального режима декодирования в режим маскирования, блок 206 оценки шумов обеспечивает оценку шумов для декодера 204, в результате чего декодер 204 может выполнить маскирование ошибки, как было описано в предшествующих и последующих фигурах. Таким образом, блок 206 оценки шумов дополнительно управляется линией CTRL управления от контроллера маскирования ошибок для переключения из нормального режима оценки шумов в нормальном режиме декодирования в работу с предоставлением оценки шумов в режиме маскирования.

Фиг. 4 иллюстрирует предпочтительный вариант осуществления настоящего изобретения в контексте декодера, такого как декодер 204 на фиг. 2, имеющего адаптивную кодовую книгу 102 и дополнительно имеющего фиксированную кодовую книгу 104. В нормальном режиме декодирования, указываемом с помощью данных «0» линии управления, как обсуждалось в контексте таблицы 210 на фиг. 2, декодер работает, как изображено на фиг. 8, когда элементом 804 пренебрегают. Таким образом, правильно принятый пакет содержит индекс фиксированной кодовой книги для управления фиксированной кодовой книгой 802, усиление g_c фиксированной кодовой книги для управления усилителем 806 и усиление g_p адаптивной кодовой книги для управления усилителем 808. Кроме того, адаптивная кодовая книга 800 управляется с помощью переданного запаздывания основного тона, и переключатель 812 соединен так, что выход адаптивной кодовой книги подается обратно на вход адаптивной кодовой книги. Кроме того, коэффициенты для синтезирующего фильтра 804 LPC получаются из переданных данных.

Однако, если контроллером 202 маскирования ошибок на фиг. 2 обнаружена ситуация маскирования ошибки, инициируется процедура маскирования ошибки, в которой, в отличие от нормальной процедуры, обеспечиваются два синтезирующих фильтра 106, 108. Кроме того, запаздывание основного тона для адаптивной кодовой книги 102 генерируется устройством маскирования ошибки. Дополнительно, усиление g_p адаптивной кодовой книги и усиление g_c фиксированной кодовой книги также синтезируются с помощью процедуры маскирования ошибки, как известно в области техники, чтобы правильно управлять усилителями 402, 404.

Кроме того, в зависимости от класса сигнала, контроллер 409 управляет переключателем 405, чтобы либо подавать обратно комбинацию обоих выходов кодовых книг (после применения соответствующего усиления кодовой книги), либо только подавать обратно выход адаптивной кодовой книги.

В соответствии с вариантом осуществления, данные для синтезирующего фильтра А 106 LPC и данные для синтезирующего фильтра B 108 LPC генерируются генератором 100 представления LPC на фиг. 1a, и, дополнительно, усилителями 406, 408 выполняется коррекция усиления. С этой целью вычисляются коэффициенты g_A и g_B компенсации усиления для того, чтобы правильно управлять усилителями 408, 406 так, чтобы любое влияние усиления, генерируемого представлением LPC, было устранено. Наконец, выход синтезирующих фильтров A, B LPC, обозначенных с помощью номеров позиций 106 и 108, объединяется объединителем 110, в результате чего получается сигнал маскирования ошибок.

Далее обсуждается переключение из нормального режима в режим маскирования с одной стороны и из режима маскирования обратно в нормальный режим.

Переход от одного общего к нескольким отдельным LPC при переключении из декодирования чистого канала к маскированию не вызывает каких-либо разрывов, поскольку состояние памяти последнего достоверного LPC может использоваться для инициализации каждой AR или MA памяти отдельных LPC. При этом обеспечивается плавный переход от последнего достоверного к первому потерянному кадру.

При переключении с маскирования на декодирование чистого канала (фаза восстановления), подход, заключающийся в отдельных LPC, создает сложности в правильном обновлении состояния внутренней памяти одиночного фильтра LPC во время декодирования чистого канала (обычно используются AR (авторегрессивные) модели). Использование только AR памяти одного LPC или усредненной AR памяти приведет к разрывам на границе кадра между последним потерянным и первым достоверным кадром. Далее описывается способ для преодоления этой сложности:

Небольшая часть всех векторов возбуждения (предложено 5 мс) добавляется в конце любого замаскированного кадра. Это показано на фиг. 5. В зависимости от реализации также можно суммировать векторы возбуждения после компенсации усиления LPC.

Желательно начинать в конце кадра минус 5 мс, обнуляя AR память LPC, получать синтезирование LPC с использованием любого из индивидуальных наборов коэффициентов LPC и сохранять состояние памяти в самом конце замаскированного кадра. Если следующий кадр принят правильно, это состояние памяти может тогда использоваться для восстановления (что означает: использоваться для инициализации памяти LPC начала кадра), в противном случае оно не учитывается. Эта память должна быть добавлена дополнительно; она должна обрабатываться отдельно от любой AR памяти LPC маскирования, используемой во время маскирования.

Другое решение для восстановления состоит в том, чтобы использовать способ LPC0, известный из USAC [4].

Далее более подробно обсуждается фиг. 5. Как правило, адаптивная кодовая книга 102 может называться кодовой книгой с предсказанием, как указано на фиг. 5, или она может быть заменена кодовой книгой с предсказанием. Кроме того, фиксированная кодовая книга 104 может быть заменена или реализована как шумовая кодовая книга 104. В нормальном режиме усиления g_p и g_c кодовых книг для того, чтобы правильно управлять усилителями 402, 404, передаются во входных данных или могут синтезироваться с помощью процедуры маскирования ошибок в случае маскирования ошибок. Кроме того, используется третья кодовая книга 412, которая может быть любой другой кодовой книгой, которая дополнительно имеет соответствующее усиление g_r кодовой книги, как обозначено с помощью усилителя 414. В варианте осуществления дополнительное синтезирование LPC с помощью отдельного фильтра, управляемого заменяющим представлением LPC для другой кодовой книги, реализовано в блоке 416. Кроме того, как указано, коррекция g_c усиления выполняется схожим образом, как обсуждалось в контексте g_A и g_B.

Кроме того, показан дополнительный синтезатор X LPC восстановления, обозначенный с помощью номера позиции 418, который принимает в качестве входа сумму по меньшей мере небольшой части всех векторов возбуждения, например, 5 мс. Этот вектор возбуждения подается на вход состояний памяти синтезатора X 418 LPC синтезирующего фильтра X LPC.

Затем, когда происходит обратное переключение из режима маскирования в нормальный режим, одиночный синтезирующий фильтр LPC управляется путем копирования состояний внутренней памяти синтезирующего фильтра X LPC в этот одиночный нормально работающий фильтр, и, дополнительно, коэффициенты фильтра задаются правильно переданным представлением LPC.

Фиг. 3 иллюстрирует дополнительную, более подробную реализацию синтезатора LPC, имеющего два синтезирующих фильтра 106, 108 LPC. Каждый фильтр является, например, фильтром FIR или фильтром IIR, имеющим отводы 304, 306 фильтра и внутреннюю память 304, 308 фильтров. Отводы 302, 306 фильтров управляются соответствующим представлением LPC, правильно переданным, или соответствующим заменяющим представлением LPC, генерируемым генератором представления LPC, таким как 100 на фиг. 1a. Кроме того, обеспечен инициализатор 320 памяти. Инициализатор 320 памяти принимает последнее достоверное представление LPC, и, когда выполняется переключение в режим маскирования ошибки, инициализатор 320 памяти обеспечивает состояния памяти одиночного синтезирующего фильтра LPC внутренней памяти 304, 308 фильтров. В частности, инициализатор памяти принимает вместо последнего достоверного представления LPC или в дополнение к последнему достоверному представлению LPC последние хорошие состояния памяти, то есть состояния внутренней памяти одиночного фильтра LPC в обработке, и, в частности, после обработки последнего достоверного кадра/пакета.

Дополнительно, как уже обсуждалось в контексте фиг. 5, инициализатор 320 памяти может также быть выполнен с возможностью выполнения процедуры инициализации памяти для восстановления из ситуации маскирования ошибок в нормальный режим работы без ошибок. С этой целью инициализатор 320 памяти или отдельный инициализатор памяти будущего LPC выполнен с возможностью инициализации одиночного фильтра LPC в случае восстановления от ошибочного или потерянного кадра к достоверному кадру. Инициализатор памяти LPC выполнен с возможностью подачи по меньшей мере части объединенной информации первой кодовой книги и информации второй кодовой книги или по меньшей мере части объединенной взвешенной информации первой кодовой книги или взвешенной информации второй кодовой книги отдельному фильтру LPC, такому как фильтр 418 LPC на фиг. 5. Дополнительно, инициализатор памяти LPC выполнен с возможностью сохранения состояний памяти, полученных путем обработки поданных значений. Затем, когда последующий кадр или пакет является достоверным кадром или пакетом, инициализируется одиночный фильтр 814 LPC на фиг. 8 для нормального режима с использованием сохраненных состояний памяти, то есть состояний из фильтра 418. Кроме того, как показано на фиг. 5, коэффициенты фильтра могут быть или коэффициентами для синтезирующего фильтра 106 LPC, либо синтезирующего фильтра 108 LPC, либо синтезирующего фильтра 416 LPC, либо взвешенной или невзвешенной комбинацией этих коэффициентов.

Фиг. 6 иллюстрирует дополнительную реализацию с компенсацией усиления. С этой целью устройство для генерации сигнала маскирования ошибок содержит вычислитель 600 усиления и компенсатор 406, 408, который уже обсуждался в контексте фиг. 4 (406, 408) и фиг. 5 (406, 408, 409). В частности, вычислитель 100 представления LPC выводит первое заменяющее представление LPC и второе заменяющее представление LPC вычислителю 600 усиления. Вычислитель усиления затем вычисляет информацию о первом усилении для первого заменяющего представления LPC и информацию о втором усилении для второго заменяющего представления LPC и предоставляет эти данные компенсатору 406, 408, который принимает, в дополнение к информации первой и второй кодовых книг, как показано на фиг. 4 или фиг. 5, LPC последнего достоверного кадра/пакета/блока. Затем компенсатор выводит компенсированный сигнал. На вход компенсатора может подаваться или выход усилителей 402, 404, выход кодовых книг 102, 104 или выход синтезирующих блоков 106, 108 в варианте осуществления на фиг. 4.

Компенсатор 406, 408 частично или полностью компенсирует влияние усиления первого заменяющего LPC в информации о первом усилении и компенсирует влияние усиления второго заменяющего представления LPC с использованием информации о втором усилении.

В варианте осуществления вычислитель 600 выполнен с возможностью вычисления последней достоверной информации о мощности, связанной с последним достоверным представлением LPC перед началом маскирования ошибок. Кроме того, вычислитель 600 усиления вычисляет информацию о первой мощности для первого заменяющего представления LPC, информацию о второй мощности для второго представления LPC, значение первого усиления с использованием последней достоверной информации о мощности и информации о первой мощности, и значения второго усиления с использованием последней достоверной информации о мощности и информации о второй мощности. Затем в компенсаторе 406, 408 выполняется компенсация с использованием значения первого усиления и с использованием значения второго усиления. Однако, в зависимости от информации также может быть выполнено вычисление последней достоверной информации о мощности, как показано в варианте осуществления на фиг. 6, непосредственно компенсатором. Однако вследствие того, что вычисление последней достоверной информации о мощности в основном выполняется таким же образом, как для значения первого усиления для первого заменяющего представления и значения второго усиления для второго заменяющего представления LPC, предпочтительно выполнять вычисление всех значений усиления в вычислителе 600 усиления, как показано с помощью входа 601.

В частности, вычислитель 600 усиления выполнен с возможностью вычисления по последнему достоверному представлению LPC или первому и второму заменяющим представлениям LPC импульсной характеристики и затем вычисления rms (среднеквадратичного) значения по импульсной характеристике для того, чтобы получить соответствующую информацию о мощности в компенсации усиления, каждый вектор возбуждения - после усиления с помощью усиления соответствующей кодовой книги - снова усиливается с помощью усилений: или . Эти усиления определяются путем вычисления импульсной характеристики в настоящий момент используемого LPC, а затем вычисления rms:

Результат затем сравнивается с rms последнего правильно принятого LPC, и частное используется в качестве коэффициента усиления для компенсации увеличения/понижения энергии для интерполяции LPC:

Эта процедура может рассматриваться как своего рода нормализация. Она компенсирует усиление, которое вызвано интерполяцией LPC.

Далее более подробно обсуждаются фиг. 7a и 7b для иллюстрации устройства для генерации сигнала маскирования ошибок, где вычислитель 600 усиления или компенсатор 406, 408 вычисляет последнюю достоверную информацию о мощности, как обозначено под номером позиции 700 на фиг. 7a. Далее вычислитель 600 усиления вычисляет информацию о первой и второй мощности для первого и второго заменяющего представления LPC, как обозначено под номером позиции 702. Затем, как показано под номером позиции 704, вычисляются значения первого и второго усиления, предпочтительно, вычислителем 600 усиления. Затем информации кодовой книги или умноженная на весовой коэффициент информации кодовой книги или выход синтезирования LPC компенсируется с использованием этих значений усиления, как показано под номером позиции 706. Эта компенсация предпочтительно выполняется усилителями 406, 408.

С этой целью несколько этапов выполняется в предпочтительном варианте осуществления, как показано на фиг. 7b. На этапе 710 обеспечивается представление LPC, такое как первое или второе заменяющее представление LPC или последнее достоверное представление LPC. На этапе 712 усиления кодовых книг применяются к информации кодовой книги/выходу, как обозначено блоком 402, 404. Далее, на этапе 716, вычисляются импульсные характеристики по соответствующим представлениям LPC. Затем, на этапе 718, вычисляется rms значение для каждой импульсной характеристики, а в блоке 720 соответствующее усиление вычисляется с использованием старого rms значения и нового rms значения, и это вычисление предпочтительно выполняется путем деления старого rms значения на новое rms значение. Наконец, результат блока 720 используется для компенсации результата этапа 712 для того, чтобы в конце получить компенсированные результаты, как показано на этапе 714.

Далее обсуждается дополнительный аспект, то есть реализация устройства для генерации сигнала маскирования ошибок, которое содержит генератор 100 представления LPC, генерирующий только одиночное заменяющее представление LPC, например, как для ситуации, показанной на фиг. 8. Однако, в отличие от фиг. 8, вариант осуществления, иллюстрирующий дополнительный аспект на фиг. 9, содержит вычислитель 600 усиления и компенсатор 406, 408. Таким образом компенсируется любое влияние усиления заменяющего представления LPC, генерируемого генератором представления LPC. В частности, эта компенсация усиления может быть выполнена на стороне входа синтезатора LPC, как показано на фиг. 9, с помощью компенсатора 406, 408 или, альтернативно, может быть выполнена на стороне выхода синтезатора LPC, как показано, с помощью компенсатора 900 для того, чтобы в конце получить сигнал маскирования ошибок. Таким образом, компенсатор 406, 408, 900 выполнен с возможностью умножения на весовой коэффициент информации кодовой книги или выходного сигнала синтезирования LPC, обеспеченного синтезатором 106, 108 LPC.

Другие процедуры для генератора представления LPC, вычислителя усиления, компенсатора и синтезатора LPC могут быть выполнены таким же образом, как обсуждалось в контексте фиг. 1a - 8.

Как было показано в контексте фиг. 4, усилитель 402 и усилитель 406 выполняют две операции умножения на весовые коэффициенты последовательно друг другу, в частности, в случае, где обратно в адаптивную кодовую книгу подается не сумма вывода умножителя 402, 404, а где обратно подается только выход адаптивной кодовой книги, то есть когда переключатель 405 находится в изображенном положении, или усилитель 404 и усилитель 408 выполняют две операции умножения на весовые коэффициенты последовательно. В варианте осуществления, изображенном на фиг. 10, эти две операции умножения на весовые коэффициенты могут быть выполнены в одной операции. С этой целью вычислитель 600 усиления обеспечивает свой выход g_p или g_c вычислителю 1002 одного значения. Кроме того, генератор 1000 усиления кодовой книги реализован для того, чтобы генерировать усиление кодовой книги маскирования, как известно в области техники. Вычислитель 1002 одного значения затем предпочтительно вычисляет произведение между g_p и g_A для получения одного значения. Кроме того, для второй ветви вычислитель 1002 одного значения вычисляет произведение между g_A или g_B для того, чтобы обеспечить одно значение для нижней ветви на фиг. 4. Дополнительная процедура может быть выполнена для третьей ветви, имеющей усилители 414, 409 на фиг. 5.

Затем обеспечен манипулятор 1004, который выполняет вместе операции, например, усилителей 402, 406 над информацией одиночной кодовой книги или над информацией двух или более кодовых книг для того, чтобы в конце получить сигнал, над которым произведены манипуляции, такой как сигнал кодовой книги или сигнал маскирования, в зависимости от того, расположен ли манипулятор 1004 перед синтезатором LPC на фиг. 9 или после синтезатора LPC на фиг. 9. Фиг. 11 иллюстрирует третий аспект, в котором обеспечены генератор 100 представления LPC, синтезатор 106, 108 LPC и дополнительный блок 206 оценки шумов, который уже обсуждался в контексте фиг. 2. Синтезатор 106, 108 LPC принимает информацию кодовой книги и заменяющее представление LPC. Представление LPC генерируется генератором представления LPC с использованием оценки шумов от блока 206 оценки шумов, и блок 206 оценки шумов работает путем определения оценки шумов по последним достоверным кадрам. Таким образом, оценка шумов зависит от последних достоверных аудиокадров, и оценка шумов оценивается во время приема достоверных аудиокадров, то есть в нормальном режиме декодирования, указываемом с помощью «0» в линии управления на фиг. 2, и эта оценка шумов, генерируемая во время нормального режима декодирования, затем применяется в режиме маскирования, как показано с помощью соединения блоков 206 и 204 на фиг. 2.

Блок оценки шумов выполнен с возможностью обработки спектрального представления прошлого декодированного сигнала для обеспечения спектральное представление шумов и преобразования спектрального представления шумов в представление LPC шумов, где представление LPC шумов является таким же типом представления LPC, как и заменяющее представление LPC. Таким образом, когда заменяющее представление LPC находится в представлении области ISF или является вектором ISF, тогда представление LPC шумов дополнительно является вектором ISF или представлением ISF.

Кроме того, блок 206 оценки шумов выполнен с возможностью применения подхода минимальной статистики с оптимальным сглаживанием к прошлому декодированному сигналу для получения оценки шумов. Для этой процедуры предпочтительно выполнять процедуру, проиллюстрированную в [3]. Однако другие процедуры оценки шумов, основанные, например, на подавлении тональных частей по сравнению с нетональными частями в спектре для того, чтобы отфильтровать фоновые шумы или шумы в аудиосигнале, также могут быть применены для получения целевой спектральной формы или спектральной оценки шумов.

Таким образом, в одном варианте осуществления спектральная оценка шумов получается из прошлого декодированного сигнала, и спектральная оценка шумов затем преобразуется в представление LPC, а затем в область ISF для получения конечной оценки шумов или целевой спектральной формы.

Фиг. 12a иллюстрирует предпочтительный вариант осуществления. На этапе 1200 получается прошлый декодированный сигнал, как, например, изображено на фиг. 2 с помощью контура 208 обратной связи. На этапе 1202 вычисляется спектральное представление, такое как представление на основе быстрого преобразования Фурье (FFT). Затем, на этапе 1204, получается целевая спектральная форма, например, с помощью подхода минимальной статистики с оптимальным сглаживанием или с помощью любой другой обработки блока оценки шумов. Затем целевая спектральная форма преобразуется в представление LPC, как обозначено с помощью блока 1206, и, наконец, представление LPC преобразуется в коэффициент ISF, как показано с помощью блока 1208, для того, чтобы в конце получить целевую спектральную форму в области ISF, которая затем может непосредственно использоваться генератором представления LPC для генерации заменяющего представления LPC. В уравнениях этой заявки целевая спектральная форма в области ISF обозначается как «ISF^cng».

В предпочтительном варианте осуществления, проиллюстрированном на фиг. 12b, целевая спектральная форма получается, например, с помощью подхода минимальной статистики и оптимального сглаживания. Затем, на этапе 1212, вычисляется представление во временной области путем применения обратного FFT, например, к целевой спектральной форме. Затем коэффициенты LPC вычисляются путем использования рекурсии Левинсона-Дарбина. Однако вычисление коэффициентов LPC в блоке 1214 также может быть выполнено с помощью любой другой процедуры помимо упомянутой рекурсии Левинсона-Дарбина. Затем, на этапе 1216, вычисляется конечный коэффициент ISF для получения оценки ISF^cng шумов, которая должна использоваться генератором 100 представления LPC.

Далее обсуждается фиг. 13 для иллюстрации использования оценки шумов в контексте вычисления одиночного заменяющего представления 1308 LPC для процедуры, например, изображенной на фиг. 8 или для вычисления индивидуальных представлений LPC для индивидуальных кодовых книг, как обозначено с помощью блока 1310 для варианта осуществления, изображенном на фиг. 1.

На этапе 1300 вычисляется среднее значение двух или трех последних достоверных кадров. На этапе 1302 обеспечивается представление LPC последнего достоверного кадра. Далее, на этапе 1304, обеспечивается коэффициент постепенного затухания, который может управляться, например, отдельным анализатором сигнала, который, например, может быть включен в контроллер 200 маскирования ошибок на фиг. 2. Затем, на этапе 1306, вычисляется оценка шумов, и процедура на этапе 1306 может быть выполнена с помощью любой из процедур, изображенных на фиг. 12a, 12b.

В контексте вычисления одиночного заменяющего представления LPC выходы блоков 1300, 1304, 1306 предоставляются вычислителю 1308. Затем вычисляется одиночное заменяющее представление LPC таким образом, что, после определенного числа потерянных, пропущенных или ошибочных кадров/пакетов, получается постепенное затухание к представлению LPC оценки шумов.

Однако индивидуальные представления LPC для индивидуальной кодовой книги, например, для адаптивной кодовой книги и фиксированной кодовой книги, вычисляются как обозначено в блоке 1310, затем выполняется процедура, как обсуждалось выше для вычисления ISF_A^-1 (LPC A) и вычисления ISF_B^-1 (LPC B).

Хотя настоящее изобретение было описано в контексте блок-схем, где блоки представляют собой фактические или логические аппаратные компоненты, настоящее изобретение также может быть реализовано с помощью способа, реализованного на компьютере. В последнем случае блоки представляют собой соответствующие этапы способа, при этом эти этапы выражают функциональности, выполняемые соответствующим блоками логического или физического аппаратного обеспечения.

Хотя некоторые аспекты были описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока, элемента или признака соответствующего устройства. Некоторые или все этапы способа могут исполняться (путем использования) аппаратным устройством, таким как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах осуществления некоторые один или более из самых важных этапов способа могут исполняться таким устройством.

В зависимости от определенных требований реализации варианты осуществления изобретения могут быть реализованы с помощью аппаратного или программного обеспечении. Реализация может быть выполнена с использованием цифрового накопителя, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROМ или Флэш-памяти, имеющего сохраненные на нем электронно-читаемые управляющие сигналы, которые взаимодействуют (или способны к взаимодействию) с программируемой компьютерной системой так, что выполняется соответствующий способ. Поэтому цифровой накопитель может быть машиночитаемым.

Некоторые варианты осуществления в соответствии с изобретением включают в себя носители данных, имеющие электронно-читаемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой так, что выполняется один из способов, описанных в настоящем описании.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, программный код является исполнимым для того, чтобы выполнять один из способов, когда компьютерный программный продукт исполняется на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в настоящем описании, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления способа согласно настоящему изобретению является компьютерной программой, имеющей программный код для выполнения одного из способов, описанных в настоящем описании, когда компьютерная программа исполняется на компьютере.

Дополнительный вариант осуществления способа согласно настоящему изобретению является носителем данных (или долговременным носителем данных, таким как цифровой накопитель, или машиночитаемым носителем), включающим в себя записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем описании. Носитель данных, цифровой накопитель или накопитель с записанными данными являются обычно материальными и/или долговременными.

Дополнительный вариант осуществления способа изобретения является потоком данных или последовательностью сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в настоящем описании. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью выполнения одного из способов, описанных в настоящем описании.

Дополнительный вариант осуществления включает в себя компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем описании.

Дополнительный вариант осуществления в соответствии с изобретением включает в себя устройство или систему, выполненную с возможностью передачи (например, электронно или оптически) компьютерной программы для выполнения одного из способов, описанных в настоящем описании, приемнику. Приемник может быть, например, компьютером, мобильным устройством, запоминающим устройством и т.п. Устройство или система могут, например, содержать файловый сервер для передачи компьютерной программы приемнику.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторой или всей функциональности способов, описанных в настоящем описании. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в настоящем описании. В общем, способы предпочтительно выполняются любым аппаратным устройством.

Описанные выше варианты осуществления являются лишь иллюстративными для принципов настоящего изобретения. Понятно, что модификации и вариации конфигураций и подробностей, описанных в настоящем описании, будут очевидны для специалистов в области техники. Поэтому подразумевается, что изобретение ограничивается только объемом прилагаемой формулы изобретения, а не конкретными подробностями, представленными в описании и объяснении вариантов осуществления в настоящем описании.

Ссылки

[1] Рекомендации ITU-T для G.718, 2006

[2] Kazuhiro Kondo, Kiyoshi Nakagawa, „A Packet Loss Concealment Method Using Recursive Linear Predictionʺ Department of Electrical Engineering, Yamagata University, Japan.

[3] R. Martin, Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics, IEEE Transactions on speech and audio processing, vol. 9, no. 5, July 2001

[4] Ralf Geiger et. al., заявка на патент US20110173011 A1, Audio Encoder and Decoder for Encoding and Decoding Frames of a Sampled Audio Signal

[5] 3GPP TS 26.190; Transcoding functions; - технические спецификации 3GPP

Изобретение относится к средствам для генерирования сигнала маскирования ошибок. Технический результат заключается в повышении качества звука. Генерируют заменяющее представление LPC. Фильтруют информацию кодовой книги с использованием заменяющего представления LPC для получения заменяющего сигнала, из которого получается сигнал маскирования ошибок. Выполняют оценку шумов во время приема достоверных аудиокадров, при этом оценка шумов зависит от достоверных аудиокадров и при этом оценка шумов получается из прошлого декодированного сигнала. При этом оценка шумов, полученная на этапе выполнения оценки шумов, используется в генерации заменяющего представления LPC. 3 н. и 14 з.п. ф-лы, 19 ил.

1. Устройство для генерации сигнала маскирования ошибок, содержащее:

генератор (100) представления LPC (кодирования с линейным предсказанием) для генерации заменяющего представления LPC;

синтезатор (106, 108) LPC для фильтрации информации кодовой книги с использованием заменяющего представления LPC для получения заменяющего сигнала, из которого получается сигнал маскирования ошибок; и

блок (206) оценки шумов для получения оценки шумов во время приема достоверных аудиокадров, при этом оценка шумов зависит от достоверных аудиокадров, и при этом оценка шумов получается из прошлого декодированного сигнала (208), и

при этом генератор (100) представления LPC выполнен с возможностью использования оценки шумов, полученной блоком (206) оценки шумов, в генерации заменяющего представления LPC.

2. Устройство по п. 1,

в котором блок (206) оценки шумов выполнен с возможностью

получения (1200) прошлого декодированного сигнала (208),

вычисления спектрального представления прошлого декодированного сигнала (208),

получения спектрального представления шумов из спектрального представления прошлого декодированного сигнала (208) и

преобразования (1206) спектрального представления шумов в представление LPC шумов, представление LPC шумов является таким же типом представления LPC, что и заменяющее представление LPC.

3. Устройство по п. 1 или 2,

в котором заменяющее представление LPC содержит заменяющий коэффициент и

в котором блок (206) оценки шумов выполнен с возможностью обеспечения оценки шумов как коэффициента шумов.

4. Устройство по п. 3, в котором заменяющий коэффициент является коэффициентом LSF (частот спектральных линий) или коэффициентом ISF (частот спектрального иммитанса) и в котором коэффициент шумов является коэффициентом ISF или коэффициентом LSF.

5. Устройство по одному из предыдущих пунктов,

в котором блок (206) оценки шумов выполнен с возможностью применения подхода минимальной статистики с оптимальным сглаживанием (1210) к прошлому декодированному сигналу (208) для получения оценки шумов.

6. Устройство по одному из предыдущих пунктов,

в котором блок (206) оценки шумов выполнен с возможностью

получения (1210) из прошлого декодированного сигнала (208) спектральной оценки шумов,

преобразования (1212, 1214) спектральной оценки шумов в представление LPC и

преобразования (1216) представления LPC в область ISF или область LSF для получения оценки шумов.

7. Устройство по одному из предыдущих пунктов,

в котором блок (206) оценки шумов выполнен с возможностью

обеспечения (1210) спектральной оценки шумов;

преобразования (1212) спектральной оценки шумов в представление во временной области и

выполнения (1214) рекурсии Левинсона-Дарбина с использованием первых N сэмплов представления во временной области, при этом N соответствует порядку LPC представления.

8. Устройство по п. 7,

в котором представление во временной области содержит спектр обратного квадратичного преобразования Фурье.

9. Устройство по одному из предыдущих пунктов,

в котором генератор (100) представления LPC выполнен с возможностью получения заменяющего представления LPC с использованием оценки шумов и последнего достоверного представления LPC.

10. Устройство по одному из предыдущих пунктов,

в котором генератор (100) представления LPC выполнен с возможностью получения заменяющего представления LPC с использованием предыдущего достоверного представления LPC или среднего значения по меньшей мере двух предыдущих достоверных представлений LPC, при этом среднее значение предыдущего достоверного представления LPC постепенно затухает так, что после ряда ошибочных или пропущенных кадров заменяющее представление LPC соответствует оценке шумов.

11. Устройство по одному из предыдущих пунктов,

в котором генератор (100) представления LPC выполнен с возможностью генерации дополнительного заменяющего представления LPC,

в котором устройство дополнительно содержит адаптивную кодовую книгу (104),

в котором синтезатор (106, 108) LPC выполнен с возможностью фильтрации информации из фиксированной кодовой книги с использованием заменяющего представления LPC, полученного из оценки шумов, для получения второго заменяющего сигнала и

в котором синтезатор (106, 108) LPC выполнен с возможностью фильтрации информации из адаптивной кодовой книги с использованием дополнительного заменяющего представления LPC для получения первого заменяющего сигнала, при этом генератор (100) представления LPC выполнен с возможностью вычисления дополнительного заменяющего представления LPC с использованием среднего значения по меньшей мере двух достоверных представлений LPC, и

причем устройство дополнительно содержит сумматор (110) заменяющих сигналов, выполненный с возможностью объединения первого заменяющего сигнала и второго заменяющего сигнала для получения сигнала маскирования ошибок.

12. Устройство по п. 11,

в котором генератор (100) представления LPC выполнен с возможностью вычисления заменяющего представления LPC на основании следующего уравнения:

,

в котором генератор представления LPC выполнен с возможностью вычисления дополнительного заменяющего представления LPC на основании следующего уравнения:

,

где α_A и α_B являются зависящими от времени коэффициентами постепенного затухания, где isf^-2 является представлением LPC последнего достоверного кадра, где isf^-3 является представлением LPC второго последнего достоверного кадра, где isf^-4 является представлением LPC третьего последнего достоверного кадра, где isf_B^-1 является заменяющим представлением LPC и где isf_A^-1 является дополнительным заменяющим представлением LPC, где f^cng является оценкой шумов и где ISF означает значения в области ISF или в области LSF, причем isf^-x является коэффициентами ISF, где x обозначает номер кадра, а ISF^cng обозначает целевую спектральную форму в области ISF.

13. Устройство по одному из предыдущих пунктов, дополнительно содержащее анализатор (200) сигналов для анализа характеристики сигнала, принятого перед возникновением ошибки, которую необходимо замаскировать, при этом анализатор (200) сигналов выполнен с возможностью обеспечения результата анализа и при этом генератор (100) представления LPC выполнен с возможностью использования зависящего от времени коэффициента постепенного затухания, при этом зависящий от времени коэффициент постепенного затухания определяется в зависимости от результата анализа.

14. Устройство по п. 13,

в котором характеристикой сигнала является устойчивость сигнала или класс сигнала и

в котором зависящий от времени коэффициент постепенного затухания определяется так, что коэффициент постепенного затухания уменьшается до 0 за более короткое время для сигнала, являющегося менее устойчивым или находящегося в классе шумов по сравнению с сигналом, являющимся более устойчивым или находящимся в классе тональных сигналов.

15. Устройство по одному из предыдущих пунктов, дополнительно содержащее:

вычислитель (600) усиления для вычисления информации об усилении по заменяющему представлению LPC и

компенсатор (406, 408) для компенсации влияния усиления заменяющего представления LPC с использованием информации об усилении,

при этом компенсатор (406, 408) выполнен с возможностью умножения на весовой коэффициент информации кодовой книги или выходного сигнала синтезирования LPC.

16. Способ для генерации сигнала маскирования ошибок, включающий в себя этапы, на которых:

генерируют (100) заменяющее представление LPC;

фильтруют (106, 108) информацию кодовой книги с использованием заменяющего представления LPC для получения заменяющего сигнала, из которого получается сигнал маскирования ошибок; и

выполняют (206) оценку шумов во время приема достоверных аудиокадров, при этом оценка шумов зависит от достоверных аудиокадров, и при этом оценка шумов получается из прошлого декодированного сигнала (208), и

при этом оценка шумов, полученная на этапе выполнения (206) оценки шумов, используется в генерации (100) заменяющего представления LPC.

17. Носитель данных, имеющий сохраненную на нем компьютерную программу для выполнения, при исполнении на компьютере или процессоре, способа по п. 16.