СИСТЕМЫ И СПОСОБЫ ДЛЯ СГЛАЖИВАНИЯ КОВАРИАЦИИ Российский патент 2024 года по МПК G10L21/208 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящая заявка испрашивает приоритет предварительной заявки на патент США № 62/881,825, поданной 1 августа 2019 года, и предварительной заявки на патент США № 63/057,533, поданной 28 июля 2020 года, которые включены в настоящий документ по ссылке.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее раскрытие относится к улучшениям для обработки сигналов. В частности, настоящее раскрытие относится к обработке аудиосигналов для улучшения сглаживания ковариации для улучшенной обработки.

УРОВЕНЬ ТЕХНИКИ

[0003] Аспект обработки аудиосигнала включает в себя представление многоканального звука слушателю таким образом, что слушатель может определить виртуальные пространственные местоположения для аудио, обеспечивая слушателю эффект погружения. Ранней реализацией этого является стерео, в котором слушатель может определить "направление" d пространстве, откуда исходит звук.

[0004] Более поздние разработки в этой технологии используют межканальные зависимости многоканальной системы для обеспечения более полного погружения в звук. Это может включать в себя использование ковариационной матрицы аудиоканалов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] В настоящем документе раскрыты различные системы и способы обработки сигналов. Некоторые такие системы и способы могут включать в себя сглаживание значений ковариации для частотной полосы по последовательным кадрам.

[0006] В некоторых примерах система и способ для сглаживания оценки ковариационной матрицы для последовательности сигнальных кадров в частотной полосе, способ содержит: для сигнальных кадров сравнение эффективного количества ячеек в частотной полосе с требуемым количеством ячеек для частотной полосы; вычисление коэффициента забывания для полосы как отношения эффективного количества к требуемому количеству; и если эффективное количество ячеек в частотной полосе меньше, чем требуемое количество, формирование текущей оценки значения ковариационной матрицы для текущего кадра с использованием ранее сформированной оценки значения ковариационной матрицы для предыдущего кадра относительно текущего кадра и коэффициента забывания; причем сравнение, вычисление и формирование выполняются системой, содержащей один или несколько компьютерных процессоров. Сглаженная ковариационная матрица может использоваться для улучшенной дальнейшей обработки сигнала посредством сокращения артефактов, вызванных грубыми переходами в матрице.

[0007] В некоторых таких примерах система и способ могут включать в себя вычисление эффективного количества ячеек как суммы значений отклика набора фильтров для частотной полосы.

[0008] В некоторых таких примерах формирование использует фильтр первого порядка.

[0009] В некоторых таких примерах фильтр первого порядка включает в себя разность между значением для текущего кадра и ранее формированной оценкой для предыдущего кадра, разность взвешена посредством коэффициента забывания.

[0010] В некоторых таких примерах система и способ также включают в себя сравнение коэффициента забывания с максимальным коэффициентом забывания; и установку коэффициента забывания равной минимуму из вычисленного коэффициента забывания и максимального разрешенного коэффициента забывания; причем сравнение и установка выполняются перед формированием текущей оценки значения ковариационной матрицы для текущего кадра.

[0011] В некоторых таких примерах система и способ также включают в себя обнаружение, возникает ли транзиент в отслеживаемом кадре; и сброс сглаживания в ответ на обнаружение, что транзиент возникает, посредством установки текущей оценки значения ковариационной матрицы для отслеживаемого кадра равной исходному значению ковариационной матрицы для отслеживаемого кадра без использования коэффициента забывания для отслеживаемого кадра. Обнаружение может быть выполнено посредством использования аспектов декоррелятора приглушения.

[0012] В некоторых таких примерах система и способ также включают в себя сохранение текущей оценки ковариационной матрицы настоящего кадра; и преобразование отсчетов сохраненной текущей оценки по частотным полосам, преобразование из одной структуры распределения полос в другую структуру распределения полос.

[0013] Система и способ могут являться частью декодера аудиосигнала.

[0014] Некоторые или все способы, описанные в настоящем документе, могут быть выполнены одним или несколькими устройствами в соответствии с инструкциями (например, программным обеспечением), сохраненными на одном или нескольких носителях долговременного хранения. Такие носители долговременного хранения могут включать в себя запоминающие устройства, такие как описанные в настоящем документе, в том числе, но без ограничения, оперативные запоминающие устройства (ОЗУ, RAM), постоянные запоминающие устройства (ПЗУ, ROM) и т.д. В соответствии с этим различные инновационные аспекты предмета изобретения, описанного в настоящем раскрытии, могут быть реализованы в носителе долговременного хранения, имеющем сохраненное на нем программное обеспечение. Программное обеспечение, например, может исполняться одним или несколькими компонентами системы управления, такими как раскрытые в настоящем документе. Программное обеспечение, например, может включать в себя инструкции для выполнения одного или нескольких способов, раскрытых в настоящем документе.

[0015] По меньшей мере некоторые аспекты настоящего раскрытия могут быть реализованы через устройство или устройства. Например, одно или несколько устройств могут быть сконфигурированы для выполнения (по меньшей мере частично) способов, раскрытых в настоящем документе. В некоторых реализациях устройство может включать в себя систему интерфейса и систему управления. Система интерфейса может включать в себя один или несколько сетевых интерфейсов, один или несколько интерфейсов между системой управления и системой памяти, один или несколько интерфейсов между системой управления и другим устройством и/или один или несколько интерфейсов внешнего устройства. Система управления может включать в себя по меньшей мере один компонент из процессора общего назначения на одной или нескольких микросхемах, процессора цифровой обработки сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, дискретной или транзисторной логики или дискретных аппаратных компонентов. В соответствии с этим в некоторых реализациях система управления может включать в себя один или несколько процессоров и один или несколько носителей информации долговременного хранения, функционально соединенных с одним или несколькими процессорами.

[0016] Подробные сведения об одной или нескольких реализациях предмета изобретения, описанного в настоящей спецификации, изложены на прилагаемых чертежах и в описании ниже. Другие характерные признаки, аспекты и преимущества станут очевидны из описания, чертежей и формулы изобретения. Следует отметить, что относительные размеры следующих фигур могут не соблюдать масштаб. Одинаковые ссылочные номера и обозначения на различных чертежах обычно указывают одинаковые элементы, но разные ссылочные номера не обязательно обозначают разные элементы между разными чертежами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0017] Фиг. 1 иллюстрирует пример канала сигнала, разделенного на отсчеты, кадры, ячейки и полосы.

[0018] Фиг. 2 иллюстрирует блок-схему последовательности этапов для иллюстративного способа сглаживания ковариационной матрицы сигнала с использованием алгоритма сглаживания.

[0019] Фиг. 3 иллюстрирует блок-схему последовательности этапов (частичную) для иллюстративного способа сглаживания ковариационной матрицы сигнала с использованием алгоритма сглаживания с максимальным коэффициентом забывания.

[0020] Фиг. 4 иллюстрирует блок-схему последовательности этапов (частичную) для иллюстративного способа сглаживания ковариационной матрицы сигнала с использованием алгоритма сглаживания с обнаружением транзиента.

[0021] Фиг. 5 иллюстрирует пример системы кодера/декодера с алгоритмом сглаживания в кодере.

[0022] Фиг. 6 иллюстрирует пример системы кодера/декодера с алгоритмом сглаживания в декодере.

[0023] Фиг. 7 иллюстрирует пример системы кодера/декодера с алгоритмом сглаживания как частью DTX.

ПОДРОБНОЕ ОПИСАНИЕ

[0024] Настоящее раскрытие описывает способы и системы для сглаживания значений оценочной матрицы (например, ковариационной матрицы) во времени, включая случаи, в которых оценка вычислена на основе небольшого количества отсчетов, в результате чего несглаженная вариация этих значений может вызвать проблемы, такие как заметные артефакты в выходных данных (например, аудио).

[0025] Настоящее раскрытие также описывает (среди прочего) использование обнаружения транзиентов для предотвращения чрезмерного сглаживания значений и тем самым предотвращения добавления нежелательных артефактов вследствие сглаживания.

[0026] Термин "сглаживание", используемый в настоящем документе, относится к сокращению изменчивости значения последовательных кадров сигнала. Например, к сокращению изменчивости значений ковариации по последовательным кадрам.

[0027] Термин "ковариация" в контексте настоящего документа относится к мере совместной изменчивости двух сигналов. Например, ковариация энергий сигналов.

[0028] Термин "ковариационная матрица", используемый настоящем документе, относится к матрице ковариаций нескольких сигналов. Термин “полосчатая ковариационная матрица” относится к ковариационной матрице, в которой несколько смежных частотных ячеек ковариационной матрицы для каждой ячейки объединены в полосу, в результате чего ковариация может быть представлена значительно меньшим количеством (равным количеству полос). Например, входные данные с 960 частотными ячейками могут стать 12 частотными полосами с 960 ячейками, распределенными равномерно или неравномерно по 12 полосам. Для представленных в настоящем документе примеров подразумевается, что "ковариационная матрица" является полосчатой ковариационной матрицей.

[0029] Термин "Оценочная матрица", используемый в настоящем документе, относится к выборочной ковариационной матрице. В контексте настоящего документа "ковариационная матрица" и "сглаженная матрица" включают в себя оценочные матрицы.

[0030] Термин "комплексная расширенная связь" (CACPL, complex advanced coupling), используемый в настоящем документе, относится к способу кодирования стереосигнала, посредством которого сигналы левого и правого каналов объединяются mid-сигнал (L+R)/2 и side-сигнал (L-R)/2, и затем side-сигнал предсказывается на основе mid-сигнала.

[0031] Термин "алгоритм сглаживания", используемый в настоящем документе, относится к сглаживанию ковариационной матрицы в соответствии с настоящим раскрытием, в частности, к сглаживанию на основе эффективного количества ячеек полосы. Термин "сглаженная матрица", используемый в настоящем документе, относится к ковариационной матрице, модифицированной алгоритмом сглаживания.

[0032] Термин "эффективное количество ячеек", используемый в настоящем документе, относится либо к фактическому количеству ячеек в полосе, либо к оценке количества эффективных ячеек в полосе. Пример оценки количества эффективных ячеек в полосе включает в себя суммирование значений отклика набора фильтров для этой полосы.

[0033] Термин "коэффициент забывания", используемый в настоящем документе, относится к весовому значению, которое модифицирует значимость части функции.

[0034] Термин "DTX", используемый в настоящем документе, относится к модулю кодера, который обрабатывает события прерывистой передачи.

[0035] Решение проблемы сглаживания ковариации входных каналов описан в настоящем документе. Это улучшает технологию обработки сигналов, например, для служб передачи голоса и аудиоданных, например, обеспечивающих пользователям эффект присутствия (например, виртуальная реальность, дополненная реальность).

[0036] В цифровой обработке сигналов, как показано на фиг. 1, входной сигнал (канал) разделен во временной области на кадры 101. Серия последовательных кадров может группироваться в последовательность 102 кадров. В частотной области сигнал может быть разделен на частотные интервалы, называемые ячейками 103. Заданную ячейку в заданном кадре называют отсчетом 106. Ячейки могут группироваться вместе в частотной полосе 104/105. Это позволяет выполнить статистическое усреднение по заданной полосе для заданной подвергнутого оконной обработке кадра/последовательности кадров ("окно" представляет собой функцию взвешивания, применяемую к кадру или последовательности кадров). Одним из применений этого усреднения является оценка ковариация между аудиоканалами.

[0037] Не все полосы обязательно содержат одинаковое количество ячеек. Например, более низкочастотные полосы 104 могут иметь меньшее количество ячеек на полосу, чем более высокочастотные частоты 105. Это означает, что для статистического анализа для более низкочастотных полос требуется большее окно (больше кадров) на ячейку для получения значимых статистических результатов, чем для более высокочастотной полосы. Данная ячейка в данном кадре может иметь связанную с ней энергию сигнала, и несколько значений ячеек могут быть усреднены по полосе и/или окну.

Пример ковариационной матрицы

[0038] Взяв в качестве примера комплексную расширенную связь (CACPL), параметры α (комплексный коэффициент предсказания) и β (действительный коэффициент декорреляции) могут быть вычислены на основе элементов ковариационной матрицы mid-side (2×2) . Эта матрица вычисляется по ряду аналитических полос 1≤b≤B.

Уравнение 1

где члены в форме представляют собой ковариацию сигналов X и Y, вычисленную по частотной полосе b. Верхний индекс * обозначает комплексное сопряженное транспонирование значения. Приведенный выше пример представляет собой ковариационную матрицу 2 х 2. В различных реализациях возможно любое количество входных каналов (например, четырехканальная система с ковариационной матрицей 4×4). Приведенный выше пример предназначен для mid-сигналов (M) и side-сигналов (S), но специалист в данной области может экстраполировать представленное выше для других типов сигналов.

Сглаживающая функция и коэффициент забывания

[0039] Обычно сглаженная матрица может быть вычислена с использованием низкочастотного фильтра, разработанного в соответствии с требованиями к сглаживанию. В случае алгоритма сглаживания требования к сглаживанию таковы, что предыдущие оценки используются для искусственного увеличения количества частотных отсчетов (ячеек), используемых для формирования текущей оценки ковариационной матрицы. В некоторых вариантах осуществления вычисление сглаженной матрицы на основе входной ковариационной матрицы по последовательности кадров использует авторегрессивный низкочастотный фильтр первого порядка, который использует взвешенную сумму оценочных значений матрицы прошлых и текущих кадров:

Уравнение 2

где - коэффициент забывания или частота обновления, т.е. насколько большое внимание уделяется данным предыдущей оценки, и n - номер кадра. В некоторых вариантах осуществления это имеет значение только для кадров после первого кадра, поскольку нет значения для . В некоторых вариантах осуществления A[0] равно 0, что приводит к сглаживанию A[1]. В некоторых вариантах осуществления A[0] присваивается значение A[1], что приводит к отсутствию сглаживания A[1]. Алгоритм в уравнении 2 является примером алгоритма, который может использоваться для алгоритма сглаживания, но также могут использоваться другие уравнения. Например, в то время как уравнение 2 представляет низкочастотный фильтр первого порядка, также может использоваться конструктивное решение фильтра более высокого порядка. Важными факторами алгоритма (функции сглаживания) являются ретроспективный аспект использования ранее сглаженных результатов и коэффициент забывания для задания веса влияния этих результатов.

Коэффициент забывания

[0040] Эффект фактора забывания заключается в том, что по мере применения сглаживания к последовательным кадрам предыдущие кадры все меньше и меньше влияют на сглаживание сглаживаемого (корректируемого) кадра.

[0041] Когда коэффициент забывания в уравнении 1 равен единице ( ), сглаживание не происходит, и оно фактически действует как фильтр всех частот. Когда , уравнение действует как низкочастотный фильтр. Более низкий уделяет больше внимания старым данным ковариации, в то время как более высокий больше учитывает новую ковариацию. Коэффициент забывания больше единицы (например, ) реализуется как высокочастотный фильтр. В некоторых вариантах осуществления реализован максимальный допустимый коэффициент забывания . Это максимальное значение будет определять поведение алгоритма, как только значения ячеек/полосы становятся большими. В некоторых вариантах осуществления будет всегда реализовывать некоторое сглаживание в каждой полосе независимо от того, каков вычисленный коэффициент забывания; и будет применять сглаживающую функцию только к полосам с меньшим количеством ячеек, чем требуемое количество , оставляя большие полосы несглаженными.

[0042] В некоторых из тех вариантов осуществления коэффициент забывания для конкретной полосы вычисляется как минимум из максимального разрешенного коэффициента забывания и отношения эффективного количества ячеек в полосе и минимального количества ячеек , которые определены как дающие хорошую статистическую оценку на основе размера окна.

Уравнение 3

[0043] В некоторых вариантах осуществления является фактическим количеством ячеек для частотной полосы. В некоторых вариантах осуществления может быть вычислен на основе суммы частотной характеристики конкретной полосы, например, если частотной характеристикой полосы является , эффективное количество ячеек . В некоторых вариантах осуществления , такой как , остается в разумном диапазоне, например, . Это означает, что сглаживание применяется пропорционально к оценкам небольшой выборки, и сглаживание вообще не применяется к оценкам большой выборки. В некоторых вариантах осуществления , что заставляет сглаживать большие полосы до определенной степени независимо от их размера (например, ). В некоторых вариантах осуществления может быть выбран на основе имеющихся данных, которые дают наилучшие субъективные результаты. В некоторых вариантах осуществления может быть выбран на основе того, насколько желательно начальное сглаживание (первого последующего кадра после начального кадра данного окна).

[0044] В примере, использующем набор фильтров анализа с более узкими низкочастотными полосами (т.е., с меньшим количеством ячеек, большим количеством кадров, необходимых для хорошего статистического анализа) и более широкими высокочастотными полосами (т.е., с большим количеством ячеек, меньшим количеством кадров, необходимых для хорошего статистического анализа) это приведет к увеличению степени сглаживания в низкочастотных полосах и уменьшению величины сглаживания (или вообще к отсутствию сглаживания, если ) в высокочастотных полосах.

[0045] Пример последовательности операций для этого способа показан на фиг. 2. Входной сигнал 201 FFT (быстрое преобразование Фурье) обеспечивает для заданной полосы во входном сигнале соответствующую ковариационную матрицу по окну. Извлекается 202 эффективное количество ячеек для этой полосы. Например, оно может быть вычислено посредством значений отклика набора фильтров полосы. Требуемое количество ячеек определяется 203, например, посредством субъективного анализа, сколько ячеек потребуется для обеспечения хорошего статистического анализа для окна. Коэффициент забывания вычисляется 204 посредством вычисления отношения рассчитанного количества ячеек к требуемому количеству ячеек. Для заданного кадра (кроме первого кадра) новое значение ковариационной матрицы вычисляется 205 на основе нового значения ковариации, вычисленного для предыдущего кадра, исходного значения для текущего кадра и коэффициента забывания. Новая (сглаженная) матрица, сформированная этими новыми значениями, используется в дальнейшей обработке 206 сигналов.

[0046] На фиг. 3 показан пример модификации последовательности операций для максимального разрешенного коэффициента забывания. Как и на фиг. 2, для полосы вычисляется коэффициент забывания. Кроме того, определяется 302 максимальный разрешенный коэффициент забывания. Значения сравниваются 303, и если вычисленный коэффициент меньше, чем максимальный разрешенный коэффициент, то вычисленный коэффициент используется при сглаживании 305. Если вычисленный коэффициент больше, чем максимальный разрешенный коэффициент, максимальный разрешенный коэффициент используется 304 при сглаживании 305. В примере показан вычисленный коэффициент, который используется, если коэффициенты равны (не больше), но можно предусмотреть эквивалентную последовательность операций, в которой используется минимальное значение, если они равны.

Сброс сглаживания

[0047] В некоторых вариантах осуществления может возникнуть желание избежать сглаживания транзиентов (внезапных изменений величины сигнала), поскольку это может привести к нежелательным искажениям/артефактам сигнала на выходе. В этих вариантах осуществления сглаживание может быть “сброшено” в точках, где в сигнале обнаруживаются транизиенты.

[0048] Оценочная матрица предыдущего временного кадра может быть сохранена, чтобы обеспечить возможность вычисления сглаженного значения для текущего кадра. Если во входных сигналах во время этого кадра обнаружен транзиент, сглаживающая функция может быть настроена на повторную инициализацию.

[0049] Когда обнаружен транзиент, прошлая оценка матрицы сбрасывается на текущую оценку, в результате чего выходные данные сглаживающего фильтра после транзиента представляют собой саму оценку (изменения не применяются). Другими словами, для кадра сброса После кадра сброса в последующих кадрах может быть снова применена сглаживающая функция до следующего сброса.

[0050] На фиг. 4 показана иллюстративная модификация последовательности операций для обнаружения транзиента. Выполняется определение 401, обнаружен ли транзиент для данного кадра. Если да 403, то новое значение матрицы остается таким же, как входное значение. Если нет 402, для этого кадра используется обычный алгоритм сглаживания. Комбинация (матрица) сглаженных и несглаженных (транзиент) значений кадра используется для обработки 404 сигналов.

[0051] В некоторых вариантах осуществления сглаживание сбрасывается, когда транзиент обнаружен на любом канале. Например, если существуют N каналов, может использоваться N детекторов транзиента (один на каждый канал), и если какой-либо из них обнаруживает транзиент, сглаживание сбрасывается, или конец сигнала, или конец сглаживания (сглаживание отключается).

[0052] Для примера входного стереосигнала каналы могут быть определены как отдельные (или, возможно, достаточно разные), в результате чего учет транзиентов в левом канале может означать, что важный транзиент в правом канале может быть неправильно сглажен (и наоборот). Поэтому используются два детектора транзиентов (левый и правый), и любой из них может вызвать сброс сглаживания всей матрицы 2×2.

[0053] В некоторых вариантах осуществления сглаживание сбрасывается только на транзиентах для некоторых каналов. Например, если существуют N каналов, используются только M (меньше N, возможно 1) детекторов.

[0054] Для примера входного сигнала Ambisonics первого порядка (FOA, First Order Ambisonics) первый канал (W) может быть определен как самый важный по сравнению с другими тремя каналами (X, Y, Z), и учитывая пространственные отношения между сигналами FOA, вероятно, что транзиенты в последних трех каналах так или иначе будут отражены в канале W. Таким образом, система может быть настроена с детектором транзиента только на канале W, инициирующим сброс всей ковариационной матрицы 4×4, когда он обнаруживает транзиент на канале W.

[0055] В некоторых вариантах осуществления сбрасываются только элементы ковариации, которые испытали транзиент. Это означало бы, что транзиент в n-м канале приведет к сбросу значений только в n-й строке и в n-м столбце ковариационной матрицы (всей строки и всего столбца). Это может быть выполнено посредством отдельного отслеживания транзиентов на каждом канале, и обнаруженный транзиент на любом данном канале инициирует сброс позиций матрицы, которые соответствуют ковариации этого канала с другим каналом (и наоборот, а также тривиально с самим собой).

[0056] В некоторых вариантах осуществления сброс происходит только для большинства или порогового количеств каналов, обнаруживающих транзиент. Например, в четырехканальной системе пороговое значение может быть установлено для инициирования сброса только в том случае, если по меньшей мере два канала сообщают о транзиенте в одном и том же кадре.

Пример обнаружения транзиента

[0057] Примером детектора транзиента является использование свойства приглушения декоррелятора приглушения, который может использоваться для определения, произошел ли транзиент в одном входном канале. См. например патент США 9,747,909, содержание которого включено в настоящий документ по ссылке. При транзиентах возникает внезапное уменьшение коэффициента приглушения. Изменение коэффициента приглушения можно сравнить с пороговым значением, чтобы определить, произошел ли транзиент. Пороговое значение может быть определено посредством субъективной оценки того, что обеспечивает точное обнаружение транзиента.

[0058] Иллюстративный детектор транзиента работает следующим образом.

1. Входные сигналы подвергаются высокочастотной фильтрации для усиления транзиентов.

2. Абсолютное значение выходного сигнала высокочастотного фильтра затем подвергается низкочастотной фильтрации для определения огибающей сигнала.

3. Формируются две огибающие, быстрая и медленная , с использованием двух разных низкочастотных фильтров с немного отличающимися частотами среза, .

4. Для каждого отсчета во временной области огибающих сигналов в конкретном кадре, где , если

Уравнение 4

то коэффициент приглушения уменьшается до

Уравнение 5

в противном случае коэффициент может медленно увеличиваться до 1 следующим образом:

Уравнение 6

где - временная константа, определяющая, как быстро коэффициент приглушения возвращается к .

5. Если произошло значительное изменение коэффициента приглушения по сравнению с текущим кадром, считается, что произошел транзиент: т.е.

Уравнение 7

[0059] В некоторых вариантах осуществления способ определения возникновения транзиента на основе коэффициента приглушения представляет собой подсчет количества/доли отсчетов во временной области в каждом кадре, в которых выполняется указанное выше условие. Если это значение превышает определенный порог, кадр определяется как содержащий транзиент.

[0060] Хотя для обнаружения транзиентов для алгоритма сглаживания можно использовать коэффициент приглушения, может быть использован любой способ обнаружения транзиентов, известный в данной области техники.

Преобразование отсчетов (перенос распределения полос)

[0061] В некоторых вариантах осуществления полоса, подвергающаяся сглаживанию, может быть преобразована в новую полосу для сглаживания при изменении распределения полос канала. Если распределение полос входного сигнала изменяется от одного кадра к следующему с точки зрения количества и/или ширины полос (например, вследствие переключения набора фильтров в кодере), сохраненная (предыдущая) оценка матрицы может быть преобразована в новую структуру распределения полос, чтобы продолжить непрерывную работу механизма сглаживания. Матрица преобразования между структурами распределения полос может быть вычислена посредством использования набора оконных функций в частотной области, т.е. идеальных величин откликов набора фильтров для предыдущей схемы распределения полос (т.е., предыдущего набора фильтров) в виде матрицы.

[0062] В качестве примера:

является массивом , содержащим строки предыдущих идеальных откликов набора фильтров , и является массивом , содержащим новые идеальные отклики набора фильтров . - количество частотных ячеек.

[0063] Элементы матрицы преобразования , которые преобразовывают полосу из в полосу из :

Уравнение 8

создавая матрицу , которая может использоваться для преобразования предыдущих оценок полос в новую схему распределения полос.

Пример сглаживания со сбросом

[0064] Приведен пример одной полосы ковариационной матрицы 1×1 , где полоса состоит из 3 ячеек ( ), но определено (субъективно), что для хорошего статистического анализа необходимо по меньшей мере 8 ячеек ( ). Это дает коэффициент забывания полосы .

[0065] Если ковариационная матрица начального распределения полос (первый кадр и транзиенты показаны жирным шрифтом) представляет собой:

и детектор транзиента со следующими выходными данными, указывающими, что первый кадр и седьмой кадр содержат транзиенты:

Выходные данные со сглаженной ковариацией будут выглядеть следующим образом:

[0066] Первый кадр остается таким же в , каким он был в , поскольку сглаживание не начинается до второго кадра вследствие транзиента, указанного в первом. Если в первом кадре нет транзиента, первый кадр может быть сглажен посредством принятия предыдущего кадра как имеющего нулевое значение (в одном варианте осуществления) или как имеющего значение, равное самому себе (в другом варианте осуществления); ситуация зависит от того, как сконфигурирован алгоритм. В некоторых вариантах осуществления первый кадр всегда отмечается как имеющий транзиент независимо от того, происходит ли какое-либо фактическое обнаружение. Седьмое значение совпадает со значением из-за сброса сглаживания.

[0067] Второй кадр использует свое собственное значение (0,05), "сглаженное" значение предыдущего кадра (0.1), и коэффициент забывания (3/8), чтобы вычислить сглаженное значение (приблизительно 0,813). Формула в этом примере (фильтр первого порядка):

=0,1 + (3/8) (0,05-0,1)=0,8125

[0068] Это повторяется для последующих кадров, пока не будет достигнут кадр 7, который в обозначен как имеющий транзиент. Для этого= 0,9. Последующие кадры затем снова вычисляются посредством сглаживающей функции (как если бы кадр 7 был начальным кадром).

[0069] В некоторых вариантах осуществления система сглаживания ковариационной матрицы может быть интегрирована в кодер. Пример системы показан на фиг. 5. Иллюстративный кодер 501 формирует 502 одну или несколько ковариационных матриц для сигнала 504, которые алгоритм 503 сглаживания изменяет перед отправкой сигнала 504 в декодер 505.

[0070] В некоторых вариантах осуществления система сглаживания ковариационной матрицы может быть интегрирована в декодер. Пример декодера с алгоритмом сглаживания показан на фиг. 6. Кодер 601 отправляет сигнал 602 (например, аудиоканалы) в декодер 603. Декодер 603 применяет алгоритм 604 сглаживания перед выполнением последующей обработки 605 (обработка может быть произведена также и перед сглаживанием).

[0071] В некоторых вариантах осуществления сглаживание ковариации может также использоваться в кодере в случае кадров с прерывистой передачей (DTX), чтобы стабилизировать параметризацию шума пространственного комфорта. В этом случае во время кадров DTX не будет сброса сглаживания ковариации из-за транзиентов, а вместо этого ее сброс будет при входе/выходе из режима DTX кодека. Пример кодера с алгоритмом сглаживания показан на фиг. 7, где кодер 701 имеет модуль 702 DTX, который включает в себя алгоритм 703 сглаживания.

[0072] Был описан ряд вариантов осуществления изобретения. Тем не менее, следует понимать, что различные изменения могут быть внесены без отступления от сущности и объема настоящего раскрытия. В соответствии с этим другие варианты осуществления входят в объем следующей формулы изобретения.

[0073] Вычислительное устройство, реализующее методики сглаживания ковариации, может иметь следующую иллюстративную архитектуру. Возможны другие архитектуры, в том числе архитектуры с большим или меньшим количеством компонентов. В некоторых реализациях иллюстративная архитектура включает в себя один или несколько процессоров (например, двухъядерные процессоры Intel® Xeon®), одно или несколько устройств вывода (например, жидкокристаллический дисплей (LCD)), один или несколько сетевых интерфейсов, одно или несколько устройств ввода (например, мышь, клавиатура, сенсорный дисплей) и один или несколько машиночитаемых носителей (например, оперативное запоминающее устройство (ОЗУ, RAM), постоянное запоминающее устройство (ПЗУ, ROM), синхронное динамическое ОЗУ (SDRAM), жесткий диск, оптический диск, флэш-память и т.д.). Эти компоненты могут осуществлять связь и обмен данными по одному или нескольким каналам связи (например, по шине), которые могут использовать различное аппаратное и программное обеспечение для обеспечения переноса данных и управляющих сигналов между компонентами.

[0074] Термин "машиночитаемый носитель" относится к носителю, который участвует в предоставлении инструкций процессору для исполнения, в том числе, но без ограничения, к энергонезависимым носителям (например, оптическим или магнитным дискам), энергозависимым носителям (например, памяти) и средства передачи. Средства передачи включают в себя, без ограничения, коаксиальные кабели, медный провод и волоконную оптику.

[0075] Машиночитаемый носитель может дополнительно содержать операционную систему (например, операционную систему Linux®), модуль сетевой связи, менеджер аудиоинтерфейса, менеджер обработки звука и распространитель живого контента. Операционная система может быть многопользовательской, многопроцессорной, многозадачной, многопотоковой, в режиме реального времени и т.д. Операционная система выполняет основные задачи, в том числе, но без ограничения: распознавание ввода и предоставление вывода сетевым интерфейсам 706 и/или устройствам 708; отслеживание и управление файлами и каталогами на машиночитаемых носителях (например, память или запоминающее устройство); управление периферийными устройствами; и управление трафиком по одному или нескольким каналам связи. Модуль сетевой связи включает в себя различные компоненты для установления и поддержания сетевых подключений (например, программное обеспечение для реализации протоколов связи, таких как TCP/IP, HTTP и т.д.).

[0076] Архитектура может быть реализована в параллельной обработке или одноранговой инфраструктуре или на одном устройстве с одним или несколькими процессорами. Программное обеспечение может включать в себя несколько программных компонентов или может представлять собой единый код.

[0077] Описанные функции могут быть реализованы преимущественно в одной или нескольких компьютерных программах, которые выполняются в программируемой системе, включающей в себя по меньшей мере один программируемый процессор, подключенный для приема данных и команд и для передачи данных и команд в систему хранения данных, по меньшей мере одно устройство ввода и по меньшей мере одно устройство вывода. Компьютерная программа представляет собой набор инструкций, которые могут быть использованы, прямо или косвенно, в компьютере для выполнения определенной деятельности или достижения определенного результата. Компьютерная программа может быть написана на любом языке программирования (например, Objective-C, Java), включая компилируемые или интерпретируемые языки, и она может быть развернута в любой форме, в том числе как отдельная программа или как модуль, компонент, подпрограмма, веб-приложение на основе браузера или другой объект, подходящий для использования в вычислительной среде.

[0078] Подходящие процессоры для исполнения программы инструкций включают в себя, в качестве примера, микропроцессоры общего и специализированного назначения и одиночный процессор или один из нескольких процессоров или ядер компьютера любого вида. Обычно процессор принимает инструкции и данные из постоянного запоминающего устройства и/или оперативного запоминающего устройства. Основными элементами компьютера являются процессор для выполнения инструкций и одно или несколько запоминающих устройств для хранения инструкций и данных. Как правило, компьютер также включает в себя или может быть оперативно соединен для связи с одним или несколькими устройствами массового хранения для хранения файлов данных; такие устройства включают в себя магнитные диски, такие как внутренние жесткие диски и съемные диски; магнитооптические диски; и оптические диски. Запоминающие устройства, подходящие для физического воплощения инструкций и данных компьютерной программы, включают в себя все формы энергонезависимой памяти, в том числе, например, полупроводниковые запоминающие устройства, такие как EPROM, EEPROM и устройства флэш-памяти; магнитные диски, такие как внутренние жесткие диски и съемные диски; магнитооптические диски; и диски CD-ROM и DVD-ROM. Процессор и память могут быть дополнены или встроены в ASIC (специализированные интегральные схемы).

[0079] Для обеспечения взаимодействия с пользователем функции могут быть реализованы на компьютере, имеющем устройство отображения, такое как ЭЛТ (CRT, электронно-лучевая трубка) или ЖК-дисплей (LCD, жидкокристаллический дисплей), монитор или сетчаточный дисплей для отображения информации пользователю. Компьютер может иметь устройство ввода с сенсорной поверхностью (например, сенсорный экран) или клавиатуру и указательное устройство, такое как мышь или трекбол, с помощью которого пользователь может вводить данные в компьютер. Компьютер может иметь устройство голосового ввода для приема голосовых команд от пользователя.

[0080] Функции могут быть реализованы в компьютерной системе, которая включает в себя внутренний компонент, такой как сервер данных, или которая включает в себя компонент промежуточного программного обеспечения, такой как сервер приложений или интернет-сервер, или которая включает в себя внешний компонент, такой как клиентский компьютер, имеющий графический пользовательский интерфейс или интернет-браузер, или любую их комбинацию. Компоненты системы могут быть соединены с помощью средства передачи цифровых данных любого вида, например, сети связи. Примеры коммуникационных сетей включают в себя, например, локальную сеть, глобальную сеть, а также компьютеры и сети, образующие Интернет.

[0081] Вычислительная система может включать в себя клиенты и серверы. Клиент и сервер, как правило, удалены друг от друга и обычно взаимодействуют через сеть связи. Отношения клиента и сервера возникают благодаря компьютерным программам, запущенным на соответствующих компьютерах и имеющим отношения клиент-сервер друг к другу. В некоторых вариантах осуществления сервер передает данные (например, HTML-страницу) на клиентское устройство (например, для целей отображения данных и получения пользовательского ввода от пользователя, взаимодействующего с клиентским устройством). Данные, сформированные на клиентском устройстве (например, в результате взаимодействия с пользователем), могут быть получены с клиентского устройства на сервере.

[0082] Система из одного или нескольких компьютеров может быть сконфигурирована для выполнения определенных действий благодаря наличию программного обеспечения, встроенного программного обеспечения, аппаратного обеспечения или их комбинации, установленной в системе, которая при работе побуждает систему выполнять действия. Одна или несколько компьютерных программ могут быть сконфигурированы для выполнения определенных действий посредством включения инструкций, которые при их исполнении устройством обработки данных побуждают устройство выполнять действия.

[0083] Хотя это описание содержит много подробных сведений о конкретной реализации, они должны быть истолкованы не как ограничения объема каких-либо изобретений или заявленного предмета, а как описания признаков, заданных для конкретных вариантов конкретных изобретений. Некоторые признаки, которые приведены в этом описании в контексте отдельных вариантов осуществления, также могут быть реализованы в комбинации в единственном варианте осуществления. С другой стороны, различные признаки, которые описаны в контексте единственного варианта осуществления, также могут быть реализованы в нескольких вариантах осуществления отдельно или в любой подходящей подкомбинации. Кроме того, хотя признаки могут описываться выше как действующие в некоторых комбинациях и даже первоначально заявлены таковым образом, один или несколько признаков из заявленной комбинации в некоторых случаях могут быть удалены из комбинации, и заявленная комбинация может быть направлена в подкомбинации или изменение подкомбинации.

[0084] Аналогичным образом, хотя операции изображены на чертежах в конкретном порядке, это не должно расцениваться как требование, что такие операции должны быть выполнены в конкретном показанном порядке или в последовательном порядке, или что все проиллюстрированные операции должны быть выполнены для достижения желаемых результатов. При определенных обстоятельствах может быть выгодной многозадачная и параллельная обработка. Кроме того, разделение различных системных компонентов в описанных выше вариантах осуществления не должно расцениваться как требование такого разделения во всех вариантах осуществления, и следует понимать, что описанные компоненты программы и системы в целом могут быть объединены вместе в единый программный продукт или быть упакованы в несколько программных продуктов.

[0085] Таким образом, были описаны конкретные варианты осуществления предмета изобретения. Другие варианты осуществления находятся в рамках объема последующей формулы изобретения. В некоторых случаях действия, изложенные в формуле изобретения, могут быть выполнены в другом порядке и по-прежнему достигать желаемых результатов. Кроме того, процессы, изображенные на приложенных чертежах, не обязательно требуют конкретного показанного порядка или последовательного порядка для достижения желаемых результатов. В некоторых реализациях может быть выгодной многозадачная и параллельная обработка.

[0086] Были описаны несколько реализаций изобретения. Тем не менее, следует понимать, что могут быть сделаны различные модификации без отступления от сущности и объема изобретения.

Изобретение относится к области обработки аудиосигналов. Технический результат заключается в предотвращении чрезмерного сглаживания значений аудиосигналов и тем самым предотвращении добавления нежелательных артефактов вследствие сглаживания аудиосигналов. Технический результат достигается за счет вычисления коэффициента забывания для частотной полосы как отношение эффективного количества к требуемому количеству; и для каждой частотной полосы множества частотных полос, формирования соответствующей сглаженной ковариационной матрицы для конкретной полосы для текущего сигнального кадра с использованием ранее сформированного значения соответствующей сглаженной ковариационной матрицы для конкретной полосы для предыдущего сигнального кадра относительно текущего сигнального кадра и коэффициента забывания; и формирования аудиосигнала для аудиоуслуги с использованием представлений в частотной области последовательности сигнальных кадров во временной области и дальнейшего использования соответствующих наборов соответствующих сглаженных ковариационных матриц для конкретной полосы, причем сравнение, вычисление и формирование выполняются системой, содержащей один или несколько компьютерных процессоров. 6 н. и 18 з.п. ф-лы, 7 ил.

1. Способ предоставления аудиоуслуги, содержащий этапы, на которых:

для последовательности во временной области сигнальных кадров сравнивают эффективное количество ячеек в частотной полосе с требуемым количеством ячеек для частотной полосы;

вычисляют коэффициент забывания для частотной полосы как отношение эффективного количества к требуемому количеству; и

для каждой частотной полосы множества частотных полос формируют соответствующую сглаженную ковариационную матрицу для конкретной полосы для текущего сигнального кадра с использованием ранее сформированного значения соответствующей сглаженной ковариационной матрицы для конкретной полосы для предыдущего сигнального кадра относительно текущего сигнального кадра и коэффициента забывания; и

формируют аудиосигнал для аудиоуслуги с использованием представлений в частотной области последовательности сигнальных кадров во временной области и дальнейшее использование соответствующих наборов соответствующих сглаженных ковариационных матриц для конкретной полосы,

причем сравнение, вычисление и формирование выполняются системой, содержащей один или несколько компьютерных процессоров.

2. Способ по п. 1, в котором эффективное количество ячеек для каждой частотной полосы множества частотных полос вычисляется как сумма значений набора фильтров для частотной полосы.

3. Способ по любому из пп. 1,2, в котором при формировании соответствующей сглаженной ковариационной матрицы для конкретной полосы используют авторегрессивный низкочастотный фильтр первого порядка.

4. Способ по п. 3, в котором использование авторегрессивного низкочастотного фильтра первого порядка включает в себя вычисление разности между входной ковариационной матрицей для текущего кадра и ранее сформированным значением соответствующей сглаженной ковариационной матрицы для конкретной полосы для предыдущего кадра, разность взвешивают посредством коэффициента забывания.

5. Способ по любому из пп. 1-4, содержащий также этапы, на которых:

устанавливают коэффициент забывания равным меньшему значению, выбранному из пары значений, включающей в себя вычисленный коэффициент забывания и максимальный разрешенный коэффициент забывания;

причем установка выполняется перед формированием соответствующей сглаженной ковариационной матрицы для конкретной полосы для текущего кадра.

6. Способ по любому из пп. 1-5, содержащий также этапы, на которых:

обнаруживают, возникает ли транзиент в отслеживаемом кадре; и

сбрасывают низкочастотный фильтр в ответ на обнаруженный транзиент.

7. Способ по п. 6, в котором обнаружение выполняется посредством использования аспектов декоррелятора приглушения.

8. Способ по п. 6, в котором обнаружение выполняется на всех каналах.

9. Способ по п. 8, в котором обнаружение обнаруживает, что возникает транзиент, если обнаружен любой транзиент на любом канале для отслеживаемого кадра.

10. Способ по п. 8, в котором обнаружение обнаруживает, что возникает транзиент, если транзиент возникает только на конкретном канале.

11. Способ по любому из пп. 1-10, содержащий также этапы, на которых:

сохраняют соответствующую сглаженную ковариационную матрицу для конкретной полосы; и

выполняют преобразование отсчетов сохраненной соответствующей сглаженной ковариационной матрицы для конкретной полосы по множеству частотных полос.

12. Система для предоставления аудиоуслуги, содержащая:

один или несколько компьютерных процессоров; и

машиночитаемый носитель долговременного хранения, хранящий инструкции, которые при их исполнении одним или несколькими компьютерными процессорами побуждают один или несколько компьютерных процессоров выполнять операции способа по п. 1.

13. Машиночитаемый носитель долговременного хранения, хранящий инструкции, которые при их исполнении одним или несколькими компьютерными процессорами побуждают один или несколько компьютерных процессоров выполнять операции способа по п. 1.

14. Кодер, содержащий систему по п. 12.

15. Декодер, содержащий систему по п. 12.

16. Способ предоставления аудиоуслуги, содержащий этапы, на которых:

принимают входной сигнал, представляющий N аудиоканалов, где N>1;

разделяют входной сигнал на последовательность кадров во временной области;

преобразуют каждый кадр последовательности кадров во временной области в соответствующее представление в частотной области, имеющее множество частотных полос, причем каждая частотная полоса из множества частотных полос включает в себя соответствующее множество частотных ячеек;

для каждого кадра последовательности кадров во временной области вычисляют, основываясь на представлении кадра в частотной области, соответствующий набор ковариационных матриц N×N для конкретной полосы, каждая из ковариационных матриц N×N для конкретной полосы, имеющих ковариации N аудиоканалов, соответствует одной из множества частотных полос;

для каждой частотной полосы множества частотных полос вычисляют соответствующую сглаженную ковариационную матрицу для конкретной полосы посредством применения низкочастотного фильтра к последовательности ковариационных матриц N×N для конкретной полосы, соответствующих последовательности кадров во временной области и также соответствующих частотной полосе; и

формируют аудиосигнал для аудиоуслуги с использованием соответствующих представлений в частотной области последовательности кадров во временной области и дальнейшее использование соответствующих наборов соответствующих сглаженных ковариационных матриц для конкретной полосы.

17. Способ по п. 16, в котором низкочастотный фильтр представляет собой авторегрессивный низкочастотный фильтр первого порядка.

18. Способ по п. 16, в котором применение включает в себя вычисление разности между значением входной ковариационной матрицы для текущего кадра и ранее сформированным значением сглаженной ковариационной матрицы для предыдущего кадра, разность взвешивают посредством коэффициента забывания.

19. Способ по п. 16, содержащий также этапы, на которых:

обнаруживают, возникает ли транзиент в отслеживаемом кадре; и

сбрасывают низкочастотный фильтр в ответ на обнаруженный транзиент.

20. Способ по п. 16, в котором множество частотных полос включает в себя первую частотную полосу и вторую частотную полосу;

при этом первая частотная полоса имеет меньшее количество частотных ячеек, чем вторая частотная полоса; и

при этом вторая частотная полоса имеет более высокие частоты, чем первая частотная полоса.

21. Способ по любому из пп. 16-20, в котором множество частотных полос упорядочено в соответствии с возрастающей частотой; и

при этом коэффициент забывания устанавливается в зависимости от полосы таким образом, что степень сглаживания увеличивается на более низких полосах и уменьшается на более высоких полосах.

22. Способ по любому из пп. 16-20, в котором коэффициент забывания устанавливается в соответствии с режимом предоставления аудиоуслуги таким образом, что величина сглаживания увеличивается в режимах, имеющих пониженную скорость передачи битов, и уменьшается при более высоких скоростях передачи битов.

23. Способ по п. 18, содержащий также этапы, на которых:

устанавливают коэффициент забывания на меньшее значение, выбранное из пары значений, включающей в себя вычисленный коэффициент забывания и максимально допустимый коэффициент забывания,

при этом установка выполняется перед формированием соответствующей сглаженной ковариационной матрицы для конкретной полосы для текущего кадра.

24. Способ по п. 19, в котором обнаружение обнаруживает, что возникает транзиент, если транзиент возникает только на конкретном канале.