СПОСОБ И УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ИЗ ПРЕДСТАВЛЕНИЯ HOA-СИГНАЛОВ В ОБЛАСТИ КОЭФФИЦИЕНТОВ СМЕШАННОГО ПРЕДСТАВЛЕНИЯ УПОМЯНУТЫХ HOA-СИГНАЛОВ В ПРОСТРАНСТВЕННОЙ ОБЛАСТИ/ОБЛАСТИ КОЭФФИЦИЕНТОВ Российский патент 2022 года по МПК G10L19/08 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и к устройству для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, в котором количество HOA-сигналов может быть переменным.

Уровень техники

Обозначаемые в качестве HOA (Higher Order Ambisonics) Амбиофонические Звуки Высокого Порядка являются математическим описанием двух- или трехмерного звукового поля. Звуковое поле может быть захвачено набором микрофонов, образовано из синтетических звуковых источников либо представляет собой сочетание обоих вариантов. HOA могут использоваться в качестве транспортного формата для двух- или трехмерного объемного звука. В отличие от основанных на громкоговорителе представлений объемного звука преимущество HOA заключается в воспроизведении звукового поля на разных установках громкоговорителей. Поэтому, HOA подходят для универсального звукового формата.

Пространственное разрешение HOA определяется порядком HOA. Данный порядок задает количество HOA-сигналов, которые описывают звуковое поле. Существует два представления для HOA, которые называются пространственной областью и областью коэффициентов, соответственно. В большинстве случаев HOA первоначально представлены в области коэффициентов, и такое представление может быть преобразовано в пространственную область посредством матричного умножения (или преобразования), как описано в документе EP 2469742 A2. Пространственная область состоит из одного и того же количества сигналов, что и область коэффициентов. Однако в пространственной области каждый сигнал относится к направлению, причем направления равномерно распределены по единичной сфере. Это содействует анализу пространственного распределения HOA-представления. Представления в области коэффициентов, так же как и представления в пространственной области являются представлениями во временной области.

Раскрытие изобретения

В нижеследующем, в основном, цель состоит в максимально возможном использовании для PCM-передачи HOA-представлений пространственной области для обеспечения идентичного динамического диапазона для каждого направления. Это означает, что дискретные PCM-отсчеты HOA-сигналов в пространственной области должны быть пронормированы до диапазона предварительно заданных значений. Однако недостаток такого нормирования состоит в том, что динамический диапазон HOA-сигналов в пространственной области меньше, чем в области коэффициентов. Это обуславливается матрицей преобразования, которая формирует сигнал в пространственной области из сигналов в области коэффициентов.

В некоторых применениях HOA-сигналы передаются в области коэффициентов, например, при обработке, описанной в документе EP 13305558.2, в которой все сигналы передаются в области коэффициентов, потому что должно быть передано постоянное количество HOA-сигналов и переменное количество дополнительных HOA-сигналов. Однако, как уже упомянуто выше и показано в документе EP 2469742 A2, передача в области коэффициентов не выгодна. В качестве решения, постоянное количество HOA-сигналов может быть передано в пространственной области, и лишь дополнительные HOA-сигналы с переменным количеством передается в области коэффициентов. Передача дополнительных HOA-сигналов в пространственной области не возможна, так как изменяющееся во времени количество HOA-сигналов приведет в результате к изменяющимся во времени матрицам преобразования из области коэффициентов в пространственную область, и во всех сигналах в пространственной области могут возникать разрывы, которые являются неоптимальными для последующего перцепционного кодирования PCM-сигналов.

Для обеспечения передачи этих дополнительных HOA-сигналов без превышения диапазона предварительно заданных значений может использоваться обработка обратимого нормирования, которая разработана для предотвращения таких разрывов сигналов, и которая также достигает эффективной передачи инверсионных параметров.

Относительно динамического диапазона упомянутых двух HOA-представлений и нормирования HOA-сигналов для PCM-кодирования в нижеследующем делается вывод о том, должно ли такое нормирование иметь место в области коэффициентов или в пространственной области.

Во временной области коэффициентов HOA-представление состоит из последовательных кадров состоящих из N коэффициентов сигналов d_n(k),n=0, …, N-1, где k обозначает индекс дискретного отсчета, а n обозначает индекс сигнала.

Эти состоящие из коэффициентов сигналы собраны в вектор d(k)=[d₀(k), …, d_N-1(k)]^T для получения компактного представления.

Преобразование в пространственную область выполняется посредством матрицы NxN преобразования

как это определено в документе EP 12306569.0, см. определение для Ξ_GRID совместно с уравнениями (21) и (22).

Вектор w(k)=[w₀(k), …, w_N-1(k)]^T в пространственной области получается из w(k)=Ψ^-1d(k), (1)

где Ψ^-1 является обратной матрицей матрицы Ψ.

Обратное преобразование из пространственной области в область коэффициентов выполняется посредством

d(k)=Ψw(k). (2)

Если диапазон значений дискретных отсчетов задан в одной области, то матрица Ψ преобразования автоматически задает диапазон значений другой области. Термин (k) для k-ого дискретного отсчета далее опускается.

Поскольку HOA-представление фактически воспроизводится в пространственной области, то диапазон значений, громкость и динамический диапазон задаются в данной области. Динамический диапазон задается битовым разрешением PCM-кодирования. В данной заявке «PCM–кодирование» означает преобразование дискретных отсчетов в представлении с плавающей запятой в дискретные отсчеты в целочисленном представлении в обозначении с фиксированной запятой.

Для PCM-кодирования HOA-представления, N сигналов в пространственной области должны быть отнормированы до диапазона значений -1 ≤ w_n < 1 так, чтобы они могли быть отмасштабированы до максимального PCM-значения W_max и округлены до целочисленного PCM-обозначения с фиксированной запятой

(3)

Замечание: это обобщенное представление PCM-кодирования.

Диапазон значений для дискретных отсчетов в области коэффициентов может быть вычислен посредством бесконечной матричной нормой матрицы Ψ, которая определена следующим образом

, (4)

и максимальное абсолютное значение в пространственной области w_max=1 для -║Ψ║_∞w_max ≤ d_n < ║Ψ║_∞w_max. Поскольку значение ║Ψ║_∞ больше '1' для используемого определения матрицы Ψ, то диапазон значений d_n увеличивается.

Обратный ход означает, что нормирование на ║Ψ║_∞ необходимо для PCM-кодирования сигналов в области коэффициентов поскольку -1 ≤ d_n/║Ψ║_∞ < 1. Однако данное нормирование уменьшает динамический диапазон сигналов в области коэффициентов, что приведет в результате к пониженному соотношению сигнала к шуму квантования. Поэтому предпочтительным должно быть PCM-кодирование сигналов в пространственной области.

Проблема, которая должна быть решена посредством настоящего изобретения, состоит в том, как передать в области коэффициентов часть желаемых HOA-сигналов в пространственной области с использованием нормирования без уменьшения динамического диапазона в области коэффициентов. Дополнительно, нормированные сигналы не должны содержать скачки уровня сигнала так, чтобы они могли быть подвержены перцепционному кодированию без вызываемых скачками потерь качества. Данная проблема решается с помощью способов, раскрытых в пунктах 1 и 6 формулы изобретения. Устройства, которые используют эти способы, раскрыты в пунктах 2 и 7 формулы изобретения, соответственно.

В принципе, заявляемый способ формирования пригоден для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, причем количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов, отличающийся этапами, на которых:

- разделяют вектор HOA-сигналов в области коэффициентов на первый вектор сигналов в области коэффициентов, имеющий постоянное количество HOA-коэффициентов, и второй вектор сигналов в области коэффициентов, имеющий переменное во времени количество HOA-коэффициентов;

- преобразовывают упомянутый первый вектор сигналов в области коэффициентов в соответствующий вектор сигналов в пространственной области посредством умножения упомянутого вектора сигналов в области коэффициентов на обратную матрицу матрицы преобразования;

- подвергают PCM-кодированию упомянутый вектор сигналов в пространственной области для получения вектора подвергшихся PCM-кодированию сигналов в пространственной области;

- нормируют упомянутый второй вектор сигналов в области коэффициентов на нормировочный множитель, причем упомянутое нормирование является адаптивным нормированием по отношению к диапазону текущих значений HOA-коэффициентов упомянутого второго вектора сигналов в области коэффициентов, и при упомянутом нормировании диапазон доступных значений для HOA-коэффициентов вектора не превышается, и при этом при упомянутом нормировании к коэффициентам текущего второго вектора применяют равномерно непрерывную передаточную функцию с целью непрерывного изменения коэффициента усиления внутри этого вектора с коэффициента усиления в предыдущем втором векторе на коэффициент усиления в следующем втором векторе, и причем упомянутое нормирование предоставляет вспомогательную информацию для соответствующего денормирования на стороне декодера;

- подвергают PCM-кодированию упомянутый вектор нормированных сигналов в области коэффициентов для получения вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;

- мультиплексируют упомянутый вектор подвергшихся PCM-кодированию сигналов в пространственной области и упомянутый вектор подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов.

В принципе заявляемое устройство формирования пригодно для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, причем количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов, при этом упомянутое устройство включает в себя:

- средство, выполненное с возможностью разделения вектора HOA-сигналов в области коэффициентов на первый вектор сигналов в области коэффициентов, имеющий постоянное количество HOA-коэффициентов, и второй вектор сигналов в области коэффициентов, имеющий переменное во времени количество HOA-коэффициентов;

- средство, выполненное с возможностью преобразования упомянутого первого вектора сигналов в области коэффициентов в соответствующий вектор сигналов в пространственной области посредством умножения упомянутого вектора сигналов в области коэффициентов на обратную матрицу матрицы преобразования;

- средство, выполненное с возможностью PCM-кодирования упомянутого вектора сигналов в пространственной области для получения вектора подвергшихся PCM-кодированию сигналов в пространственной области;

- средство, выполненное с возможностью нормирования упомянутого второго вектора сигналов в области коэффициентов на нормировочный множитель, причем упомянутое нормирование является адаптивным нормированием по отношению к диапазону текущих значений HOA-коэффициентов упомянутого второго вектора сигналов в области коэффициентов, и при упомянутом нормировании диапазон доступных значений для HOA-коэффициентов вектора не превышается, и причем при упомянутом нормировании к коэффициентам текущего второго вектора применена равномерно непрерывная передаточная функция с целью непрерывного изменения коэффициента усиления внутри этого вектора с коэффициента усиления в предыдущем втором векторе на коэффициент усиления в следующем втором векторе, и при этом упомянутое нормирование предоставляет вспомогательную информацию для соответствующего денормирования на стороне декодера;

- средство, выполненное с возможностью PCM-кодирования упомянутого вектора нормированных сигналов в области коэффициентов для получения вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;

- средство, выполненное с возможностью мультиплексирования упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области и упомянутого вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов.

В принципе, заявляемый способ декодирования пригоден для декодирования смешанного представления кодированных HOA-сигналов в пространственной области/области коэффициентов, в котором количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов и в котором упомянутое смешанное представление кодированных HOA-сигналов в пространственной области/области коэффициентов сформировано согласно выше упомянутому заявляемому способу формирования, при этом упомянутое декодирование включает в себя этапы, на которых:

- демультиплексируют упомянутые мультиплексированные векторы подвергшихся PCM-кодированию сигналов в пространственной области и подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;

- преобразовывают упомянутый вектор подвергшихся PCM-кодированию сигналов в пространственной области в соответствующий вектор сигналов в области коэффициентов посредством умножения упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области на упомянутую матрицу преобразования;

- денормируют упомянутый вектор подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, при этом упомянутый этап денормирования включает в себя этапы, на которых:

-- вычисляют, с использованием соответствующего показателя степени (exponent) e_n(j-1) из принятой вспомогательной информации и рекурсивно вычисленного значения g_n(j-2) коэффициента усиления, вектор h_n(j-1) передаточной функции, причем сохраняют значение g_n(j-1) коэффициента усиления для соответствующей обработки следующего вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, подлежащих обработке, при этом j является переменным (running, пробегающим) индексом входной матрицы векторов HOA-сигналов;

-- применяют соответствующее значение обратного коэффициента усиления к текущему вектору подвергшегося PCM-кодированию и нормированного сигнала для получения соответствующего вектора подвергшегося PCM-кодированию и денормированного сигнала;

- объединяют упомянутый вектор сигналов в области коэффициентов и вектор денормированных сигналов в области коэффициентов для получения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.

В принципе заявляемое устройство декодирования пригодно для декодирования смешанного представления кодированных HOA-сигналов в пространственной области/области коэффициентов, в котором количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов и в котором упомянутое смешанное представление кодированных HOA-сигналов в пространственной области/области коэффициентов сформировано согласно вышеупомянутому способу формирования, причем упомянутое устройство декодирования включает в себя:

- средство, выполненное с возможностью демультиплексирования упомянутых мультиплексированных векторов подвергшихся PCM-кодированию сигналов в пространственной области и подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;

- средство, выполненное с возможностью преобразования упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области в соответствующий вектор сигналов в области коэффициентов посредством умножения упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области на упомянутую матрицу преобразования;

- средство, выполненное с возможностью денормирования упомянутого вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, причем упомянутое денормирование включает в себя:

-- вычисление, с использованием соответствующего показателя e_n(j-1) степени из принятой вспомогательной информации и рекурсивно вычисленного значения g_n(j-2) коэффициента усиления, вектора h_n(j-1) передаточной функции, причем выполнена возможность сохранения значения g_n(j-1) коэффициента усиления для соответствующей обработки следующего вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, подлежащих обработке, при этом j является переменным индексом входной матрицы векторов HOA-сигналов;

-- применение соответствующего значения обратного коэффициента усиления к текущему вектору подвергшегося PCM-кодированию и нормированного сигнала для получения соответствующего вектора подвергшегося PCM-кодированию и денормированного сигнала;

- средство, выполненное с возможностью объединения упомянутого вектора сигналов в области коэффициентов и вектора денормированных сигналов в области коэффициентов для получения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.

Преимущественные дополнительные варианты осуществления настоящего изобретения раскрыты в соответствующих зависимых пунктах формулы изобретения.

Краткое описание чертежей

Примерные варианты осуществления настоящего изобретения описаны со ссылкой на сопроводительные чертежи, на которых:

На Фиг.1 показана PCM-передача в пространственной области исходного HOA-представления в области коэффициентов;

На Фиг.2 показана объединенная передача HOA-представления в области коэффициентов и пространственной области;

На Фиг.3 показана объединенная передача HOA-представления в области коэффициентов и пространственной области с использованием поблочного адаптивного нормирования для сигналов в области коэффициентов;

На Фиг.4 показана обработка адаптивного нормирования для HOA-сигнала x_n(j), представленного в области коэффициентов;

На Фиг.5 показана передаточная функция, используемая для плавного перехода между двумя различными значениями коэффициента усиления;

На Фиг.6 показана обработка адаптивного денормирования;

На Фиг.7 показан частотный FFT-спектр передаточных функций h_n(l) с использованием различных показателей степени e_n, в котором максимальная амплитуда каждой функции нормирована до 0 дБ;

На Фиг.8 показаны примерные передаточные функции для трех последовательных векторов сигнала.

Описание вариантов осуществления

Относительно PCM-кодирования HOA-представления в пространственной области предполагается, что (в представлении с плавающей запятой) -1 ≤ w_n < 1 выполняется так, чтобы PCM-передача HOA-представления могла быть выполнена согласно тому, как это показано на Фиг.1. На этапе или стадии 11 преобразователя на входе HOA-кодера сигнал d в области коэффициентов текущего входного кадра сигнала преобразовывается в сигнал w в пространственной области с использованием уравнения (1). На этапе или стадии 12 PCM-кодирования дискретные отсчеты w с плавающей запятой преобразовываются в подвергшиеся PCM-кодированию целочисленные дискретные отсчеты w’ в обозначении с фиксированной запятой с использованием уравнения (3). На этапе или стадии 13 мультиплексора дискретные отсчеты w’ мультиплексируются в формат HOA-передачи.

HOA-декодер демультиплексирует сигналы w’ из принятого формата HOA-передачи на этапе или стадии 14 демультиплексора, и повторно преобразовывает их на этапе или стадии 15 в сигналы d’ в области коэффициентов с использованием уравнения (2). Данное обратное преобразование увеличивает динамический диапазон d’ так, что такое преобразование из пространственной области в область коэффициентов всегда включает в себя преобразование формата из целочисленного (PCM) в формат с плавающей запятой.

Стандартная HOA-передача с Фиг.1 не будет успешно осуществлена, если матрица Ψ будет изменяющейся во времени, что имеет место, если количество или индекс HOA-сигналов является изменяющимся во времени для последовательных последовательностей HOA-коэффициентов, то есть последовательных входных кадров сигнала. Как упомянуто выше, один пример такого случая является обработкой HOA-сжатия, описанной в документе EP 13305558.2: постоянное количество HOA-сигналов передается непрерывно, а переменное количество HOA-сигналов с изменяющимся индексами n сигналов передается параллельно. Все сигналы передаются в области коэффициентов, которая является неоптимальной, как объяснено выше.

Согласно настоящему изобретению, обработка, описанная совместно с Фиг.1, расширяется так, как показано на Фиг.2.

На этапе или стадии 20 HOA-кодер разделяет HOA-вектор d на два вектора d₁ и d₂, при этом количество M HOA-коэффициентов для вектора d₁ является постоянным, а вектор d₂ содержит переменное количество K HOA-коэффициентов. Поскольку индексы n сигнала не изменяются во времени для вектора d₁, PCM-кодирование выполняется в пространственной области на этапах или стадиях 21, 22, 23, 24 и 25 с сигналами, соответствующими w₁ и w’₁, изображенных в нижнем сигнальном тракте Фиг.2, соответствующем этапам/стадиям 11-15 с Фиг.1. Однако на этап/стадии 23 мультиплексора происходит получение дополнительного входного сигнала d”₂, а на этапе/стадии 24 демультиплексора в HOA-декодере происходит предоставление другого выходного сигнала d”₂.

Количество HOA-коэффициентов, или размер, K вектора d₂ является изменяющимся во времени, и индексы переданных HOA-сигналов n могут изменяться во времени. Это предотвращает передачу в пространственной области, так как потребуется изменяющаяся во времени матрица преобразования, что в результате приведет к разрывам сигнала во всех перцепционно кодированных HOA-сигналах (этап или стадия перцепционного кодирования не показаны). Однако таких разрывов сигнала следует избегать, потому что они снижают качество перцепционного кодирования переданных сигналов. Таким образом, d₂ должен быть передан в области коэффициентов. Вследствие большего диапазона значений сигналов в области коэффициентов сигналы должны быть отмасштабированы на этапе или стадии 26 на множитель 1/║Ψ║_∞ прежде, чем PCM-кодирование сможет быть применено на этапе или стадии 27. Однако, недостаток такого масштабирования заключается в том, что максимальное абсолютное значение для ║Ψ║_∞ является оценкой для наихудшего случая, максимальное абсолютное значение дискретного отсчета которого не будет возникать очень часто, потому что обычно диапазон ожидаемых значений более мал. В результате доступное разрешение для PCM-кодирования не используется эффективно, и соотношение сигнала к шуму квантования является низким.

Выходной сигнал d”₂ этапа/стадии 24 демультиплексора обратно масштабируется на этапе или стадии 28 с использованием множителя ║Ψ║_∞. Результирующий сигнал d’’’₂ объединяется на этапе или стадии 29 с сигналом d’₁, приводя в результате к декодированному HOA-сигналу d’ в области коэффициентов.

Согласно настоящему изобретению эффективность PCM-кодирования в области коэффициентов может быть повышена посредством использования адаптивного к сигналам нормирования сигналов. Однако такое нормирование должно быть обратимым и равномерно непрерывным от одного дискретного отсчета к другому дискретному отсчету. Необходимая поблочная адаптивная обработка изображена на Фиг.3. j-ая входная матрица D(j)=[d(jL+0) … d(jL+L - 1)] содержит L векторов d HOA-сигнала (индекс j не изображен на Фиг.3). Матрица D разделяется на две матрицы D₁ и D₂ подобно обработке на Фиг.2. Обработка для D₁ на этапах или стадиях 31-35 соответствует обработке в пространственной области, описанной совместно с Фиг.2 и Фиг.1. Однако кодирование сигнала в области коэффициентов включает в себя этап или стадию 36 поблочного адаптивного нормирования, который автоматически адаптируется к диапазону текущих значений сигнала, за которым следует этап или стадия 37 PCM-кодирования. Требуемая вспомогательная информация для денормирования каждого подвергшегося PCM-кодированию сигнала в матрице D”₂ хранится и передается в векторе e. Вектор e=[e_n1 … e_nK]^T содержит одно значение на сигнал. На этапе или стадии 38 соответствующего адаптивного денормирования декодера на приемной стороне происходит обращение нормирования сигналов D”₂ в D’’’₂ с использованием информации из переданного вектора e. Результирующий сигнал D’’’₂ объединяется на этапе или стадии 39 с сигналом D’₁, приводя в результате к декодированному HOA-сигналу D' в области коэффициентов.

В адаптивном нормировании на этапе/стадии 36 равномерно непрерывная передаточная функция применяется к дискретным отсчетам текущего входного блока коэффициентов с целью постоянного изменения коэффициента усиления с последнего входного блока коэффициентов на коэффициент усиления следующего входного блока коэффициентов. Данный вид обработки требует задержки одного блока, потому что изменение коэффициента усиления нормирования (коэффициента нормирования) должно быть обнаружено на один входной блок коэффициентов вперед. Преимущество состоит в том, что вводимая амплитудная модуляция является малой, так что перцепционное кодирование модулированного сигнала почти не оказывает никакого влияния на денормированный сигнал.

Что касается варианта реализации адаптивного нормирования, то оно выполняется независимо для каждого HOA-сигнала D₂(j). Сигналы представлены векторами-строками x_n^T матрицы

где n обозначает индексы переданных HOA-сигналов. x_n является транспонированным, потому что первоначально он является вектором-столбцом, но здесь требуется вектор-строка.

На Фиг.4 показано данное адаптивное нормирование на этапе/стадии 36 более подробно. Входные значения обработки представляют собой следующее:

- сглаженное во времени максимальное значение x_n,max,sm(j-2),

- значение g_n(j-2) коэффициента усиления, то есть коэффициент усиления, который был применен к последнему коэффициенту соответствующего блока x_n(j-2) вектора сигнала,

- вектор сигнала текущего блока x_n(j),

- вектор сигнала предыдущего блока x_n(j-1).

В начале обработки первого блока x_n(0) рекурсивные входные значения инициализируется предварительно заданными значениями: коэффициенты вектора x_n(-1) могут быть обнулены, значение g_n(-2) коэффициента усиления должно быть установлено в '1', а x_n,max,sm(-2) должно быть установлено в предварительно заданное среднее амплитудное значение.

После этого, значение g_n(j-1) коэффициента усиления последнего блока, соответствующее значение e_n(j-1) вектора e(j-1) вспомогательной информации, сглаженное во времени максимальное значение x_n,max,sm(j-1) и нормированный вектор x’_n(j-1) сигнала представляют собой выходные результаты обработки.

Цель данной обработки состоит в непрерывном изменении значений коэффициента усиления, примененных к вектору x_n(j-1) сигнала, с g_n(j-2) на g_n(j-1) так, чтобы значение g_n(j-1) коэффициента усиления нормировало вектор x_n(j) сигнала до диапазона подходящих значений.

На первом этапе или стадии 41 обработки каждый коэффициент вектора x_n(j)=[x_n,0(j)… x_n,L-1(j)] сигнала умножается на значение g_n(j-2) коэффициента усиления, при этом g_n(j-2) было сохранено из обработки нормирования вектора x_n(j-1) сигнала в качестве основы для нового коэффициента усиления нормирования. Из результирующего нормированного вектора x_n(j) сигнала на этапе или стадии 42 с использованием уравнения (5) получается максимум x_n,max абсолютных значений:

x_{n , max}=max_0≤l<L│g_n(j-2)x_n,l(j)│ (5)

На этапе или стадии 43 сглаживание во времени применяется к x_n,max с использованием рекурсивного фильтра, принимающего предыдущее значение x_n,max,sm(j-2) упомянутого сглаженного максимума и приводящего в результате к текущему сглаженному во времени максимуму x_n,max,sm(j-1). Цель такого сглаживания заключается в ослаблении адаптации коэффициента усиления нормирования во времени, что уменьшает количество изменений коэффициента усиления и поэтому амплитудную модуляцию сигнала. Сглаживание во времени применяется только в том случае, если значение x_n,max находится внутри диапазона предварительно заданных значений. Иначе, x_n,max,sm(j-1) устанавливается в x_n,max (т.е. значение x_n,max сохраняется таким, какое оно есть), потому что последующая обработка должна ослаблять действующее значение x_n,max до диапазона предварительно заданных значений. Поэтому, сглаживание во времени задействуется только тогда, когда коэффициент усиления нормирования является постоянным или когда сигнал x_n(j) может быть усилен без покидания диапазона значений.

(x_n,max,sm(j-1)) вычисляется на этапе/стадии 43 следующим образом:

(6)

где 0 < a ≤ 1 является постоянной ослабления.

С целью уменьшения битовой скорости для передачи вектора e коэффициент усиления нормирования вычисляется из текущего сглаженного во времени максимального значения x_n,max,sm(j-1) и передается в качестве показателя степени по основанию '2'. Таким образом должно выполняться следующее условие:

(7)

и квантованный показатель степени e_n(j-1) получается из

(8)

на этапе или стадии 44.

В периоды, в которые сигнал повторно усиливается (то есть значение общего коэффициента усиления увеличивается во времени), с целью использования доступного разрешения для эффективного PCM-кодирования, показатель e_n(j) степени может быть ограничен (и таким образом разность коэффициента усиления между последовательными блоками) малым максимальным значением, например, '1'. Данное действие имеет два преимущественных технических результата. С одной стороны, малые разности коэффициента усиления между последовательными блоками приводят только к малым амплитудным модуляциям через передаточную функцию, приводя в результате к уменьшенной перекрестной помехе между смежными подполосами FFT-спектра (см. соответствующее описание воздействия передаточной функции на перцепционное кодирование совместно с Фиг.7). С другой стороны, битовая скорость для кодирования показателя степени уменьшается за счет ограничения диапазона его значений.

Значение полного максимального усиления

(9)

может быть ограничено, например, '1'. Причина состоит в том, что, если один из сигналов коэффициентов демонстрирует большое амплитудное изменение между двумя последовательными блоками, из которых первый имеет очень малые амплитуды, а второй имеет максимально возможную амплитуду (предполагается нормирование HOA-представления в пространственной области), то очень большие разности коэффициента усиления между этими двумя блоками приведут к большим амплитудным модуляциям через передаточную функцию, приводя в результате к серьезной перекрестной помехе между смежными подполосами FFT-спектра. Это может бы быть неоптимальным для последующего перцепционного кодирования, обсуждаемого ниже.

На этапе или стадии 45 значение показателя e_n(j-1) степени применяется к передаточной функции для получения текущего значения g_n(j-1) коэффициента усиления. Для непрерывного перехода от значения g_n(j-2) коэффициента усиления к значению g_n(j-1) коэффициента усиления используется функция, изображенная на Фиг.5. Вычислительное правило для этой функции состоит в следующем:

(10)

где l=0, 1, 2, …, L-1. Фактический вектор h_n(j-1)=[h_n(0), …, h_n(L-1)]^T передаточной функции с

(11)

используется для непрерывного ослабления с g_n(j-2) до g_n(j-1). Для каждого значения e_n(j-1) значение h_n(0) равно e_n(j-2) поскольку f(0)=1. Последнее значение f(L-1) равно 0,5, так что будет приводить в результате к требуемому усилению g_n(j-1) для нормирования x_n(j) из уравнения (9).

На этапе или стадии 46 дискретные отсчеты вектора x_n(j-1) сигнала взвешиваются по значениям коэффициента усиления вектора h_n(j-1) передаточной функции для получения

x’_n(j-1)=x_n(j-1)⊗h_n(j-1), (12)

где оператор «⊗» представляет собой векторное поэлементное умножение двух векторов. Данное умножение может также быть рассмотрено в качестве представления амплитудной модуляции сигнала x_n(j-1).

Более подробно, коэффициенты вектора h_n(j-1)=[h_n(0), …, h_n(L-1)]^T передаточной функции умножаются на соответствующие коэффициенты вектора x_n(j-1) сигнала, где значение h_n(0) представляет собой h_n(0)=g_n(j-2), а значение h_n(L-1) представляет собой h_n(L-1)=g_n(j-1). Поэтому передаточная функция непрерывно ослабляется от значения g_n(j-2) коэффициента усиления к значению g_n(j-1) коэффициента усиления, как это изображено в примере Фиг.8, на которой показаны значения коэффициента усиления от передаточных функций h_n(j), h_n(j-1) и h_n(j-2), которые применяются к соответствующим векторам x_n(j), x_n(j-1) и x_n(j-2) сигнала для трех последовательных блоков. Преимущество по отношению к последующему перцепционному кодированию состоит в том, что на границах блоков применяемые коэффициенты усиления непрерывны: передаточная функция h_n(j-1) непрерывно ослабляет коэффициенты усиления для коэффициентов x_n(j-1) с g_n(j-2) к g_n(j-1).

Обработка адаптивного денормирования на стороне декодера или приемника показана на Фиг.6. Входными значениями являются подвергшиеся PCM-кодированию и нормированные сигналы x”_n(j-1), подходящий показатель e_n(j-1) степени и значение g_n(j-2) коэффициента усиления последнего блока. Значение g_n(j-2) коэффициента усиления последнего блока вычисляется рекурсивно, причем g_n(j-2) должно быть инициализировано предварительно заданным значением, которое также уже использовалось в кодере. Выходными результатами являются значение g_n(j-1) коэффициента усиления с этапа/стадии 61 и денормированный сигнал x’’’_n(j-1) с этапа/стадии 62.

На этапе или стадии 61 показатель степени применяется к передаточной функции. Для восстановления диапазона значений x_n(j-1), в уравнении (11) вычисляется вектор h_n(j-1) передаточной функции из принятого показателя e_n(j-1) степени и рекурсивно вычисленного коэффициента усиления g_n(j-2). Коэффициент усиления g_n(j-1) для обработки следующего блока устанавливается равным h_n(L-1).

На этапе или стадии 62 применяется обратный коэффициент усиления. Примененная амплитудная модуляция обработки нормирования обращается посредством x’’’_n(j-1)=x”_n(j-1)⊗h_n(j-1)^-1, (13)

где , а «⊗» является векторным поэлементным умножением, которое было использовано на стороне кодера или передатчика. Дискретные отсчеты x’_n(j-1) не могут быть представлены входным PCM-форматом x”_n(j-1), так что денормированию требуется преобразование в формат диапазона больших значений, как например формат с плавающей запятой.

Что касается передачи вспомогательной информации, то для передачи показателей e_n(j-1) степени нельзя предположить, что их вероятность является равномерной, потому что применяемый коэффициент усиления нормирования будет постоянным для последовательных блоков одного и тот же диапазона значений. Таким образом энтропийное кодирование, как например Кодирование методом Хаффмана, может быть применено к значениям показателя степени для уменьшения требуемой скорости передачи данных.

Один недостаток описанной обработки может заключаться в рекурсивном вычислении значения g_n(j-2) коэффициента усиления. Следовательно, обработка денормирования может начинаться только с начала HOA-потока.

Решение для данной проблемы состоит в добавлении блоков доступа в HOA-формат с целью предоставления информации для регулярного вычисления g_n(j-2). В данном случае блок доступа должен обеспечивать показатели e_n,access=log₂ g_n(j-2) (14)

степени для каждого t-ого блока так, чтобы могло быть вычислено и денормирование могло начаться в каждом t-ом блоке.

Воздействие на перцепционное кодирование нормированного сигнала x’_n(j-1) анализируется по абсолютному значению частотной характеристики (15)

функции h_n(l). Частотная характеристика задается Быстрым Преобразованием Фурье (FFT) над h_n(l), как показано в уравнении (15).

На Фиг.7 показан нормированный (до 0 дБ) амплитудный FFT-спектр H_n(u) для прояснения спектрального искажения, вводимого амплитудной модуляцией. Затухание │H_n(u)│ является относительно резким для малых показателей степени и становится плоским для более больших показателей степени.

Так как амплитудная модуляция x_n(j-1) по h_n(l) во временной области эквивалентна свертке по H_n(u) в частотной области, то резкое затухание частотной характеристики H_n(u) уменьшает перекрестную помеху между смежными подполосами FFT-спектра x’_n(j-1). Это сильно связано с последующим перцепционным кодированием x’_n(j-1), потому что подполосная перекрестная помеха влияет на оцениваемые перцепционные характеристики сигнала. Таким образом, для резкого затухания H_n(u), предположения перцепционного кодирования для x’_n(j-1) также действительны для ненормированного сигнала x_n(j-1).

Это показывает, что для малых показателей степени перцепционное кодирование x’_n(j-1) почти эквивалентно перцепционному кодированию x_n(j-1) и что перцепционное кодирование нормированного сигнала почти не имеет никакого воздействия на денормированный сигнал при малой амплитуде показателя степени.

Заявляемая обработка может быть выполнена одиночным процессором или электронной схемой на передающей стороне и на приемной стороне или несколькими процессорами или электронными схемами, функционирующими параллельно и/или функционирующими в различных частях заявляемой обработки.

Изобретение относится к области обработки данных. Технический результат заключается в обеспечении возможности формирования из представления в области коэффициентов смешанного представления в пространственной области/области коэффициентов, в котором количество HOA (Амбиофонических Звуков Более Высокого Порядка)-сигналов может быть переменным. Вектор сигналов в области коэффициентов разделяется на вектор сигналов в области коэффициентов, имеющий постоянное количество HOA-коэффициентов, и вектор сигналов в области коэффициентов, имеющий переменное количество HOA-коэффициентов. Имеющий постоянное количество HOA-коэффициентов вектор преобразовывается в соответствующий вектор сигналов в пространственной области. Сигнал, имеющий переменное количество HOA-коэффициентов вектор сигналов в области коэффициентов адаптивно нормируется и мультиплексируется с вектором сигналов в пространственной области. 3 н.п. ф-лы, 8 ил.

1. Способ декодирования представления HOA(Амбисоника высокого порядка)-сигналов в области коэффициентов, причем упомянутое декодирование содержит:

- преобразование вектора PCM-кодированных сигналов в пространственной области из представления HOA-сигналов в области коэффициентов в соответствующий вектор сигналов в области коэффициентов посредством умножения вектора PCM-кодированных сигналов в пространственной области на матрицу преобразования;

- денормирование вектора PCM-кодированных и нормированных сигналов в области коэффициентов из представления HOA-сигналов в области коэффициентов, при этом упомянутое денормирование содержит:

-- определение вектора передаточной функции на основе соответствующего показателя степени вспомогательной информации и рекурсивно вычисленного значения коэффициента усиления, при этом соответствующий показатель степени и значение коэффициента усиления основаны на переменном индексе входной матрицы векторов HOA-сигналов;

-- применение соответствующего обратного значения коэффициента усиления к вектору PCM-кодированных и нормированных сигналов в области коэффициентов для того, чтобы определить соответствующий вектор PCM-кодированного и денормированного сигнала;

- объединение вектора сигналов в области коэффициентов и вектора денормированных сигналов в области коэффициентов для определения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.

2. Устройство декодирования представления HOA(Амбисоника высокого порядка)-сигналов в области коэффициентов, причем упомянутое устройство декодирования содержит:

- средство, выполненное с возможностью преобразования вектора PCM-кодированных сигналов в пространственной области из представления HOA-сигналов в области коэффициентов в соответствующий вектор сигналов в области коэффициентов посредством умножения вектора PCM-кодированных сигналов в пространственной области на матрицу преобразования;

- средство, выполненное с возможностью денормирования упомянутого вектора PCM-кодированных и нормированных сигналов в области коэффициентов, включающее в себя:

-- средство, выполненное с возможностью определения вектора передаточной функции на основе соответствующего показателя степени вспомогательной информации и рекурсивно вычисленного значения коэффициента усиления, при этом соответствующий показатель степени и значение коэффициента усиления основаны на переменном индексе входной матрицы векторов HOA-сигналов;

-- средство, выполненное с возможностью применения соответствующего обратного значения коэффициента усиления к вектору PCM-кодированных и нормированных сигналов в области коэффициентов для того, чтобы определить соответствующий вектор PCM-кодированного и денормированного сигнала; и

- средство, выполненное с возможностью объединения вектора сигналов в области коэффициентов и вектора денормированных сигналов в области коэффициентов для определения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.

3. Носитель данных, хранящий исполняемые инструкции, которые, при их исполнении, побуждают процессор к выполнению способа по п. 1.