Определение кодирования параметров пространственного звука и соответствующего декодирования Российский патент 2023 года по МПК G10L19/08 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству и способам кодирования параметров, связанных со звуковым полем, не ограничиваясь этим, для кодирования параметров частотно-временной области, связанных с направлением, для кодера и декодера звукового сигнала.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Параметрическая обработка пространственного звука - это обработка звукового сигнала, в которой пространственный аспект звука описывается с помощью набора параметров. Например, при параметрическом захвате пространственного звука с микрофонных решеток типичным и эффективным выбором является оценка, на основе сигналов с микрофонных решеток, набора параметров, таких как направления звука в частотных диапазонах и соотношения между направленной и ненаправленной частями захваченного звука в частотных диапазонах. Известно, что эти параметры хорошо описывают воспринимаемые пространственные свойства захваченного звука в месте расположения микрофонной решетки. Эти параметры можно соответственно использовать при синтезе пространственного звука, для стереофонических наушников, для громкоговорителей или для других форматов, таких как амбисоника.

Направления и отношения направленной энергии к полной в частотных диапазонах, таким образом, представляют параметризацию, которая особенно эффективна для захвата пространственного звука.

Набор параметров, состоящий из параметра направления в частотных диапазонах и параметра отношения энергии в частотных диапазонах (указывающего направленность звука), также может использоваться в качестве пространственных метаданных (которые также могут включать другие параметры, такие как когерентность, когерентность распространения, количество направлений, расстояние и т.д.) для аудиокодека. Например, эти параметры могут быть оценены из звуковых сигналов, захваченных микрофонной решеткой, и, например, может быть сгенерирован стереофонический сигнал из сигналов микрофонной решетки для передачи с пространственными метаданными. Стереофонический сигнал может быть закодирован, например, кодером ААС. Декодер может декодировать звуковые сигналы в сигналы РСМ и обрабатывать звук в частотных диапазонах (используя пространственные метаданные) для получения пространственного вывода, например бинаурального вывода.

Описанное выше решение особенно подходит для кодирования захваченного пространственного звука с массивов микрофонов (например, в мобильных телефонах, камерах виртуальной реальности, автономных массивах микрофонов). Однако может быть желательным, чтобы такой кодер имел также другие типы входных сигналов, отличные от сигналов, захваченных массивом микрофонов, например, сигналы громкоговорителей, сигналы аудиообъектов или амбисонические сигналы.

Анализ входных данных амбисоники первого порядка (FOA, first-order Ambisonics) для извлечения пространственных метаданных был подробно описан в научной литературе, связанной с кодированием направленных звуковых сигналов (DirAC, Directional Audio Coding) и расширением гармонической плоской волны (Harpex, Harmonic planewave expansion). Это связано с тем, что существуют микрофонные решетки, непосредственно передающие сигнал FOA (точнее, его вариант, сигнал формата В), поэтому анализ такого входа был предметом исследования в этой области.

Дополнительным входом для кодера также является многоканальный вход громкоговорителя, например, 5.1- или 7.1-канальные входы объемного звучания.

Однако в отношении направленных компонентов метаданных, которые могут включать угловую высоту, азимут (и отношение энергии, представляющее собой 1-диффузность) результирующего направления для каждого рассматриваемого временного/частотного поддиапазона, квантование этих направленных компонентов является актуальной темой исследований.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом предлагается устройство, содержащее средства, сконфигурированные для: генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

Средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, может быть сконфигурировано для: определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования; кодирования, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Средство, сконфигурированное для определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, может быть сконфигурировано для определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, находится в пределах заданного порога, может быть сконфигурировано для: определения второго разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала, которые были закодированы с фиксированной скоростью с использованием первого разрешения квантования.

Средство может быть также сконфигурировано для вывода или сохранения: энтропийно-кодированных индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования для параметров метаданных направления пространственного звукового сигнала; и кодированных с фиксированной скоростью индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала.

Средство может быть также сконфигурировано для упорядочения кодированных индексов таким образом, чтобы энтропийно-кодированные индексы предшествовали индексам, кодированным с фиксированной скоростью.

Средство может быть также сконфигурировано для генерирования индикатора, когда используется первое или второе разрешение квантования.

Средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, может быть сконфигурировано для: определения третьего разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе того, что количество битов, используемых для кодирования с фиксированной скоростью с использованием третьего разрешения квантования, всегда равно или меньше заданного количества битов; генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием третьего разрешения квантования; и кодирования, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Средство может быть также сконфигурировано для вывода кодированных по выбору индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Средство может быть также сконфигурировано для генерирования индикатора, когда определено третье разрешение квантования.

Согласно второму аспекту предлагается устройство, содержащее средства, сконфигурированные для: приема кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; приема индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, средство сконфигурировано для: декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, причем первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

Средство может быть также сконфигурировано для определения упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Средство, сконфигурированное для определения упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, может быть сконфигурировано для определения упомянутого другого разрешения квантования на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Средство может быть также сконфигурировано для определения уменьшенного разрешения квантования битов для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Средство может быть также сконфигурировано для генерирования отображения из индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, в значение угловой высоты и/или значение азимута на основе разрешения квантования.

В соответствии с третьим аспектом предлагается способ, включающий: генерирование параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнение количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывод или сохранение кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяют таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

Генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования может включать: определение первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерирование индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования; кодирование, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Определение первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса может включать определение первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, находится в пределах заданного порога, может включать: определение второго разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерирование индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала, которые были закодированы с фиксированной скоростью с использованием первого разрешения квантования.

Способ может также включать вывод или сохранение энтропийно-кодированных индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования для параметров метаданных направления пространственного звукового сигнала; и кодированных с фиксированной скоростью индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала.

Способ может также включать упорядочение кодированных индексов таким образом, чтобы энтропийно-кодированные индексы предшествовали индексам, кодированным с фиксированной скоростью.

Способ может также включать генерирование индикатора, когда используется первое или второе разрешение квантования.

Генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования может включать: определение третьего разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе того, что количество битов, используемых для кодирования с фиксированной скоростью с использованием третьего разрешения квантования, всегда равно или меньше заданного количества битов; генерирование индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием третьего разрешения квантования; и кодирование, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Кроме того, способ может включать вывод кодированных по выбору индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли фиксированное кодирование или энтропийное кодирование меньшее количество битов.

Способ может также включать генерирование индикатора, когда определено третье разрешение квантования.

В соответствии с четвертым аспектом предлагается способ, включающий: прием кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; прием индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, способ включает: декодирование первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, причем первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирование, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирование второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

Способ может также включать определение упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Определение упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса может включать определение упомянутого другого разрешения квантования на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Способ может включать определение уменьшенного разрешения квантования битов для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Способ может включать генерирование отображения из индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, в значение угловой высоты и/или значение азимута на основе разрешения квантования.

В соответствии с пятым аспектом предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одно запоминающее устройство, включающее код компьютерной программы, причем по меньшей мере одно запоминающее устройство и код компьютерной программы сконфигурированы так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять по меньшей мере: генерирование параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнение количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывод или сохранение кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

Устройство, которое генерирует кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, может: определять первое разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерировать индексы, связанные с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования; кодировать по выбору индексы с использованием кодирования с фиксированной скоростью или энтропийного кодирования в зависимости от того, использует ли фиксированное кодирование или энтропийное кодирование меньшее количество битов.

Устройство, которое определяет первое разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, может: определять первое разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Устройство, которое генерирует кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, находится в пределах заданного порога, может: определять второе разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса; генерировать индексы, связанные с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала, которые были закодированы с фиксированной скоростью с использованием первого разрешения квантования.

Устройство может выводить или сохранять: энтропийно-кодированные индексы, связанные с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования для параметров метаданных направления пространственного звукового сигнала; и кодированных с фиксированной скоростью индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала.

Устройство может упорядочивать кодированные индексы таким образом, чтобы энтропийно-кодированные индексы предшествовали индексам, кодированным с фиксированной скоростью.

Устройство может генерировать индикатор, когда используется первое или второе разрешение квантования.

Устройство, которое генерирует кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, может: определять третье разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе того, что количество битов, используемых для кодирования с фиксированной скоростью с использованием третьего разрешения квантования, всегда равно или меньше заданного количества битов; генерировать индексы, связанные с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием третьего разрешения квантования; и кодировать по выбору индексы с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

Устройство может выводить кодированные по выбору индексы с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли фиксированное кодирование или энтропийное кодирование меньшее количество битов.

Устройство может генерировать индикатор, когда определено третье разрешение квантования.

В соответствии с шестым аспектом предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одно запоминающее устройство, включающее код компьютерной программы, причем по меньшей мере одно запоминающее устройство и код компьютерной программы сконфигурированы так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять по меньшей мере: прием кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; прием индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодировать кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, устройство декодирует первую часть кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, при этом первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирует, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, вторую часть, содержащую кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирует вторую часть, содержащую кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

Устройство может также определять упомянутое другое разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Устройство, которое определяет упомянутое другое разрешение квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, может определять упомянутое другое разрешение квантования на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

Устройство может также определять уменьшенное разрешение квантования битов для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

Кроме того, устройство может генерировать отображение из индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, в значение угловой высоты и/или значение азимута на основе разрешения квантования.

В соответствии с седьмым аспектом предлагается устройство, содержащее: схему генерирования, сконфигурированную для генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; схему сравнения, сконфигурированную для сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; схему вывода или сохранения, сконфигурированную для вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

В соответствии с восьмым аспектом предлагается устройство, содержащее: схему приема, сконфигурированную для приема кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; схему приема, сконфигурированную для приема индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; схему декодирования, сконфигурированную для декодирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, устройство содержит: схему декодирования, сконфигурированную для декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, причем первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; схему декодирования, сконфигурированную для декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае для декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

В соответствии с девятым аспектом предлагается компьютерная программа, содержащая инструкции [или машиночитаемый носитель, содержащий программные инструкции] для обеспечения выполнения устройством по меньшей мере следующего: генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

В соответствии с десятым аспектом предлагается компьютерная программа, содержащая инструкции [или машиночитаемый носитель, содержащий программные инструкции] для обеспечения выполнения устройством по меньшей мере следующего: приема кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; приема индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, выполнение: декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, при этом первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

В соответствии с одиннадцатым аспектом предлагается машиночитаемый носитель для хранения данных, содержащий программные инструкции, заставляющие устройство выполнять по меньшей мере: генерирование параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнение количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывод или сохранение кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

Согласно двенадцатому аспекту предлагается машиночитаемый носитель для хранения данных, содержащий программные инструкции, заставляющие устройство выполнять по меньшей мере: прием кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; прием индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, выполнение: декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, при этом первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

В соответствии с тринадцатым аспектом предлагается устройство, содержащее: средства для генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; средства для сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; средства для вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; средства для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов, а разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; средства для схемы генерирования, сконфигурированные для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

Согласно четырнадцатому аспекту предлагается устройство, содержащее: средства для приема кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; средства для приема индикатора, сконфигурированного для идентификации того, были ли кодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; средства для декодирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, средства для: декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, при этом первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; средства для декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае средства для декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

В соответствии с пятнадцатым аспектом предлагается машиночитаемый носитель, содержащий программные инструкции, заставляющие устройство выполнять по меньшей мере: генерирование параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнение количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывод или сохранение кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; схему генерирования, сконфигурированную для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

В соответствии с шестнадцатым аспектом предлагается машиночитаемый носитель, содержащий программные инструкции, заставляющие устройство выполнять по меньшей мере: прием кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; прием индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; декодирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, выполнение: декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, при этом первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования; декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

Устройство, содержащее средства для выполнения операций описанного выше способа.

Устройство, сконфигурированное для выполнения операций способа, как описано выше.

Компьютерная программа, содержащая программные инструкции, заставляющие компьютер выполнять описанный выше способ.

Компьютерный программный продукт, хранящийся на носителе, может заставить устройство выполнять описанный здесь способ.

Электронное устройство может содержать устройство, описанное здесь.

Набор микросхем может содержать устройство, описанное здесь.

Варианты осуществления настоящего изобретения направлены на решение проблем известного уровня техники.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для лучшего понимания настоящего изобретения теперь в качестве примера будет сделана ссылка на прилагаемые чертежи.

На фиг. 1 схематически показана система устройств, подходящая для реализации некоторых вариантов осуществления изобретения.

На фиг. 2 схематично показан кодер метаданных в соответствии с некоторыми вариантами осуществления изобретения.

На фиг. 3 показана блок-схема операций кодирования отношения энергии и определения разрешения квантования, как показано на фиг. 2, в соответствии с некоторыми вариантами осуществления изобретения.

На фиг. 4а-4с показаны блок-схемы операций генерирования индекса направления и кодирования индекса направления, как показано на фиг. 2, в соответствии с некоторыми вариантами осуществления изобретения.

На фиг. 5 показана блок-схема энтропийного кодирования индексов направления, как показано на фиг. 4а-4с, в соответствии с некоторыми вариантами осуществления изобретения.

На фиг. 6 показана другая блок-схема энтропийного кодирования индексов направления, как показано на фиг. 4а-4с, согласно некоторым вариантам осуществления изобретения.

На фиг. 7 схематично показан декодер метаданных согласно некоторым вариантам осуществления изобретения.

На фиг. 8 показана блок-схема операций декодера метаданных, показанного на фиг. 7, в соответствии с некоторыми вариантами осуществления изобретения.

На фиг. 9 схематично показан пример устройства, подходящего для реализации показанного устройства.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Далее более подробно описано подходящее устройство и возможные механизмы для предоставления эффективных параметров метаданных, полученных из пространственного анализа. В последующих обсуждениях описана многоканальная система в отношении реализации многоканального микрофона. Однако, как обсуждалось выше, входной формат может быть любым подходящим входным форматом, таким как многоканальный громкоговоритель, амбисоника (FOA/HOA) и т.д. Понятно, что в некоторых вариантах осуществления изобретения местоположение канала основано на местоположении микрофона или представляет собой виртуальное местоположение или направление. Кроме того, в примере выходом системы является многоканальное устройство громкоговорителей. Однако понятно, что вывод может быть воспроизведен для пользователя с помощью средств, отличных от громкоговорителей. Кроме того, сигналы многоканального громкоговорителя могут быть обобщены как два или более звуковых сигнала воспроизведения.

Метаданные включают по меньшей мере угловую высоту, азимут и отношение энергии результирующего направления для каждого рассматриваемого временного/частотного поддиапазона. Компоненты параметра направления, азимут и угловая высота извлекаются из аудиоданных, а затем квантуются до заданного разрешения квантования. Полученные в результате индексы должны быть также сжаты для эффективной передачи. Для высокой скорости передачи битов требуется высококачественное кодирование метаданных без потерь.

Концепция, обсуждаемая далее, заключается в улучшении качества кодированного и квантованного представления метаданных в ситуациях, когда после начального квантования и кодирования полученная скорость передачи битов превышает скорость передачи битов, разрешенную кодеком. В таких вариантах предлагается способ получения промежуточного разрешения квантования без какой-либо повторной оценки битов энтропийного кодирования или какой-либо дополнительной сигнализации изменения. Поэтому уменьшение осуществляют только для тех поддиапазонов, которые используют кодирование с фиксированной скоростью, а неявная сигнализация реализуется путем переупорядочения поддиапазонов при записи битового потока, который должен быть выведен.

В некоторых вариантах осуществления изобретения это может быть также реализовано с помощью способов, которые уменьшают значения переменных, подлежащих кодированию. Уменьшение может быть реализовано в некоторых вариантах осуществления изобретения для случая, когда имеется большее количество символов. Изменение может быть выполнено путем вычитания индекса, подлежащего кодированию, из числа доступных символов и кодирования полученной разности. В некоторых вариантах осуществления изобретения для представления азимута это соответствует наличию источников звука, расположенных со смещением назад. Кроме того, изменение также может быть реализовано в некоторых вариантах осуществления изобретения путем проверки, являются ли все индексы четными или нечетными, и кодирования значений, деленных на два. Для представления угловой высоты в некоторых вариантах осуществления изобретения это соответствует расположению источников звука в основном в верхней или нижней части звуковой сцены.

В некоторых вариантах осуществления изобретения кодирование метаданных MASA, например, в кодеке IVAS сконфигурировано так, чтобы сначала оценить количество битов для данных направления на основе значений квантованных отношений энергии для каждого частотно-временного тайла (tile). Кроме того, проверяется энтропийное кодирование исходного разрешения квантования. Если полученная в результате сумма больше, чем количество доступных битов, количество битов может быть пропорционально уменьшено для каждого частотно-временного тайла, чтобы оно соответствовало количеству доступных битов, однако разрешение квантования не корректируется без необходимости, когда это позволяет скорость передачи битов (например, для более высоких скоростей передачи битов).

На фиг. 1 показан пример устройства и системы для реализации вариантов осуществления изобретения. Система 100 показана с частью 121 «анализа» и частью 131 «синтеза». Часть 121 «анализа» представляет собой часть от приема сигналов многоканального громкоговорителя до кодирования метаданных и сигнала понижающего микширования, а часть 131 «синтеза» представляет собой часть от декодирования кодированных метаданных и сигнала понижающего микширования до представления повторно сгенерированного сигнала (например, в форме сигнала многоканального громкоговорителя).

Входными данными для системы 100 и части 121 «анализа» являются многоканальные сигналы 102. В следующих примерах описывается входной сигнал микрофонного канала, однако любой подходящий входной (или синтетический многоканальный) формат может быть реализован в других вариантах осуществления изобретения. Например, в некоторых вариантах осуществления изобретения пространственный анализатор и пространственный анализ могут быть реализованы вне кодера. Например, в некоторых вариантах осуществления изобретения пространственные метаданные, связанные со звукового сигналами, могут предоставляться кодеру в виде отдельного битового потока. В некоторых вариантах осуществления изобретения пространственные метаданные могут предоставляться в виде набора значений пространственного индекса (направления).

Многоканальные сигналы передаются в модуль 103 понижающего микширования и в процессор 105 анализа.

В некоторых вариантах осуществления изобретения модуль 103 понижающего микширования выполнен с возможностью приема многоканальных сигналов и микширования сигналов с уменьшением количества каналов до заданного количества каналов и вывода сигналов 104 понижающего микширования. Например, модуль 103 понижающего микширования может быть сконфигурирован для генерирования понижающего микширования двух аудиоканалов многоканальных сигналов. Заданное количество каналов может быть любым подходящим количеством каналов. В некоторых вариантах осуществления изобретения модуль 103 понижающего микширования является необязательным, и многоканальные сигналы передаются необработанными в кодер 107 таким же образом, как сигнал понижающего микширования в этом примере.

В некоторых вариантах осуществления изобретения процессор 105 анализа также сконфигурирован для приема многоканальных сигналов и анализа сигналов для создания метаданных 106, связанных с многоканальными сигналами и, таким образом, связанных с сигналами 104 понижающего микширования. Процессор 105 анализа может быть сконфигурирован для генерирования метаданных, которые могут содержать для каждого интервала частотно-временного анализа параметр 108 направления и параметр 110 отношения энергии (и в некоторых вариантах осуществления изобретения параметр когерентности и параметр диффузности).

Направление и отношение энергии могут в некоторых вариантах осуществления изобретения рассматриваться как параметры пространственного звука. Другими словами, параметры пространственного звука содержат параметры, предназначенные для описания звукового поля, создаваемого многоканальными сигналами (или двумя или более воспроизводимыми звуковыми сигналами в целом).

В некоторых вариантах осуществления изобретения сгенерированные параметры могут отличаться от одного частотного диапазона к другому. Так, например, в диапазоне X генерируются и передаются все параметры, тогда как в диапазоне Y генерируется и передается только один из параметров, а в диапазоне Z никакие параметры не генерируются и не передаются. Практическим примером этого может быть то, что для некоторых частотных диапазонов, таких как самый высокий диапазон, некоторые параметры не требуются по причинам, связанным с восприятием. Сигналы 104 понижающего микширования и метаданные 106 могут быть переданы в кодер 107.

Кодер 107 может содержать ядро 109 аудиокодера, которое сконфигурировано для приема сигналов 104 понижающего микширования (или иных сигналов) и генерирования подходящего кодирования этих звуковых сигналов. Кодер 107 в некоторых вариантах осуществления изобретения может быть компьютером (с работающим подходящим программным обеспечением, хранящимся в памяти и по меньшей мере в одном процессоре) или, альтернативно, конкретным устройством, использующим, например, FPGA или ASIC. Кодирование может быть реализовано с использованием любой подходящей схемы. Кроме того, кодер 107 может содержать кодер/квантователь 111 метаданных, который сконфигурирован для приема метаданных и вывода информации в кодированной или сжатой форме. В некоторых вариантах осуществления изобретения кодер 107 может также чередовать, мультиплексировать в один поток данных или встраивать метаданные в кодированные сигналы понижающего микширования перед передачей или сохранением, как показано на фиг. 1 пунктирной линией. Мультиплексирование может быть реализовано с использованием любой подходящей схемы.

На стороне декодера принятые или извлеченные данные (поток) могут быть получены декодером/демультиплексором 133. Декодер/демультиплексор 133 может демультиплексировать кодированные потоки и передавать кодированный аудиопоток в модуль 135 извлечения понижающего микширования, который сконфигурирован для декодирования звуковых сигналов для получения сигналов понижающего микширования. Аналогичным образом декодер/демультиплексор 133 может содержать модуль 137 извлечения метаданных, который сконфигурирован для приема кодированных метаданных и генерирования метаданных. Декодер/демультиплексор 133 в некоторых вариантах осуществления изобретения может быть компьютером (с подходящим программным обеспечением, хранящимся в памяти и по меньшей мере в одном процессоре) или, альтернативно, конкретным устройством, использующим, например, FPGA или ASIC.

Декодированные метаданные и звуковые сигналы понижающего микширования могут быть переданы в процессор 139 синтеза.

Часть 131 «синтеза» системы 100 также показывает процессор 139 синтеза, сконфигурированный для приема понижающего микширования и метаданных и воссоздания в любом подходящем формате синтезированного пространственного звука в форме многоканальных сигналов 110 (это может быть формат многоканального громкоговорителя или в некоторых вариантах осуществления изобретения любой подходящий выходной формат, такой как стереофонические сигналы или амбисонические сигналы, в зависимости от варианта использования) на основе сигналов понижающего микширования и метаданных.

Таким образом, сначала система (часть анализа) конфигурируется для приема многоканальных звуковых сигналов. Затем система (часть анализа) конфигурируется для генерирования понижающего микширования или иным образом для генерирования подходящего транспортного звукового сигнала (например, путем выбора некоторых каналов звукового сигнала). Затем система конфигурируется для кодирования для сохранения/передачи сигнала понижающего микширования (или, в более общем случае, транспортного сигнала). После этого система может сохранять/передавать кодированный сигнал микширования и метаданные. Система может извлекать/принимать кодированный сигнал понижающего микширования и метаданные. Затем система конфигурируется для извлечения понижающего микширования и метаданных из кодированных параметров понижающего микширования и метаданных, например, демультиплексирования и декодирования кодированных параметров понижающего микширования и метаданных.

Система (часть синтеза) сконфигурирована для синтеза выходного многоканального звукового сигнала на основе извлеченного понижающего микширования многоканальных звуковых сигналов и метаданных.

Что касается фиг. 2, более подробно описаны пример процессора 105 анализа и кодер/квантователь 111 метаданных (как показано на фиг. 1) в соответствии с некоторыми вариантами осуществления изобретения.

Процессор 105 анализа в некоторых вариантах осуществления изобретения содержит преобразователь 201 временной области в частотную.

В некоторых вариантах осуществления изобретения преобразователь 201 временной области в частотную сконфигурирован для приема многоканальных сигналов 102 и применения подходящего преобразования из временной области в частотную, такого как оконное временное преобразование Фурье (STFT, Short Time Fourier Transform), для преобразования входных сигналов во временной области в подходящие частотно-временные сигналы. Эти частотно-временные сигналы могут быть переданы в пространственный анализатор 203 и в анализатор 205 сигналов.

Таким образом, например, частотно-временные сигналы 202 могут быть представлены в представлении в частотно-временной области с помощью

s_i(b,n),

где b - индекс частотного бина, n - индекс частотно-временного блока (кадра), a i - индекс канала. В другом выражении n можно рассматривать как временной индекс с более низкой частотой дискретизации, чем у исходных сигналов во временной области. Эти частотные бины могут быть сгруппированы в поддиапазоны, которые группируют один или более бинов в поддиапазон с индексом диапазона k=0, …, K-1. Каждый поддиапазон к имеет самый низкий бин b_k,low и самый высокий бин b_k,high, и поддиапазон содержит все бины от b_k,low до b_k,high. Ширина поддиапазонов может аппроксимироваться любым подходящим распределением. Например, используется шкала эквивалентной прямоугольной полосы частот (ERB, Equivalent rectangular bandwidth) или шкала Барка.

В некоторых вариантах осуществления изобретения процессор 105 анализа содержит пространственный анализатор 203. Пространственный анализатор 203 может быть сконфигурирован для приема частотно-временных сигналов 202 и оценки параметров 108 направления на основе этих сигналов. Параметры направления могут быть определены на основе любого звука на основе определения «направления».

Например, в некоторых вариантах осуществления изобретения пространственный анализатор 203 сконфигурирован для оценки направления с двумя или более входными сигналами. Это самая простая конфигурация для оценки «направления», более сложная обработка может выполняться с еще большим количеством сигналов.

Таким образом, пространственный анализатор 203 может быть сконфигурирован для предоставления азимута и/или угловой высоты для каждого частотного диапазона и временного частотно-временного блока в кадре звукового сигнала, обозначенных как азимут ϕ(k,n) и угловая высота θ(k,n). Параметры 108 направления также могут быть переданы в анализатор направления/генератор индекса 215.

Пространственный анализатор 203 также может быть сконфигурирован для определения параметра 110 отношения энергии. Отношение энергии может представлять собой энергию звукового сигнала, который считается поступающим с заданного направления. Отношение направленной энергии к полной энергии r(k,n) может быть оценено, например, с использованием меры стабильности оценки направления, или с использованием любой меры корреляции, или любого другого подходящего способа для получения параметра отношения. Отношение энергии может быть передано генератору среднего отношения энергии / модулю определения разрешения квантования 211.

Таким образом, процессор анализа сконфигурирован для приема многоканального сигнала во временной области или другого формата, такого как микрофонные или амбисонические звуковые сигналы.

После этого процессор анализа может применить преобразование временной области в частотную область (например, STFT) для генерирования подходящих сигналов частотно-временной области для анализа, а затем применить анализ направления для определения параметров направления и отношения энергии.

Затем процессор анализа может быть сконфигурирован для вывода заданных параметров.

Хотя направления и отношения здесь выражены для каждого временного индекса n, в некоторых вариантах осуществления изобретения параметры могут быть объединены по нескольким временным индексам. То же самое относится и к частотной оси, как было показано, направление нескольких частотных бинов b может быть выражено одним параметром направления в диапазоне к, включающем несколько частотных бинов b. То же самое относится ко всем обсуждаемым здесь пространственным параметрам.

Как также показано на фиг. 2, в соответствии с некоторыми вариантами осуществления изобретения показан пример кодера/квантователя 111 метаданных.

Как обсуждалось выше, звуковые пространственные метаданные включают данные азимута, угловой высоты и отношения энергии для каждого поддиапазона. В формате MASA данные направления представлены 16 битами, так что азимут приблизительно представлен 9 битами, а угловая высота - 7 битами. Отношение энергии представлено 8 битами. Для каждого кадра имеется N=5 поддиапазонов и М=4 временных блоков, что делает необходимым (16+8)xMxN битов для хранения несжатых метаданных для каждого кадра. В версии с более высоким частотным разрешением может быть 20 или 24 частотных поддиапазона. Хотя в следующих примерах используются выделения битов в формате MASA, понятно, что другие варианты осуществления изобретения могут быть реализованы с другим выделением битов или выбором поддиапазона или временного блока, и это только типичные примеры.

Кодер/квантователь 111 метаданных может содержать генератор среднего отношения энергии/модуль определения разрешения квантования 211. Генератор среднего отношения энергии/модуль определения разрешения квантования 211 может быть сконфигурирован для приема отношений энергии и из анализа для генерирования на их основе подходящего кодирования отношений. Например, чтобы получить заданные отношения энергии (например, отношения направленной энергии к полной энергии, а также отношения диффузной энергии к полной энергии и отношения остаточной энергии к полной энергии) и кодировать/квантовать их. Эти кодированные формы могут быть переданы в кодер 217.

В некоторых вариантах осуществления изобретения генератор среднего значения отношения энергии/модуль определения разрешения квантования 211 сконфигурирован для кодирования каждого значения отношения энергии с использованием заданного количества битов. Например, в приведенном выше случае, когда имеется N=5 поддиапазонов, 3 бита используются для кодирования каждого значения отношения энергии. Таким образом, генератор среднего отношения энергии/модуль определения разрешения квантования 211 может быть сконфигурирован для применения скалярного неравномерного квантования с использованием 3 битов для каждого поддиапазона.

Кроме того, генератор среднего значения отношения энергии/модуль определения разрешения квантования 211 выполнен с возможностью вместо управления передачей/сохранением всех значений отношения энергии для всех блоков TF генерировать только одно средневзвешенное значение для каждого поддиапазона, которое передается в кодер для передачи/сохранения.

В некоторых вариантах осуществления изобретения это среднее значение вычисляется с учетом общей энергии каждого частотно-временного блока и взвешивания, применяемого на основе поддиапазонов, имеющих большую энергию.

Кроме того, генератор среднего отношения энергии/модуль определения разрешения квантования 211 сконфигурирован для определения разрешения квантования для параметров направления (другими словами, разрешения квантования для значений угловой высоты и азимута) для всех частотно-временных блоков в кадре. Это выделение битов, например, может быть определено как bits_dir0[0:N-1][0:M-1] и может быть передано в анализатор направления / генератор индекса 215.

Как показано на фиг. 3, можно обобщить действия генератора среднего отношения энергии/модуля определения разрешения квантования 211. Первым этапом является получение значений отношения, как показано на фиг. 3 на этапе 301. Затем цикл поддиапазона запускается на фиг. 3 на этапе 303. Цикл поддиапазона содержит первое действие использования заданного количества битов (например, 3) для представления значения отношения энергии на основе средневзвешенного значения отношения энергии для всех значений во временном блоке (где взвешивание определяется значением энергии звукового сигнала), как показано на фиг. 3 на этапе 305. Затем вторым действием является определение разрешения квантования для азимута и угловой высоты для всего временного блока текущего поддиапазона на основе значения отношения энергии, как показано на фиг. 3 на этапе 307.

Кроме того, это может быть представлено в псевдокоде следующим образом:

1. Для каждого поддиапазона i=1:N

a. Использовать 3 бита для кодирования соответствующего значения отношения энергии

b. Установить разрешение квантования для азимута и угловой высоты для всего временного блока текущего поддиапазона. Разрешение квантования устанавливается путем предоставления заранее заданного количества битов, заданного значением отношения энергии, bits_dir0[0:N-1][0:М-1]

2. Конец цикла.

Кодер/квантователь 111 метаданных может содержать анализатор направления/генератор индекса 215. Генератор 215 индекса направления сконфигурирован для приема параметров 108 направления (таких как азимут ϕ(k,n) и угловая высота θ(k,n)) и выделения битов квантования и на его основе генерирования квантованных выходных данных. В некоторых вариантах осуществления изобретения квантование основано на расположении сфер, образующих сферическую сетку, расположенную в виде колец на «поверхностной» сфере, которые определяются справочной таблицей, определяемой заданным разрешением квантования. Другими словами, сферическая сетка использует идею покрытия сферы меньшими сферами и рассмотрения центров меньших сфер как точек, определяющих сетку почти равноудаленных направлений. Таким образом, меньшие сферы определяют конусы или телесные углы вокруг центральной точки, которые могут быть проиндексированы в соответствии с любым подходящим алгоритмом индексирования. Хотя здесь описывается сферическое квантование, можно использовать любое подходящее квантование, линейное или нелинейное.

Например, в некоторых вариантах осуществления изобретения биты для параметров направления (азимут и угловая высота) выделяются в соответствии с таблицей bits_direction[]; если отношение энергии имеет индекс i, количество битов для направления равно bits_direction[i].

Структура квантователей направления для различных битовых разрешений задается следующими переменными:

«no_theta» соответствует количеству значений угловой высоты в «Северном полушарии» сферы направлений, включая экватор. «no_phi» соответствует количеству значений азимута на каждой угловой высоте для каждого квантователя.

Например, для 5 битов имеется 4 значения угловой высоты, соответствующие [0, 30, 60, 90], и 4-1=3 отрицательных значения угловой высоты [-30, -60, -90]. Для первого значения угловой высоты, 0, имеется 12 равноудаленных значений азимута, для значений угловой высоты 30 и -30 имеется 7 равноудаленных значений азимута и т.д.

Все структуры квантования, за исключением структуры, соответствующей 4 битам, имеют разность между последовательными значениями угловой высоты, заданными 90 градусами, деленными на количество значений угловой высоты «no_theta». Это пример, и может быть реализовано любое другое подходящее распределение. Например, в некоторых вариантах осуществления изобретения может быть реализована сферическая сетка для 4 битов, которая может не иметь точек под экватором. Точно так же 3-битное распределение может быть распределено по сфере или ограничено только экватором. Таким образом, индексы можно рассматривать как кодирование параметров направления с фиксированной скоростью.

Определив индексы направления, анализатор направления/генератор индекса 215 может затем быть сконфигурирован для энтропийного кодирования индексов азимута и угловой высоты. Энтропийное кодирование реализуется для одного частотного поддиапазона за раз, путем кодирования всех временных подкадров для этого поддиапазона. Это означает, что, например, лучший порядок GR определяется для 4 значений, соответствующих временным подкадрам текущего поддиапазона. Кроме того, как обсуждалось в данном документе, когда имеется несколько способов кодирования значений для одного поддиапазона, выбирается один из способов, как описано ниже. Энтропийное кодирование индексов азимута и угловой высоты в некоторых вариантах осуществления изобретения может быть реализовано с использованием способа кодирования Голомба-Райса с двумя возможными значениями параметра Голомба-Райса. В некоторых вариантах осуществления изобретения энтропийное кодирование также может быть реализовано с использованием любой подходящей техники энтропийного кодирования (например, Хаффмана, арифметического кодирования…).

Имея кодированные с фиксированной скоростью и энтропийно-кодированные индексы направления (индексы угловой высоты и азимута в этом примере), анализатор направления/генератор индекса 215 может быть сконфигурирован для сравнения для каждого из поддиапазонов количества битов, используемых в способе энтропийного кодирования (ЕС, entropy coding), с количеством битов, используемых в способе кодирования с фиксированной скоростью, и для каждого поддиапазона выбора способа кодирования, который использует меньшее количество битов. Таким образом, bits_ЕС представляет собой сумму битов, используемых в каждом поддиапазоне, независимо от того, используется ли кодирование с фиксированной или переменной скоростью. Для поддиапазонов, где используется кодирование с фиксированной скоростью, количество битов, используемых для каждого направления, определяется как bits_dir0[i][j], где «i» - индекс поддиапазона, a «j» - индекс временного подкадра.

Предположим, что биты для каждого поддиапазона после энтропийного кодирования следующие:

Затем количество битов, используемых для кодирования временного блока или кадра, сравнивается с количеством доступных битов. Например, в некоторых вариантах осуществления изобретения можно вычислить значение Delta, которое представляет собой разность между количеством битов, используемых для кодирования временного блока или кадра (bits_EC), и количеством доступных битов.

В некоторых вариантах осуществления изобретения анализатор направления/генератор индекса 215 сконфигурирован для определения того, является ли значение разности (Delta) отрицательным. Другими словами, превышает ли количество битов для кодированных индексов направления (с использованием поддиапазонов с кодированием с фиксированной скоростью и энтропийным кодированием) количество доступных битов.

Если количество используемых битов не больше, чем количество доступных битов (или значение Delta положительно или неотрицательно), тогда кодер 217 конфигурируется для использования кодированных индексов направления (bits_ЕС) и сигнализирует, какие подкадры кодируются энтропийным кодированием, а какие кодируются с фиксированной скоростью. Например, в некоторых вариантах осуществления изобретения кодер сконфигурирован для передачи 1 бита, чтобы указать, что используется способ энтропийного кодирования и кодирования с фиксированной скоростью, а также 1 бит на поддиапазон, который затем используется для указания, является ли поддиапазон кодированным с фиксированной скоростью или энтропийно-кодированным. Затем кодированные поддиапазоны группируются. Например, группируются энтропийно-кодированные поддиапазоны, а затем следуют поддиапазоны, кодированные с фиксированной скоростью.

Это, например, показано на фиг. 4а, где начальная операция, следующая за этапом 309, представляет собой операцию определения индексов направления (азимута и угловой высоты) на основе разрешения квантования, установленного bits_dir0[0:N-1][0:М-1], другими словами, выполнение кодирования с фиксированной скоростью, как показано на фиг. 4а на этапе 400.

После генерирования индексов следующей операцией является энтропийное кодирование индексов направления, как показано на фиг. 4а на этапе 401.

Сгенерировав для всех поддиапазонов энтропийно-кодированную и кодированную с фиксированной скоростью форму, затем для каждого поддиапазона выбирают вариант, который использует меньшее количество битов, и определяют используемые биты для временного блока или кадра (как bits_EC), как показано на фиг. 4а на этапе 403.

Затем определяют разность между используемыми битами и доступными битами (Delta=bits_ЕС-bits_available), как показано на фиг. 4а на этапе 405.

Следующей операцией может быть определение того, превышает ли количество битов для кодированных индексов направления количество доступных битов (другими словами, является ли значение Delta отрицательным?), как показано на фиг. 4а на этапе 407.

Если определение приводит к ответу, что количество битов для кодированных индексов направления не превышает количества доступных битов (другими словами, значение Delta не является отрицательным или положительным), тогда используют кодированные индексы направления и, кроме того, сигнализируют выборы (другими словами, генерируют индикаторы для сигнализации о том, какие подкадры энтропийно кодируются, а какие кодируются с фиксированной скоростью), как показано на фиг. 4а на этапе 408. В некоторых вариантах осуществления изобретения используют 1 бит для каждого поддиапазона для указания на то, что используется способ выбора энтропийного кодирования, используют 1 бит для каждого поддиапазона для указания того, какие из них являются кодированными с фиксированной скоростью или энтропийно-кодированными, а затем группируют кодированные метаданные таким образом, что сначала в битовый поток упаковываются все энтропийно-кодированные поддиапазоны, а затем упаковываются поддиапазоны, кодированные с фиксированной скоростью.

В некоторых вариантах осуществления изобретения, где количество битов для кодированных индексов направления больше, чем количество доступных битов (или Delta имеет отрицательное значение), тогда анализатор направления/генератор индекса 215 сконфигурирован для определения того, превышает ли количество битов, используемых для кодированных индексов направления, количество доступных битов, на пороговое значение уменьшения разрешения квантования. Пороговое значение уменьшения разрешения квантования может в некоторых вариантах осуществления изобретения вычисляться на основе количества кодированных с фиксированной скоростью поддиапазонов, количества битов, которое может быть уменьшено на основе каждого частотно-временного тайла (или частотно-временного блока) до того, как качество при квантовании значительно ухудшится, и количества субкадров в блоке. Например, в некоторых вариантах осуществления изобретения минимальное количество битов, которое можно использовать, равно 3 (хотя можно использовать любое другое подходящее минимальное количество битов). Это может быть представлено как Delta>=FRB*BM*M, где FRB=количество поддиапазонов с фиксированной скоростью в подкадре, ВМ=максимальное количество битов, которое может быть уменьшено из каждого тайла TF, а М=количество временных блоков или временных подкадров.

Когда определение приводит к ответу, что разность меньше, чем пороговое значение уменьшения разрешения квантования, тогда анализатор направления/генератор индекса 215 сконфигурирован для повторного вычисления количества битов, используемых для кодирования с фиксированной скоростью, путем изменения разрешения квантования. В некоторых вариантах осуществления изобретения разрешение квантования уменьшается для каждого тайла TF поддиапазонов, кодированных с фиксированной скоростью, вплоть до максимального уменьшения битов ВМ (другими словами, до тех пор, пока не будет достигнуто минимальное количество используемых битов) и до тех пор, пока количество битов для кадра не уменьшится до количества доступных битов. В некоторых вариантах осуществления изобретения уменьшение выполняется по 1 биту на TF за раз, так что разрешение квантования в TF меняется равномерно. Кроме того, в некоторых вариантах осуществления изобретения уменьшение применяется от нижних поддиапазонов к более высоким поддиапазонам. Уменьшение таково, что в конце уменьшения разрешения квантования число используемых битов для временного блока равно bits_ЕС1, а не bits_ЕС. Другими словами, уменьшение таково, что «bits_ЕС1» должно соответствовать «bits_available ».

После применения разрешения квантования для подкадров с фиксированной скоростью кодер 217 конфигурируется для использования кодированных индексов направления (bits_ЕС1) и сигнализирует, какие подкадры кодируются энтропийно, а какие кодируются с фиксированной скоростью. Например, в некоторых вариантах осуществления изобретения кодер сконфигурирован для передачи 1 бита, чтобы указать, что используется способ энтропийного кодирования и кодирования с фиксированной скоростью, а также 1 бит для каждого поддиапазона, который затем используется для указания, является ли поддиапазон кодированным с фиксированной скоростью или энтропийно-кодированным. Затем кодированные поддиапазоны группируются. Например, группируются энтропийно-кодированные поддиапазоны, а затем следуют поддиапазоны, кодированные с фиксированной скоростью.

Когда определение приводит к ответу, что разность больше или равна пороговому значению уменьшения разрешения квантования, тогда анализатор направления/генератор индекса 215 сконфигурирован для уменьшения количества выделяемых битов для квантования bits_dir1[0:N-1][0:M-1] так, чтобы сумма выделенных битов была равна количеству доступных битов, оставшихся после кодирования отношений энергии.

Кроме того, анализатор направления/генератор индекса 215 может быть сконфигурирован для запуска кодирования поддиапазона с использованием уменьшенного количества доступных битов после кодирования отношений энергии. Это отличается от уменьшения разрешения квантования, описанного выше, тем, что формы, кодированные как с фиксированной скоростью, так и с переменной скоростью (энтропийно-кодированные формы), кодируются снова.

Индексы направления, кодированные с уменьшенной скоростью, и сигнализированное использование поддиапазонов, кодированных с фиксированной скоростью, затем могут кодироваться в кодере 217. Другими словами, бит может использоваться для сигнализации того, был ли кодирован поддиапазон с использованием способа энтропийного кодирования или кодирования с фиксированной скоростью, и затем биты для кодированных поддиапазонов передаются.

Это показано, например, на фиг. 4b, где после этапа 407 следует операция определения того, превышает ли разность количество доступных битов на пороговое значение уменьшения разрешения квантования, как показано на фиг. 4b на этапе 409.

Если разность меньше, чем пороговое значение уменьшения разрешения квантования, то способ конфигурируется для пересчета количества битов для кодирования поддиапазонов с фиксированной скоростью путем изменения разрешения квантования для поддиапазонов, кодированных с фиксированной скоростью (другими словами, без изменения энтропийно-кодированных поддиапазонов), как показано на фиг. 4b на этапе 410.

После пересчета количества битов для кодирования поддиапазонов с фиксированной скоростью выводят биты, в которых используются кодированные индексы направления (с подкадрами с фиксированной скоростью с измененным разрешением квантования) и, кроме того, сигнализируют выборы (другими словами, сгенерированные индикаторы, чтобы сигнализировать о том, какие подкадры кодированы энтропийным кодированием, а какие кодированы с фиксированной скоростью), как показано на фиг. 4b на этапе 412. В некоторых вариантах осуществления изобретения используют 1 бит для сигнализации того, что используется способ выбора энтропийного кодирования, используют 1 бит для каждого поддиапазона для указания того, какие из них являются кодированными с фиксированной скоростью или энтропийно-кодированными, а затем группируют кодированные метаданные таким образом, что сначала в битовый поток упаковываются все энтропийно-кодированные поддиапазоны, а затем упаковываются поддиапазоны, кодированные с измененным разрешением и фиксированной скоростью.

В некоторых вариантах осуществления изобретения кодирование с уменьшенной скоростью передачи битов может быть реализовано путем запуска цикла для каждого поддиапазона вплоть до предпоследнего поддиапазона N-1. В этом цикле определяют разрешенное количество битов для текущего поддиапазона bits_allowed=sum(bits_dir1[i][0:M-1]). Затем, определив разрешенное количество битов для текущего поддиапазона, анализатор направления/генератор индекса 215 может быть сконфигурирован для кодирования индексов с использованием кодирования с фиксированной скоростью с уменьшенным выделенным количеством битов bits_fixed=bits_allowed.

Затем анализатор направления/генератор индекса 215 может быть сконфигурирован для выбора либо кодирования с фиксированной скоростью, либо использования энтропийного кодирования на основе способа, который использует меньшее количество битов, то есть выбирает наименьшее значение из bits_fixed или bits_ec. Кроме того, анализатор направления/генератор индекса 215 может быть сконфигурирован для использования одного бита для указания того, какой из двух способов кодирования был выбран. Следовательно, количество битов, используемых для кодирования поддиапазона, равно nb=min(bits_fixed, bits_ес)+1.

Затем анализатор направления/генератор индекса 215 может быть сконфигурирован для определения того, имеются ли доступные биты в отношении разрешенных битов, другими словами, diff=allow_bits-nb>0. Там, где имеется разность между количеством доступных битов и количеством битов, используемых в поддиапазоне, разность может быть распределена на более поздние поддиапазоны, например, путем обновления bits_dir1[i+1:N-1][0_М-1], в противном случае анализатор направления/генератор индекса 215 может быть сконфигурирован для вычитания бита из выделения следующего поддиапазона bits_dir1[i+1][0].

Для конечного поддиапазона N анализатор направления / генератор индекса 215 может быть сконфигурирован для кодирования индексов направления с использованием способа кодирования с фиксированной скоростью и с использованием битов bits_dir1[N-1][0:M-1].

Как показано на фиг. 4с, эти операции с уменьшенной скоростью передачи битов (другими словами, этап 413 на фиг. 4b) могут быть показаны в качестве примера блок-схемы. Первым этапом является запуск цикла для поддиапазонов от 1 до предпоследнего (N-1) поддиапазона, как показано на фиг. 4с на этапе 421.

В цикле для текущего поддиапазона количество разрешенных битов для кодирования определяют, как показано на фиг. 4с на этапе 423.

Затем используют способ кодирования с фиксированной скоростью для кодирования индексов с использованием уменьшенного количества битов, как показано на фиг. 4с на этапе 425.

Затем выбирают либо кодирование с фиксированной скоростью, либо энтропийное кодирование на основе того, какой способ использует меньше битов, и выбор, кроме того, может быть указан одним битом, как показано на фиг. 4с на этапе 427.

Определение того, имеются ли какие-либо оставшиеся доступные биты на основе разности между количеством разрешенных битов и количеством битов, используемых выбранным кодированием, и перераспределение оставшихся битов для более поздних выделений поддиапазонов показано на фиг. 4с с помощью этапа 429.

Затем цикл завершается, и он может повториться для следующего поддиапазона, как показано на фиг. 4с на этапе 431.

Наконец, последний поддиапазон кодируют с использованием способа с фиксированной скоростью с использованием оставшегося выделения битов, как показано на фиг. 4с на этапе 433.

Таким образом, способ может быть кратко изложен следующим образом:

1. Для каждого поддиапазона i=1:N

a. кодировать значение отношения энергии

b. определить индексы направления на основе разрешения квантования (для всего временного блока текущего поддиапазона) на основе кодированного значения отношения энергии

3. Конец цикла

4. Энтропийное кодирование индексов направления

5. Выбор для каждого поддиапазона, использует ли кодирование (индексов) с фиксированной скоростью или энтропийное кодирование меньшее количество битов, определение используемых битов блока

6. Если используемых битов блока больше, чем доступных битов

а. Если разность между используемыми битами блока и доступными битами меньше порога изменения разрешения квантования

i. Пересчет битов, используемых путем изменения разрешения квантования поддиапазонов, кодированных с фиксированной скоростью.

ii. Генерирование выходных данных на основе сигнализированного способа, сигнализированных выборов, а затем сгруппированных поддиапазонов в зависимости от того, были ли они закодированы с использованием фиксированной скорости (с измененным разрешением квантования) или энтропийного способа.

b. В противном случае

i. Уменьшение выделенного количества битов, bits_dir1[0:N-1][0:М-1], чтобы сумма выделенных битов была равна количеству доступных битов, оставшихся после кодирования отношений энергии.

ii. Перекодирование для каждого поддиапазона i=1:N-1

1. Вычисление разрешенных битов для текущего поддиапазона: bits_allowed=sum(bits_dir1[i][0:M-1])

2. Кодирование индексов параметров направления путем использования кодирования с фиксированной скоростью с уменьшенным выделенным количеством битов, bits_fixed=bits_allowed, или использования энтропийного кодирования, bits_ec; выбор кодирования, который использует меньше битов, и использование одного бита, чтобы указать способ: nb=min(bits_fixed, bits_ес)+1;

3. Если есть доступные биты относительно разрешенных битов: (если diff=allowed_bits-nb>0)

а. Перераспределение разности, diff, на следующие поддиапазоны, путем обновления bits_dir1[i+1:N-1][0 M-1]

4. В противном случае

а. Вычитание одного бита из bits_dir1[i+1][0]

5. Конец условного оператора

iii. Конец цикла

iv. Кодирование индексов параметров направления для последнего поддиапазона с подходом с фиксированной скоростью с использованием битов bits_dir1[N-1][0:M-1].

c. Конец условного оператора

7. В противном случае

8. Генерирование выходных данных на основе сигнализированного способа, сигнализированных выборов, а затем сгруппированных поддиапазонов в зависимости от того, были ли они закодированы с использованием способа кодирования с фиксированной скоростью или способа энтропийного кодирования.

9. Конец

В некоторых реализациях оптимизация энтропийного кодирования значений угловой высоты и азимута может выполняться отдельно и более подробно описана ниже со ссылкой на фиг. 5 и 6.

Например, на фиг. 5 показан пример, в котором в некоторых вариантах осуществления изобретения применяется ряд проверок индексов и оптимизаций, чтобы попытаться уменьшить количество битов, необходимых для энтропийного кодирования индексов направления.

В некоторых вариантах осуществления изобретения определение индексов направления начинается, как показано на фиг. 5, с этапа 501. В этом примере биты, необходимые для энтропийного кодирования показанного определения индексов, представляют собой определение индекса угловой высоты. Однако, как описано ниже, аналогичный подход может быть применен к определению индекса азимута.

В некоторых вариантах осуществления изобретения отображение генерируют таким образом, что значение угловой высоты (или азимута), равное 0, имеет индекс 0, а возрастающие значения индекса назначаются возрастающим положительным и отрицательным значениям угловой высоты (азимута), как показано на фиг. 5 на этапе 503.

После генерирования отображения это отображение применяют к источникам звука (например, в форме генерирования вывода кодового слова на основе справочной таблицы), как показано на фиг. 5 на этапе 505.

После генерирования индексов в некоторых вариантах осуществления изобретения выполняют проверку, чтобы определить, все ли индексы расположены в пределах одной и той же полусферы, как показано на фиг. 5 на этапе 507.

Если все индексы расположены в пределах одной и той же полусферы, то значения индекса можно разделить на два (с округлением в большую сторону) и сгенерировать индикатор, указывающий, в пределах какой полусферы все индексы расположены, а затем энтропийно кодировать эти значения, как показано на фиг. 5 на этапе 509.

Если все индексы не расположены в пределах одной и той же полусферы, то к индексам можно применить энтропийное кодирование с удаленным средним. Энтропийное кодирование с удаленным средним может быть сконфигурировано так, чтобы сначала удалить среднее значение индекса для кодируемых подкадров, затем преобразовать индексы в положительные, а затем кодировать их с помощью подходящего энтропийного кодирования, такого как кодирование Голомба-Райса, как показано на фиг. 5 на этапе 510.

После применения энтропийного кодирования в некоторых вариантах осуществления изобретения можно применить проверку, чтобы определить, имеют ли все временные подкадры одно и то же значение или индекс угловой высоты (азимута), как показано на фиг. 5 на этапе 511.

Если все временные подкадры имеют одно и то же значение или индекс угловой высоты (азимута), то генерируют индикатор, указывающий множество значений или индексов угловой высоты (азимута), как показано на фиг. 5 на этапе 513, в противном случае способ переходит непосредственно к этапу 517.

Следующей операцией является предоставление количества битов, необходимых для энтропийно-кодированных индексов и любых битов индикатора, как показано на фиг. 5 на этапе 517.

Например, в отношении значений угловой высоты индекс угловой высоты может быть определен из кодовой книги в области [-90; 90], который формируется таким образом, что угловая высота со значением 0 возвращает кодовое слово с нулевым индексом и альтернативно назначает возрастающие индексы положительным и отрицательным кодовым словам, отстоящим от нулевого значения угловой высоты.

Так, например, в некоторых вариантах осуществления изобретения реализована кодовая книга с кодовыми словами {-90, -60, -30, 0, 30, 60, 90}, которая создает индексы {6, 4, 2, 0, 1, 3, 5}. Эта индексация дает индексы с меньшим значением для направлений, которые более вероятны в общем смысле (в практических примерах направления находятся вблизи экватора). Другое наблюдение заключается в том, что если источники звука находятся дальше от экватора, что соответствует индексам с более высокими значениями, они, как правило, все выше или все ниже экватора. В некоторых вариантах осуществления изобретения кодер может быть сконфигурирован для проверки того, находятся ли все источники звука выше (или все источники звука ниже) экватора, и если это так для всех временных подкадров для поддиапазона, то индексы делят на 2 для создания индексов с меньшим значением, которые могут быть более эффективно закодированы.

В некоторых вариантах осуществления изобретения оценка количества битов для индексов угловой высоты может быть реализована на языке С следующим образом:

Также проверяют и сигнализируют особый случай одинаковых значений угловой высоты для всех временных подкадров.

Функция mean_removed_GR() в приведенном выше примере сконфигурирована так, чтобы сначала удалить среднее значение индекса для кодируемых подкадров, затем преобразовать индексы в положительные, а затем кодировать их с помощью кодирования Голомба-Райса.

Это может быть реализовано, например, на языке С следующим образом:

Функция odd_even_mean_removed_GR() сконфигурирована так, чтобы сначала проверять, все ли индексы нечетные или все ли они четные, сигнализировать об их появлении и указывать тип (нечетный или четный), после чего кодировать деленные на 2 индексы.

В некоторых вариантах осуществления изобретения выполняют ряд операций оптимизации энтропийного кодирования, а затем выбирают наименьшее значение. Это, например, может быть проиллюстрировано в отношении кодирования значений азимута, как показано на фиг. 6. В некоторых вариантах осуществления изобретения определение индексов направления начинается, как показано на фиг. 6, на этапе 601.

В некоторых вариантах осуществления изобретения отображение генерируют таким образом, что значение азимута, равное 0, имеет индекс 0, а возрастающие значения индекса назначаются возрастающим положительным и отрицательным значениям азимута, как показано на фиг. 6 на этапе 503.

После генерирования отображения это отображение применяют к источникам звука (например, в форме генерирования вывода кодового слова на основе справочной таблицы), как показано на фиг. 6 на этапе 605.

В этом примере индекс азимута может быть определен из дополнительной кодовой книги. В этом примере нулевое значение азимута соответствует опорному направлению, которое может быть направлением вперед, положительные значения слева, а отрицательные значения справа. В этом примере индекс значения азимута назначается таким образом, что значениям (-150, -120, -90, -60, -30, 0, 30, 60, 90, 120, 150, 180) назначены следующие индексы (10, 8, 6, 4, 2, 0, 1, 3, 5, 7, 9, 11). В некоторых вариантах осуществления изобретения нечетный/четный подход может быть проверен для азимута (соответствующего левому/правому позиционированию).

В этом примере более высокие значения индекса назначаются значениям из задней стороны или задней части «среды захвата».

Кодирование индексов азимута подкадра в некоторых вариантах осуществления изобретения может выполняться на основе следующего:

1. Определение количества индексов азимута, которые должны быть закодированы для текущего поддиапазона (как показано на фиг. 6 на этапе 607).

2. Нахождение максимального количества символов для тайлов текущего поддиапазона (как показано на фиг. 6 на этапе 609).

3. Если символов больше, чем пороговое значение (как показано на фиг. 6, этап 611)

а. Кодирование (как показано на фиг. 6 на этапе 613) значений азимута путем проверки кодирования значений, заданных комплементарными значениями: no_symb-index_azimuth.

i. Оценка количества битов при кодировании индексов таким образом, как если бы они были впереди. Использование кодирования Голомба-Райса, селективного по порядку с удаленным средним. Порядок GR может быть 2 или 3. Порядок GR также может быть установлен на разные значения, в зависимости от диапазона по умолчанию для количества символов.

ii. Оценка количества битов при кодировании комплементарных индексов с использованием кодирования GR, селективного по порядку с удаленным средним.

iii. Использование способа кодирования, который использует меньшее количество битов, и использование бита, чтобы указать, какой способ используется.

4. В противном случае

а. Кодирование индексов азимута путем использования кодирования GR с удаленным средним с порядком 1 или 2 (как показано на фиг. 6 на этапе 615).

5. Конец

6. Проверка, дает ли кодирование GR с удаленным минимумом лучший результат, и лучше ли использовать его (как показано на фиг. 6 на этапе 617). На языке С код выглядит следующим образом:

На фиг. 7 показан пример модуля 137 извлечения метаданных, подходящего для декодирования кодированных метаданных, кодированных кодером, как показано на фиг. 2.

Модуль 137 извлечения метаданных в некоторых вариантах осуществления изобретения содержит демультиплексор 701, сконфигурированный для приема кодированных сигналов и вывода кодированных значений отношения энергии в декодер 703 отношения энергии, а также вывода битов сигнализации в детектор 705 режима энтропийного кодирования и в детектор 707 поддиапазона, и кодированных индексов в декодер 709 индексов.

Модуль 137 извлечения метаданных, кроме того, может содержать декодер 703 отношения энергии, сконфигурированный для приема и декодирования кодированных отношений энергии, чтобы генерировать декодированные отношения энергии. Декодированные отношения 704 энергии могут быть выведены. Кроме того, декодер 703 отношения энергии может генерировать значение 708 разрешения квантования на основе отношения энергии на основе кодированного значения отношения энергии и передавать его в декодер индекса и преобразователь 711 значения индекса направления в значение направления (AZ/EL).

Модуль 137 извлечения метаданных, кроме того, может содержать детектор 705 режима энтропийного кодирования (ЕС). Детектор режима ЕС может считывать первый бит в блоке, который указывает, был ли весь блок закодирован в режиме с фиксированной скоростью (другими словами, содержит ли блок кодированные значения индекса, и, следовательно, нет необходимости в энтропийном декодировании) или было ли для этого блока реализовано гибридное энтропийное кодирование с фиксированной скоростью.

Таким образом, детектор 705 режима энтропийного кодирования может быть сконфигурирован для управления декодером 709 индекса на основе первого бита (индикатора режима).

Модуль 137 извлечения метаданных, кроме того, может содержать детектор 707 поддиапазона. Детектор 707 поддиапазона может считывать следующие биты (например, если имеется 5 поддиапазонов, имеется 5 битов) в блоке, который указывает для блока, какие поддиапазоны были закодированы согласно способу кодирования с фиксированной скоростью, а какие поддиапазоны были закодированы согласно способу энтропийного кодирования.

Таким образом, детектор 707 поддиапазона может быть сконфигурирован для управления декодером 709 индекса на основе считанных битов (индикаторов поддиапазона).

Модуль 137 извлечения метаданных, кроме того, может содержать декодер 709 индекса. Декодер 709 индекса, получивший кодированные значения метаданных для поддиапазонов, может управляться детектором 707 поддиапазона и детектором 705 энтропийного режима.

Таким образом, например, декодер 709 индекса может быть сконфигурирован для декодирования кодированных с фиксированной скоростью значений метаданных, когда индикатор режима указывает, что гибридный режим отключен.

Кроме того, декодер 709 индекса может быть сконфигурирован для декодирования энтропийно-кодированных поддиапазонов на основе индикаторов поддиапазонов. После считывания и декодирования значений энтропии определяется разность между доступными битами и считанными битами (битами индикатора и битами энтропийно-кодированного индекса направления). Декодер 709 индекса также сконфигурирован для определения того, меньше ли разность, чем количество битов, требуемых для кодирования с фиксированной скоростью оставшихся кодированных поддиапазонов, на основе значения 708 разрешения квантования на основе отношения энергии (bits_available-bits_read)<sum(bits_dir0[i][j]), где i=индекс поддиапазона, кодированного с фиксированной скоростью, и j=0:M-1.

Если разность меньше количества битов, назначенных на основе значения 708 разрешения квантования на основе отношения энергии, то декодер индекса сконфигурирован для определения того, было ли кодирование реализовано с использованием изменения разрешения квантования для поддиапазонов с фиксированной скоростью, и декодирование выполняется в поддиапазонах с фиксированной скоростью на основе уменьшенных разрешений квантования, определенных таким же образом, как реализовано в кодере. Если разность корректна, то для декодирования поддиапазонов с фиксированной скоростью используется исходное разрешение.

Затем могут быть выведены декодированные параметры 712 направления. Таким образом, в некоторых вариантах осуществления изобретения может быть два уровня уменьшения.

Более точный уровень уменьшения (когда разность достаточно мала), который сигнализируется следующим образом:

Исходное количество битов для каждого частотно-временного блока определяется коэффициентом квантования энергии. Во-первых, сигнализируется, использует ли поддиапазон ЕС или кодирование с фиксированной скоростью. Поддиапазоны, которые закодированы ЕС, были записаны первыми, поэтому при их чтении известно, сколько битов они использовали. Также известно количество доступных битов и заранее заданное количество битов для поддиапазонов, кодируемых с фиксированной скоростью. Если заранее заданное количество битов + биты энтропийно-кодированных поддиапазонов укладываются в доступные биты, все хорошо, уменьшения нет; в противном случае есть небольшое уменьшение.

Более грубое или «жесткое» уменьшение, при котором один бит в начале передается для указания декодеру на то, уменьшается ли выделение битов до количества доступного предела битов или нет (соответствует этапу 411).

На фиг. 8, например, показана работа модуля извлечения метаданных, как показано на фиг. 7, в виде блок-схемы.

Таким образом, способ включает прием кодированных данных, как показано на фиг. 8 на этапе 801.

Кодированные данные демультиплексируют, как показано на фиг. 8, на этапе 803.

Затем считывают бит сигнализации режима ЕС, чтобы определить, применялся ли способ гибридного энтропийного кодирования, и определить, применялось ли кодирование в точном режиме ЕС (или в грубом режиме ЕС), как показано на фиг. 8, на этапе 805.

Там, где бит сигнализации режима ЕС указывает, что было применено грубое уменьшение скорости, декодирование выполняют только на основе декодирования, основанного на уменьшении скорости (в некоторых вариантах осуществления изобретения реализуют разрешение квантования отношения энергии с грубым уменьшением скорости), как показано на фиг. 8 на этапе 806.

Если бит сигнализации режима ЕС указывает на то, что использовалось гибридное энтропийное кодирование и кодирование с фиксированной скоростью и что требовалось точное уменьшение скорости (изменение только разрешения квантования) или уменьшение скорости не требовалось, то следующая операция - это операция считывания битов сигнализации поддиапазона для определения, какие поддиапазоны были закодированы энтропийным кодированием, а какие поддиапазоны были закодированы с фиксированной скоростью, как показано на фиг. 8 на этапе 807.

Биты сгруппированного энтропийно-кодированного поддиапазона считывают и декодируют, генерируя индексы направления, которые могут быть преобразованы в направления на основе исходного разрешения квантования отношения энергии, как показано на фиг. 8 на этапе 809.

Следующая операция заключается в определении того, меньше ли разность между битами, доступными для блока, и считанными битами (битами сигнализации и энтропийно-кодированными битами), чем количество битов, необходимых для кодирования оставшихся битов с фиксированной скоростью в соответствии с исходным разрешением квантования отношения энергии, как показано на фиг. 8 на этапе 811.

Если разность меньше требуемого количества битов, то декодирование может быть выполнено при кодировании с «точным» уменьшением скорости на основе способа измененного разрешения квантования, как показано на фиг. 8 на этапе 813.

Если разность не меньше (или равна) требуемому количеству битов, то декодирование может быть выполнено на основе кодирования, основанного на исходном способе разрешения квантования, как показано на фиг. 8 на этапе 812.

На фиг. 9 показан пример электронного устройства, которое можно использовать в качестве устройства для анализа или синтеза. Устройство может быть любым подходящим электронным устройством или оборудованием. Например, в некоторых вариантах осуществления изобретения устройство 1400 представляет собой мобильное устройство, пользовательское оборудование, планшетный компьютер, компьютер, устройство воспроизведения звука и т.д.

В некоторых вариантах осуществления изобретения устройство 1400 содержит по меньшей мере один процессор или центральный процессор 1407. Процессор 1407 может быть сконфигурирован для выполнения различных программных кодов, например, способов, описанных в данном документе.

В некоторых вариантах осуществления изобретения устройство 1400 содержит память 1411. В некоторых вариантах осуществления изобретения по меньшей мере один процессор 1407 соединен с памятью 1411. Память 1411 может быть любым подходящим средством хранения. В некоторых вариантах осуществления изобретения память 1411 содержит секцию программного кода для хранения программных кодов, реализуемых процессором 1407. Кроме того, в некоторых вариантах осуществления изобретения память 1411 может также содержать секцию хранимых данных для хранения данных, например данных, которые были обработаны или должны быть обработаны в соответствии с вариантами осуществления изобретения, как описано здесь. Реализованный программный код, хранящийся в секции программного кода, и данные, хранящиеся в секции сохраненных данных, могут быть извлечены процессором 1407 всякий раз, когда это необходимо, через соединение память-процессор.

В некоторых вариантах осуществления изобретения устройство 1400 содержит пользовательский интерфейс 1405. В некоторых вариантах осуществления изобретения пользовательский интерфейс 1405 может быть связан с процессором 1407. В некоторых вариантах осуществления изобретения процессор 1407 может управлять работой пользовательского интерфейса 1405 и принимать входные данные от пользовательского интерфейса 1405. В некоторых вариантах осуществления изобретения пользовательский интерфейс 1405 может позволять пользователю вводить команды в устройство 1400, например, с помощью клавиатуры. В некоторых вариантах осуществления изобретения пользовательский интерфейс 1405 может позволить пользователю получать информацию от устройства 1400. Например, пользовательский интерфейс 1405 может содержать дисплей, сконфигурированный для отображения информации от устройства 1400 пользователю. Пользовательский интерфейс 1405 может в некоторых вариантах осуществления изобретения содержать сенсорный экран или сенсорный интерфейс, способный как обеспечивать возможность ввода информации в устройство 1400, так и отображать информацию для пользователя устройства 1400. В некоторых вариантах осуществления изобретения пользовательский интерфейс 1405 может быть пользовательским интерфейсом для связи с модулем определения положения, как описано здесь.

В некоторых вариантах осуществления изобретения устройство 1400 содержит порт 1409 ввода/вывода. Порт 1409 ввода/вывода в некоторых вариантах осуществления изобретения содержит приемопередатчик. Приемопередатчик в таких вариантах осуществления изобретения может быть соединен с процессором 1407 и сконфигурирован для обеспечения связи с другим устройством или электронными устройствами, например, через сеть беспроводной связи. Приемопередатчик или любой подходящий приемопередатчик или передатчик и/или средство приема в некоторых вариантах осуществления изобретения могут быть сконфигурированы для связи с другими электронными устройствами или оборудованием через проводное соединение или проводную связь.

Приемопередатчик может обмениваться данными с другими устройствами по любому подходящему известному протоколу связи. Например, в некоторых вариантах осуществления изобретения приемопередатчик может использовать подходящий протокол универсальной системы мобильной связи (UMTS, universal mobile telecommunications system), протокол беспроводной локальной сети (WLAN, wireless local area network), такой как, например, IEEE 802.X, подходящий протокол радиочастотной связи ближнего действия, такой как Bluetooth, или инфракрасный канал передачи данных (IRDA, infrared data communication pathway).

Порт 1409 ввода/вывода приемопередатчика может быть сконфигурирован для приема сигналов и, в некоторых вариантах осуществления изобретения, для определения параметров, как описано здесь, с использованием процессора 1407, исполняющего подходящий код.

В общем, различные варианты осуществления изобретения могут быть реализованы в аппаратном обеспечении или схемах специального назначения, программном обеспечении, логических схемах или любой их комбинации. Например, некоторые аспекты могут быть реализованы в аппаратном обеспечении, в то время как другие аспекты могут быть реализованы во встроенном программном обеспечении или программном обеспечении, которое может выполняться контроллером, микропроцессором или другим вычислительным устройством, хотя изобретение этим не ограничивается. Хотя различные аспекты изобретения могут быть проиллюстрированы и описаны в виде структурных схем, блок-схем или с использованием какого-либо другого графического представления, понятно, что эти блоки, устройства, системы, приемы или способы, описанные в настоящем документе, могут быть реализованы, в качестве неограничивающих примеров, в аппаратном обеспечении, в программном обеспечении, во встроенном программном обеспечении, в схемах специального назначения или логических схемах, в аппаратном обеспечении общего назначения или контроллере или других вычислительных устройствах, или их комбинации.

Варианты осуществления настоящего изобретения могут быть реализованы компьютерным программным обеспечением, исполняемым процессором данных мобильного устройства, таким как процессор, или аппаратным обеспечением, или комбинацией программного и аппаратного обеспечения. Далее в этом отношении следует отметить, что любые блоки логического потока, как показано на чертежах, могут представлять собой шаги программы, или взаимосвязанные логические схемы, блоки и функции, или комбинацию шагов программы и логических схем, блоков и функций. Программное обеспечение может храниться на таких физических носителях, как микросхемы памяти или блоки памяти, встроенные в процессор, на магнитных носителях, таких как жесткий диск или дискеты, и на оптических носителях, таких как, например, DVD и его варианты, CD.

Память может быть любого типа, подходящего для местной технической среды, и может быть реализована с использованием любой подходящей технологии хранения данных, например, посредством устройств памяти на основе полупроводников, устройств и систем магнитной памяти, устройств и систем оптической памяти, стационарной памяти и съемной памяти. Процессоры данных могут быть любого типа, подходящего для местной технической среды, и могут включать один или более компьютеров общего назначения, компьютеров специального назначения, микропроцессоров, цифровых сигнальных процессоров (DSP, digital signal processor), специализированных интегральных схем (ASIC, application specific integrated circuit), схем уровня вентиля и процессоров, основанных на архитектуре многоядерных процессоров, в качестве неограничивающих примеров.

Варианты осуществления изобретения могут быть реализованы в различных компонентах, таких как модули интегральных схем. Проектирование интегральных схем в целом представляет собой высокоавтоматизированный процесс. Доступны сложные и мощные программные инструменты для преобразования схемы логического уровня в разводку полупроводниковой схемы, готовую для травления и формирования на полупроводниковой подложке.

Программы, например, предоставленные компаниями Synopsys, Inc. из Маунтин-Вью, Калифорния, и Cadence Design, из Сан-Хосе, Калифорния, автоматически прокладывают проводники и размещают компоненты на полупроводниковом кристалле, используя общепринятые правила проектирования, а также библиотеки заранее сохраненных модулей проектирования. Как только разработка полупроводниковой схемы завершена, результирующая конструкция в стандартизированном электронном формате (например, Opus, GDSII и т.п.) может быть передана на предприятие по производству полупроводников или «фабрику» для изготовления.

Выше посредством иллюстративных и неограничивающих примеров было представлено полное описание иллюстративного варианта осуществления настоящего изобретения. Однако специалистам в соответствующих областях техники могут быть очевидны различные модификации и приспособления с учетом приведенного выше описания, после его прочтения вместе с прилагаемыми чертежами и формулой изобретения. Тем не менее, все такие модификации принципов настоящего изобретения находятся в пределах объема изобретения, определенного прилагаемой формулой изобретения.

Настоящее изобретение относится к устройству и способам кодирования параметров, связанных со звуковым полем. Устройство содержит средства, сконфигурированные для генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования; сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов; вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога; генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога. Технический результат заключается в возможности получения наиболее эффективного разрешения квантования для кодирования пространственных аудиопараметров. 4 н. и 13 з.п. ф-лы, 11 ил.

1. Устройство для кодирования параметров пространственного звука, содержащее средства, сконфигурированные для:

генерирования параметров метаданных направления пространственного звукового сигнала для частотно-временного блока;

генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования;

сравнения количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов;

вывода или сохранения кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов;

генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, находится в пределах заданного порога;

генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяется таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

2. Устройство по п. 1, в котором средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, сконфигурировано для:

определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса;

генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе упомянутого отображения с использованием первого разрешения квантования;

кодирования, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

3. Устройство по п. 2, в котором средство, сконфигурированное для определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, сконфигурировано для определения первого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

4. Устройство по любому из пп. 2, 3, в котором средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, находится в пределах заданного порога, сконфигурировано для:

определения второго разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса;

генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала, которые были закодированы с фиксированной скоростью с использованием первого разрешения квантования.

5. Устройство по п. 4, в котором средство также сконфигурировано для вывода или сохранения:

энтропийно-кодированных индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием первого разрешения квантования для параметров метаданных направления пространственного звукового сигнала; и

кодированных с фиксированной скоростью индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием второго разрешения квантования для параметров метаданных направления пространственного звукового сигнала.

6. Устройство по п. 5, в котором средство также сконфигурировано для упорядочения кодированных индексов таким образом, что энтропийно-кодированные индексы предшествуют индексам, кодированным с фиксированной скоростью.

7. Устройство по любому из пп. 1-6, в котором средство также сконфигурировано для генерирования индикатора, когда используется первое или второе разрешение квантования.

8. Устройство по любому из пп. 1-7, в котором средство, сконфигурированное для генерирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, сконфигурировано для:

определения третьего разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса на основе того, что количество битов, используемых для кодирования с фиксированной скоростью с использованием третьего разрешения квантования, всегда равно или меньше заданного количества битов;

генерирования индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, на основе отображения с использованием третьего разрешения квантования; и

кодирования, по выбору, индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

9. Устройство по п. 8, в котором средство также сконфигурировано для вывода кодированных по выбору индексов с использованием кодирования с фиксированной скоростью или энтропийного кодирования на основе того, использует ли кодирование с фиксированной скоростью или энтропийное кодирование меньшее количество битов.

10. Устройство по любому из пп. 1-9, в котором средство также сконфигурировано для генерирования индикатора, когда определено третье разрешение квантования.

11. Устройство для декодирования параметров пространственного звука, содержащее средства, сконфигурированные для:

приема кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока;

приема индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов;

декодирования кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и,

когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, средство сконфигурировано для:

декодирования первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, причем первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования;

декодирования, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирования второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.

12. Устройство по п. 11, в котором средство также сконфигурировано для определения упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

13. Устройство по п. 12, в котором средство, сконфигурированное для определения упомянутого другого разрешения квантования для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса, сконфигурировано для определения упомянутого другого разрешения квантования на основе значения отношения энергии, связанного с параметром метаданных направления пространственного звукового сигнала.

14. Устройство по любому из пп. 11-13, в котором средство также сконфигурировано для определения уменьшенного разрешения квантования битов для отображения между значениями параметра метаданных направления пространственного звукового сигнала и значением индекса.

15. Устройство по любому из пп. 11-14, в котором средство сконфигурировано для генерирования отображения из индексов, связанных с параметрами метаданных направления пространственного звукового сигнала, в значение угловой высоты и/или значение азимута на основе разрешения квантования.

16. Способ кодирования параметров пространственного звука, включающий:

генерирование параметров метаданных направления пространственного звукового сигнала для частотно-временного блока;

генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования;

сравнение количества битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, с заданным количеством битов;

вывод или сохранение кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов;

генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе второго разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, меньше заданного количества битов и находится в пределах заданного порога;

генерирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, когда количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного количества битов и разность между заданным количеством битов и количеством битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе первого разрешения квантования, больше заданного порога, при этом третье разрешение квантования определяют таким образом, что количество битов, используемых для кодированных параметров направления пространственного звукового сигнала для частотно-временного блока на основе третьего разрешения квантования, всегда равно или меньше заданного количества битов.

17. Способ декодирования параметров пространственного звука, включающий:

прием кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока;

прием индикатора, сконфигурированного для идентификации того, были ли закодированы кодированные параметры метаданных направления пространственного звукового сигнала на основе разрешения квантования, которое всегда равно или меньше заданного количества битов;

декодирование кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов; и,

когда индикатор идентифицирует, что кодированные параметры метаданных направления пространственного звукового сигнала не были закодированы на основе разрешения квантования, которое всегда равно или меньше заданного количества битов, способ включает:

декодирование первой части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе другого разрешения квантования, причем первая часть содержит энтропийно-кодированные параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования;

декодирование, когда разность между заданным количеством битов и количеством битов, используемых для кодирования первой части, меньше количества битов, необходимых для кодирования второй части кодированных параметров метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования, второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе уменьшенного разрешения квантования битов, в противном случае декодирование второй части, содержащей кодированные с фиксированной скоростью параметры метаданных направления пространственного звукового сигнала для частотно-временного блока на основе упомянутого другого разрешения квантования.