СПОСОБ И УСТРОЙСТВО ДЛЯ СЖАТИЯ И ВОССТАНОВЛЕНИЯ ПРЕДСТАВЛЕНИЯ СИСТЕМЫ АМБИСОНИК ВЫСШЕГО ПОРЯДКА ДЛЯ ЗВУКОВОГО ПОЛЯ Российский патент 2024 года по МПК G10L19/08 

Изобретение относится к способу и к устройству для сжатия и восстановления представления системы Амбисоник высшего порядка для звукового поля.

Уровень техники

Система Амбисоник высшего порядка, обозначаемая HOA, предлагает один способ представления трехмерного звука. Другими способами являются синтез волнового поля (WFS) или основанные на каналах способы, как, например, 22.2. В отличие от основанных на каналах способов, представление HOA предлагает преимущество, что оно является независимым от конкретной системы громкоговорителей. Эта гибкость, однако, обеспечивается за счет обработки декодирования, которая требуется для проигрывания представления HOA на конкретной системе громкоговорителей. По сравнению с подходом WFS, где количество требуемых громкоговорителей является обычно очень большим, HOA также может воспроизводиться на системах, состоящих только из нескольких громкоговорителей. Дополнительное преимущество HOA состоит в том, что одно и то же представление также может использоваться без какой-либо модификации для бинаурального воспроизведения в наушниках.

HOA основывается на представлении пространственной плотности комплексных амплитуд гармонических плоских волн посредством усеченного разложения по сферическим гармоникам (SH). Каждый коэффициент разложения является функцией угловой частоты, который может быть эквивалентным образом представлен посредством функции временной области. Следовательно, без потери общности, может предполагаться, что полное представление звукового поля HOA фактически состоит из функций временной области, где обозначает количество коэффициентов разложения. Эти функции временной области в последующем будут эквивалентным образом упоминаться как последовательности коэффициентов HOA.

Пространственное разрешение представления HOA улучшается с ростом максимального порядка разложения. К сожалению, количество коэффициентов разложения растет квадратично с порядком , в частности, . Например, обычные представления HOA, использующие порядок , требуют коэффициентов (разложения) HOA. Согласно вышеизложенным рассмотрениям, полный битрейт (частота следования битов) для передачи представления HOA, при заданных требуемой одноканальной частоте дискретизации и количестве бит в расчете на выборку, определяется посредством . Передача представления HOA порядка с частотой дискретизации = 48 кГц с использованием бит в расчете на выборку дает результатом битрейт, равный 19.2 Мбит/с, что является очень высоким для многих практических применений, например, потоковой передачи. Поэтому сжатие представлений HOA является в высшей степени предпочтительным.

Изобретение

Существующие способы, обращающиеся к сжатию представлений HOA (с ), являются достаточно редкими. Наиболее прямой подход, которому следуют в E. Hellerud, I. Burnett, A Solvang and U.P. Svensson, "Encoding Higher Order Ambisonics with AAC", 124^th AES Convention, Amsterdam, 2008, состоит в том, чтобы выполнять прямое кодирование индивидуальных последовательностей коэффициентов HOA с использованием улучшенного кодирования аудио (AAC), которое является алгоритмом перцепционного кодирования. Однако присущей проблемой для этого подхода является перцепционное кодирование сигналов, которые никогда не прослушиваются. Реконструированные сигналы проигрывания обычно получаются посредством взвешенной суммы последовательностей коэффициентов HOA, и имеется высокая вероятность для размаскирования шума перцепционного кодирования, когда восстановленное представление HOA воспроизводится на конкретной системе громкоговорителей. Большой проблемой для размаскирования шума перцепционного кодирования являются высокие взаимные корреляции между индивидуальными последовательностями коэффициентов HOA. Так как сигналы шума кодирования в индивидуальных последовательностях коэффициентов HOA являются обычно некоррелированными друг с другом, может происходить конструктивная суперпозиция шума перцепционного кодирования при том, что в то же время свободные от шума последовательности коэффициентов HOA удаляются при суперпозиции. Дополнительная проблема состоит в том, что эти взаимные корреляции ведут к уменьшенной эффективности перцепционных кодеров.

Чтобы минимизировать степень обоих эффектов, в EP 2469742 A2 предложено преобразовывать представление HOA в эквивалентное представление в дискретной пространственной области до перцепционного кодирования. Формально, эта дискретная пространственная область является эквивалентом временной области пространственной плотности комплексных амплитуд гармонических плоских волн, дискретизированной в некоторых дискретных направлениях. Дискретная пространственная область, таким образом, представляется посредством стандартных сигналов временной области, которые могут интерпретироваться как общие плоские волны, сталкивающиеся из направлений дискретизации, и соответствуют сигналам громкоговорителей, если громкоговорители расположены в точности в таких же направлениях, что и направления, предполагаемые для преобразования пространственной области.

Преобразование в дискретную пространственную область уменьшает взаимные корреляции между индивидуальными сигналами пространственной области, но эти взаимные корреляции полностью не устраняются. Примером для относительно высоких взаимных корреляций является направленный сигнал, чье направление попадает между смежными направлениями, охватываемыми сигналами пространственной области.

Основной недостаток обоих подходов состоит в том, что количество перцепционно кодированных сигналов равняется , и скорость данных для сжатого представления HOA растет квадратично с порядком системы Амбисоник .

Чтобы уменьшать количество перцепционно кодированных сигналов, патентная заявка EP 2665208 A1 предлагает разложение представления HOA на заданное максимальное количество доминирующих направленных сигналов и остаточную окружающую компоненту. Уменьшение количества сигналов, подлежащих перцепционному кодированию, достигается посредством уменьшения порядка остаточной окружающей компоненты. Логическое обоснование за этим подходом состоит в том, чтобы сохранять высокое пространственное разрешение по отношению к доминирующим направленным сигналам при представлении остатка с достаточной точностью посредством представления HOA более низкого порядка.

Этот подход работает достаточно хорошо до тех пор, пока предположения о звуковом поле удовлетворяются, т.е. что оно состоит из малого количества доминирующих направленных сигналов (представляющих функции общих плоских волн, кодированные с использованием полного порядка N) и остаточной окружающей компоненты без какой-либо направленности. Однако, если последующее разложение остаточной окружающей компоненты все еще содержит некоторые доминирующие направленные компоненты, уменьшение порядка вызывает ошибки, которые воспринимаются различным образом при воспроизведении после восстановления. Обычными примерами представлений HOA, где предположения нарушаются, являются общие плоские волны, кодированные в порядке, более низком, чем N. Такие общие плоские волны порядка, более низкого, чем N, могут проистекать из авторского создания, чтобы делать, чтобы источники звука проявлялись более широко, и также могут происходить при записи представлений звукового поля HOA посредством сферических микрофонов. В обоих примерах звуковое поле представляется посредством большого количества высоко коррелированных сигналов пространственной области (см. также раздел Пространственное разрешение системы Амбисоник высшего порядка для объяснения).

Проблема, подлежащая решению посредством изобретения, состоит в том, чтобы устранить недостатки, результирующие из обработки, описанной в патентной заявке EP 2665208 A1, чтобы, тем самым, также избежать вышеописанных недостатков другого процитированного предшествующего уровня техники.

Эта проблема решается посредством способов, раскрытых в пунктах 1 и 3. Соответствующие устройства, которые используют эти способы, раскрыты в пунктах 2 и 4.

Изобретение улучшает обработку сжатия представления звукового поля HOA, описанную в патентной заявке EP 2665208 A1. Сначала, как и в EP 2665208 A1, представление HOA анализируется на присутствие доминирующих источников звука, чьи направления оцениваются. Со знанием направлений доминирующих источников звука, представление HOA разлагается на некоторое количество доминирующих направленных сигналов, представляющих общие плоские волны, и остаточную компоненту. Однако вместо немедленного уменьшения порядка этой остаточной компоненты HOA, она преобразуется в дискретную пространственную область, чтобы получать функции общих плоских волн в равномерных направлениях дискретизации, представляющие остаточную компоненту HOA. После этого эти функции плоских волн предсказываются из доминирующих направленных сигналов. Причина для этой операции состоит в том, что части остаточной компоненты HOA могут быть высоко коррелированными с доминирующими направленными сигналами.

Это предсказание может быть простым предсказанием, чтобы вырабатывать только малую величину дополнительной (побочной) информации. В наиболее простом случае предсказание состоит из соответствующего масштабирования и задержки. В заключение ошибка предсказания преобразуется назад в область HOA и рассматривается как остаточная окружающая компонента HOA, для которой выполняется уменьшение порядка. Предпочтительно, эффект вычитания предсказуемых сигналов из остаточной компоненты HOA состоит в том, чтобы уменьшать ее полную мощность также как оставшуюся величину доминирующих направленных сигналов и, этим способом, уменьшать ошибку разложения, результирующую из уменьшения порядка.

В принципе, новый способ сжатия подходит для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутый способ включает в себя этапы:

- из текущего временного кадра коэффициентов HOA, оценку направлений доминирующих источников звука;

- в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, разложение упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;

- уменьшение текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;

- декоррелирование упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;

- перцепционное кодирование упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.

В принципе новое устройство сжатия является подходящим для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутое устройство включает в себя:

- средство, которое выполнено с возможностью оценки направлений доминирующих источников звука из текущего временного кадра коэффициентов HOA;

- средство, которое выполнено с возможностью разложения, в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;

- средство, которое выполнено с возможностью уменьшения текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;

- средство, которое выполнено с возможностью декоррелирования упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;

- средство, которое выполнено с возможностью перцепционного кодирования упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.

В принципе, новый способ восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутый способ восстановления включает в себя этапы:

- перцепционное декодирование упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

- повторную корреляцию упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

- увеличение порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;

- с использованием упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание, конструирование соответствующего восстановленного и реконструированного кадра коэффициентов HOA.

В принципе новое устройство восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутое устройство восстановления включает в себя:

- средство, которое выполнено с возможностью перцепционного декодирования упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

- средство, которое выполнено с возможностью повторной корреляции упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

- средство, которое выполнено с возможностью увеличения порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;

- средство, которое выполнено с возможностью конструирования соответствующего восстановленного и реконструированного кадра коэффициентов HOA посредством использования упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание.

Предпочтительные дополнительные варианты осуществления изобретения раскрыты в соответствующих зависимых пунктах формулы изобретения.

Чертежи

Иллюстративные варианты осуществления изобретения описаны со ссылкой на сопровождающие чертежи, которые показывают:

Фиг. 1a - этап 1 сжатия: разложение сигнала HOA на некоторое количество доминирующих направленных сигналов, остаточную окружающую компоненту HOA и дополнительную информацию;

Фиг. 1b - этап 2 сжатия: уменьшение порядка и декоррелирование для окружающей компоненты HOA и перцепционное кодирование обоих компонент;

Фиг. 2a - этап 1 восстановления: перцепционное декодирование сигналов временной области, повторная корреляция сигналов, представляющих остаточную окружающую компоненту HOA, и увеличение порядка;

Фиг. 2b - этап 2 восстановления: конструирование полного представления HOA;

Фиг. 3 - разложение HOA;

Фиг. 4 - конструирование HOA;

Фиг. 5 - сферическая система координат.

Иллюстративные варианты осуществления

Обработка сжатия

Обработка сжатия согласно изобретению включает в себя два последовательных этапа, проиллюстрированных на фиг. 1a и фиг. 1b, соответственно. Точные определения индивидуальных сигналов описаны в разделе Подробное описание разложения и реконструкции HOA. Используется по-кадровая обработка для сжатия с неперекрывающимися входными кадрами последовательностей коэффициентов HOA длины , где k обозначает индекс кадра. Кадры определяются по отношению к последовательностям коэффициентов HOA, определенным в уравнении (42) как

(1)

где обозначает период дискретизации.

На фиг. 1a, кадр последовательностей коэффициентов HOA вводится в этап или стадию 11 оценки направлений доминирующих источников звука, который анализирует представление HOA на присутствие доминирующих направленных сигналов, чьи направления оцениваются. Оценка направления может выполняться, например, посредством обработки, описанной в патентной заявке EP 2665208 A1. Оцененные направления обозначаются посредством , где обозначает максимальное количество оценок направлений. Предполагается, что они располагаются в матрице как

(2).

Неявно предполагается, что оценки направлений подходящим образом упорядочены посредством назначения их оценкам направлений из предыдущих кадров. Следовательно, предполагается, что временная последовательность индивидуальной оценки направления описывает направленную траекторию доминирующего источника звука. В частности, если предполагается, что d-ый доминирующий источник звука не является активным, является возможным указать это посредством назначения недействительного значения для . Затем, используя оцененные направления в , представление HOA разлагается на этапе или стадии 12 разложения на некоторое количество максимум доминирующих направленных сигналов , некоторые параметры , описывающие предсказание сигналов пространственной области остаточной компоненты HOA из доминирующих направленных сигналов, и окружающую компоненту HOA , представляющую ошибку предсказания. Подробное описание этого разложения обеспечивается в разделе Разложение HOA.

На фиг. 1b показано перцепционное кодирование направленных сигналов и остаточной окружающей компоненты HOA . Направленные сигналы являются стандартными сигналами временной области, которые могут индивидуально сжиматься с использованием любого существующего способа перцепционного сжатия. Сжатие окружающей компоненты области HOA выполняется в двух последовательных этапах или стадиях. На этапе или стадии 13 уменьшения порядка выполняется уменьшение до порядка системы Амбисоник , где, например, , что дает результатом окружающую компоненту HOA . Такое уменьшение порядка выполняется посредством удержания в только коэффициентов HOA и отбрасывания других. На стороне декодера, как описано ниже, для опущенных значений добавляются соответствующие нулевые значения.

Следует отметить, что, по сравнению с подходом в патентной заявке EP 2665208 A1, уменьшенный порядок может, в общем, выбираться более малым, так как полная мощность также как оставшаяся величина направленности остаточной окружающей компоненты HOA является более малой. Поэтому уменьшение порядка вызывает более малые ошибки по сравнению с EP 2665208 A1.

На последующем этапе или стадии 14 декоррелирования, последовательности коэффициентов HOA, представляющие окружающую компоненту HOA с уменьшенным порядком, декоррелируются, чтобы получать сигналы временной области , которые вводятся в (набор из) параллельные перцепционные кодеры или модули 15 сжатия, работающие согласно любому известному способу перцепционного сжатия. Декоррелирование выполняется, чтобы избегать размаскирования шума перцепционного кодирования при воспроизведении представления HOA, следующем за его восстановлением (см. патентную заявку EP 12305860.4 для объяснения). Приблизительное декоррелирование может достигаться посредством преобразования в эквивалентных сигналов в пространственной области посредством применения сферического гармонического преобразования, как описано в EP 2469742 A2.

Альтернативно, может использоваться адаптивное сферическое гармоническое преобразование, как предложено в патентной заявке EP 12305861.2, где сетка направлений дискретизации вращается, чтобы достигать наилучшего возможного эффекта декоррелирования. Дополнительным альтернативным способом декоррелирования является преобразование Карунена-Лоэва (KLT), описанное в патентной заявке EP 12305860.4. Следует отметить, что для упомянутых последних двух типов декоррелирования должен обеспечиваться некоторый тип дополнительной информации, обозначенной посредством , чтобы обеспечивать возможность обращения декоррелирования на стадии восстановления HOA.

В одном варианте осуществления перцепционное сжатие всех сигналов временной области и выполняется совместно, чтобы улучшать эффективность кодирования.

Вывод перцепционного кодирования является сжатыми направленными сигналами и сжатыми окружающими сигналами временной области .

Обработка восстановления

Обработка восстановления показана на фиг. 2a и фиг. 2b. Подобно сжатию, она состоит из двух последовательных этапов. На фиг. 2a перцепционное восстановление направленных сигналов и сигналов временной области , представляющих остаточную окружающую компоненту HOA, выполняется на этапе или стадии 21 перцепционного декодирования или восстановления. Результирующие перцепционно восстановленные сигналы временной области повторно коррелируются на этапе или стадии 22 повторной корреляции, чтобы обеспечивать представление HOA остаточной компоненты порядка . Необязательно, повторная корреляция может выполняться обратным способом, как описано для упомянутых двух альтернативных обработок, описанных для этапа/стадии 14, с использованием переданных или сохраненных параметров в зависимости от способа декоррелирования, который использовался. После этого, из оценивается соответствующее представление HOA порядка на этапе или стадии 23 увеличения порядка посредством увеличения порядка. Увеличение порядка достигается посредством добавления соответствующих строк 'нулевых значений' к , тем самым предполагается, что коэффициенты HOA по отношению к более высоким порядкам имеют нулевые значения.

На фиг. 2b, полное представление HOA реконструируется на этапе или стадии 24 конструирования из восстановленных доминирующих направленных сигналов вместе с соответствующими направлениями и параметрами предсказания , также как из остаточной окружающей компоненты HOA , что дает результатом восстановленный и реконструированный кадр коэффициентов HOA.

В случае, когда перцепционное сжатие всех сигналов временной области и выполняется совместно, чтобы улучшать эффективность кодирования, перцепционное восстановление сжатых направленных сигналов и сжатых сигналов временной области также выполняется совместно соответствующим способом.

Подробное описание реконструкции обеспечивается в разделе Реконструкция HOA.

Разложение HOA

Блок-схема, иллюстрирующая операции, выполняемые для разложения HOA, дана на фиг. 3. Краткое описание операции: Во-первых, сглаженные доминирующие направленные сигналы вычисляются и выводятся для перцепционного сжатия. Далее, остаток между представлением HOA доминирующих направленных сигналов и исходным представлением HOA представляется посредством некоторого количества направленных сигналов , которые могут рассматриваться как общие плоские волны из равномерно распределенных направлений. Эти направленные сигналы предсказываются из доминирующих направленных сигналов , где выводятся параметры предсказания . В заключение вычисляется и выводится остаток между исходным представлением HOA и представлением HOA доминирующих направленных сигналов вместе с представлением HOA предсказанных направленных сигналов из равномерно распределенных направлений.

Перед тем как углубляться в подробности, следует упомянуть, что изменения направлений между последовательными кадрами может вести к нарушению непрерывности всех вычисленных сигналов в течение конструирования. Следовательно, мгновенные оценки соответствующих сигналов для перекрывающихся кадров вычисляются первыми, которые имеют длину 2B. Во-вторых, результаты последовательных перекрывающихся кадров сглаживаются с использованием соответствующей оконной функции. Каждое сглаживание, однако, вводит задержку одиночного кадра.

Вычисление мгновенных доминирующих направленных сигналов

Вычисление мгновенных доминирующих направленных сигналов на этапе или стадии 30 из оцененных направлений источников звука в для текущего кадра последовательностей коэффициентов HOA основывается на сопоставлении режимов, как описано в M.A. Poletti, "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics", J. Audio Eng. Soc., 53(11), страницы 1004-1025, 2005. В частности, ищутся те направленные сигналы, чье представление HOA дает результатом наилучшее приближение заданного сигнала HOA.

Дополнительно, без потери общности, предполагается, что каждая оценка направления активного доминирующего источника звука может однозначно определяться посредством вектора, имеющего угол наклона и азимутальный угол (см. фиг. 5 для иллюстрации) согласно

(3).

Во-первых, матрица режимов на основе оценок направлений активных источников звука вычисляется согласно

(4).

,

где

(5).

.

В уравнении (4), обозначает количество активных направлений для k-ого кадра и , показывает их индексы. обозначает вещественнозначные сферические гармоники, которые определены в разделе Определение вещественнозначных сферических гармоник.

Во-вторых, вычисляется матрица , содержащая мгновенные оценки всех доминирующих направленных сигналов для (k-1)-ого и k-ого кадров, определенная как

, (6)

где

, (7).

Это выполняется на двух этапах. На первом этапе, выборки направленного сигнала в строках, соответствующих неактивным направлениям, устанавливаются на нуль, т.е.

, если , (8)

где показывает набор активных направлений. На втором этапе, выборки направленного сигнала, соответствующие активным направлениям, получаются посредством сначала расположения их в матрице согласно

(9).

Эта матрица затем вычисляется, чтобы минимизировать евклидову норму ошибки

(10).

Решение дается посредством

(11).

Временное сглаживание

Для этапа или стадии 31, сглаживание описывается только для направленных сигналов , так как сглаживание других типов сигналов может выполняться полностью аналогичным способом. Оценки направленных сигналов , , чьи выборки содержатся в матрице согласно уравнению (6), подвергаются оконной обработке посредством соответствующей оконной функции :

(12).

Эта оконная функция должна удовлетворять условию, что получается '1' при ее сложении с ее сдвинутой версией (предполагается сдвиг B выборок) в области перекрытия:

(13).

Пример для такой оконной функции дается посредством периодического окна Хэнна, определенного посредством

для (14).

Сглаженные направленные сигналы для (k-1)-ого кадра вычисляются посредством соответствующей суперпозиции подвергнутых оконной обработке мгновенных оценок согласно

(15).

Выборки всех сглаженных направленных сигналов для (k-1)-ого кадра располагаются в матрице

(16).

,

где

(17).

Предполагается, что сглаженные доминирующие направленные сигналы являются непрерывными сигналами, которые последовательно вводятся в перцепционные кодеры.

Вычисление представления HOA сглаженных доминирующих направленных сигналов

Из и , вычисляется представление HOA сглаженных доминирующих направленных сигналов на этапе или стадии 32 в зависимости от непрерывных сигналов , чтобы имитировать такие же операции, как должны выполняться для конструирования HOA. Так как изменения оценок направлений между последовательными кадрами могут вести к нарушению непрерывности, как только снова вычисляются мгновенные представления HOA перекрывающихся кадров длины и результаты последовательных перекрывающихся кадров сглаживаются посредством использования соответствующей оконной функции. Следовательно, представление HOA получается посредством

, (18)

где

(19)

и

(20)

Представление остаточного представления HOA посредством направленных сигналов на регулярной сетке

Из и (т.е. , задержанного на задержку 381 кадра), остаточное представление HOA посредством направленных сигналов на регулярной сетке вычисляется на этапе или стадии 33. Цель этой операции состоит в том, чтобы получать направленные сигналы (т.е. функции общих плоских волн), сталкивающиеся из некоторых фиксированных, почти равномерно распределенных направлений , (также упоминаемых как направления сетки), чтобы представлять остаток .

Сначала, по отношению к направлениям сетки матрица режимов вычисляется как

, (21)

где

(22).

Так как направления сетки являются фиксированными в течение всей процедуры сжатия, матрица режимов должна вычисляться только один раз.

Направленные сигналы на соответствующей сетке получаются как

(23)

.

Предсказание направленных сигналов на регулярной сетке из доминирующих направленных сигналов

Из и , направленные сигналы на регулярной сетке предсказываются на этапе или стадии 34. Предсказание направленных сигналов на регулярной сетке, состоящей из направлений сетки , из направленных сигналов, основывается на двух последовательных кадрах для целей сглаживания, т.е. увеличенный кадр сигналов сетки (длины ) предсказывается из увеличенного кадра сглаженных доминирующих направленных сигналов

(24).

Во-первых, каждый сигнал сетки , , содержащийся в , назначается доминирующему направленному сигналу , , содержащемуся в . Назначение может основываться на вычислении нормализованной взаимнокорреляционной функции между сигналом сетки и всеми доминирующими направленными сигналами. В частности, этот доминирующий направленный сигнал назначается сигналу сетки, который обеспечивает наивысшее значение нормализованной взаимнокорреляционной функции. Результат назначения может формулироваться посредством функции назначения , назначающей -й сигнал сетки -ому доминирующему направленному сигналу.

Во-вторых, каждый сигнал сетки предсказывается из назначенного доминирующего направленного сигнала .

Предсказанный сигнал сетки вычисляется посредством задержки и масштабирования из назначенного доминирующего направленного сигнала как

, (25)

где обозначает коэффициент масштабирования и показывает задержку выборки. Эти параметры выбираются для минимизации ошибки предсказания.

Если мощность ошибки предсказания больше, чем мощность самого сигнала сетки, предполагается, что предсказание потерпело неудачу. Затем, соответствующие параметры предсказания могут устанавливаться на любое недействительное значение.

Следует отметить, что являются возможными также другие типы предсказания. Например, вместо вычисления коэффициента масштабирования полного диапазона, также является разумным определять коэффициенты масштабирования для перцепционно ориентированных частотных диапазонов. Однако эта операция улучшает предсказание за счет увеличенной величины дополнительной информации.

Все параметры предсказания могут располагаться в матрице параметров как

(26).

Предполагаются, что все предсказанные сигналы , , располагаются в матрице .

Вычисление представления HOA предсказанных направленных сигналов на регулярной сетке

Представление HOA предсказанных сигналов сетки вычисляется на этапе или стадии 35 из согласно

(27).

Вычисление представления HOA остаточной компоненты окружающего звукового поля

Из , которое является сглаженной по времени версией (на этапе/стадии 36) для , из , которое является задержанной на два кадра версией (задержки 381 и 383) для , и из , которое является задержанной на один кадр версией (задержка 382) для , представление HOA остаточной компоненты окружающего звукового поля вычисляется на этапе или стадии 37 посредством

(28).

Реконструкция HOA

Перед подробным описанием обработки индивидуальных этапов или стадий на фиг. 4 в деталях, обеспечивается краткое описание.

Направленные сигналы по отношению к равномерно распределенным направлениям предсказываются из декодированных доминирующих направленных сигналов с использованием параметров предсказания . Далее, полное представление HOA конструируется из представления HOA доминирующих направленных сигналов, представления HOA предсказанных направленных сигналов и остаточной окружающей компоненты HOA .

Вычисление представления HOA доминирующих направленных сигналов

и вводятся в этап или стадию 41 для определения представления HOA доминирующих направленных сигналов. После вычисления матриц режимов и из оценок направлений и , на основе оценок направлений активных источников звука для k-ого и (k-1)-ого кадров, представление HOA доминирующих направленных сигналов получается посредством

(29)

где

(30)

и

(31)

Предсказание направленных сигналов на регулярной сетке из доминирующих направленных сигналов

и вводятся в этап или стадию 43 для предсказания направленных сигналов на регулярной сетке из доминирующих направленных сигналов. Увеличенный кадр предсказанных направленных сигналов на регулярной сетке состоит из элементов согласно

, (32)

которые предсказываются из доминирующих направленных сигналов посредством

(33).

Вычисление представления HOA предсказанных направленных сигналов на регулярной сетке

На этапе или стадии 44 для вычисления представления HOA предсказанных направленных сигналов на регулярной сетке, представление HOA предсказанных направленных сигналов сетки получается посредством

, (34)

где обозначает матрицу режимов по отношению к предварительно определенным направлениям сетки (см. уравнение (21) для определения).

Конструирование представления звукового поля HOA

Из (т.е. , задержанного посредством задержки 42 кадра), (которое является сглаженной по времени версией для на этапе/стадии 45) и , полное представление звукового поля HOA наконец конструируется на этапе или стадии 46 как

(35).

Основы системы Амбисоник высшего порядка

Система Амбисоник высшего порядка основывается на описании звукового поля внутри компактной области интереса, о которой предполагается, что она является свободной от источников звука. В этом случае пространственно-временное поведение звукового давления в момент времени t и положении x внутри области интереса является физически полностью определенным посредством однородного волнового уравнения. Последующее основывается на сферической системе координат, как показано на фиг. 5. Ось x указывает на положение вперед, ось y указывает влево, и ось z указывает вверх. Положение в пространстве представляется посредством радиуса (т.е. расстояния до начала координат), угла наклона , измеренного от полярной оси z, и азимутального угла , измеренного против часовой стрелки в плоскости x-y от оси x. обозначает транспозицию.

Можно показать (см. E.G. Williams, "Fourier Acoustics", volume 93 of Applied Mathematical Sciences, Academic Press, 1999), что преобразование Фурье звукового давления по отношению к времени, обозначенное посредством , т.е.

, (36)

где обозначает угловую частоту и i обозначает мнимую единицу, может быть разложено в ряд сферических гармоник согласно

, (37)

где обозначает скорость звука и k обозначает угловой индекс моды, который связан с угловой частотой как , обозначает сферические функции Бесселя первого рода, и обозначает вещественнозначные сферические гармоники порядка n и степени m, которые определены в разделе Определение вещественнозначных сферических гармоник. Коэффициенты разложения зависят только от углового индекса моды k. Отметим, что неявно предполагается, что звуковое давление является пространственно ограниченным по диапазону. Таким образом, ряд является усеченным по отношению к индексу порядка n на верхнем пределе N, который называется порядком представления HOA.

Если звуковое поле представляется посредством суперпозиции бесконечного количества гармонических плоских волн разных угловых частот и прибывает из всех возможных направлений, определенных посредством кортежа углов , можно показать (см. B. Rafaely, "Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution", J. Acoust. Soc. Am., 4(116), страницы 2149-2157, 2004), что соответствующая функция комплексной амплитуды плоской волны может быть выражена посредством разложения по сферическим гармоникам

, (38)

где коэффициенты разложения относятся к коэффициентам разложения как

(39).

Предполагая, что индивидуальные коэффициенты являются функциями угловой частоты , применение обратного преобразования Фурье (обозначаемого как ) обеспечивает функции временной области

(40)

для каждого порядка n и степени m, которые могут быть собраны в одиночном векторе

(41)

.

Индекс положения функции временной области внутри вектора дается посредством .

Последний формат системы Амбисоник обеспечивает дискретизированную версию с использованием частоты дискретизации как

, (42)

где обозначает период дискретизации. Элементы упоминаются как коэффициенты системы Амбисоник. Отметим, что сигналы временной области и, следовательно, коэффициенты системы Амбисоник являются вещественнозначными.

Определение вещественнозначных сферических гармоник

Вещественнозначные сферические гармоники даются посредством

, (43)

где

. (44)

Ассоциированные функции Лежандра определяются как

(45)

с полиномом Лежандра и, в отличие от вышеупомянутого учебника E.G. Williams, без члена фазы Кондона-Шортли .

Пространственное разрешение системы Амбисоник высшего порядка

Функция общей плоской волны , прибывающая из направления , представляется в HOA посредством

(46).

Соответствующая пространственная плотность амплитуд плоской волны дается посредством

(47)

(48).

Можно видеть из уравнения (48), что она является произведением функции общей плоской волны и функции пространственной дисперсии , для которой можно показать, что она зависит только от угла между и , имеющего свойство

(49).

Как ожидается, в пределе бесконечного порядка, т.е. , функция пространственной дисперсии переходит в дельта функцию Дирака , т.е.

(50).

Однако в случае конечного порядка N, вклад общей плоской волны из направления размывается в соседние направления, где степень размытости уменьшается с увеличением порядка. График нормализованной функции для разных значений N показан на фиг. 6. Следует отметить, что любое направление поведения временной области пространственной плотности амплитуд плоской волны является кратным его поведения в любом другом направлении. В частности, функции и для некоторых фиксированных направлений и являются высоко коррелированными друг с другом по отношению к времени t.

Дискретная пространственная область

Если пространственная плотность амплитуд плоской волны дискретизируется при некотором количестве пространственных направлений , , которые являются почти равномерно распределенными на единичной сфере, получаются направленных сигналов . Собирая эти сигналы в вектор

, (51)

можно проверить посредством использования уравнения (47), что этот вектор может быть вычислен из непрерывного представления системы Амбисоник , определенного в уравнении (41), посредством простого матричного умножения как

, (52)

где обозначает объединенные транспозицию и сопряжение, и обозначает матрицу режимов, определенную посредством

, (53)

где

. (54)

Так как направления являются почти равномерно распределенными на единичной сфере, матрица режимов, в общем, является обратимой. Следовательно, непрерывное представление системы Амбисоник может быть вычислено из направленных сигналов посредством

(55).

Оба уравнения составляют преобразование и обратное преобразование между представлением системы Амбисоник и пространственной областью. В этой заявке эти преобразования называются сферическое гармоническое преобразование и обратное сферическое гармоническое преобразование.

Так как направления являются почти равномерно распределенными на единичной сфере,

, (56)

что оправдывает использование вместо в уравнении (52). Предпочтительно, все упомянутые отношения являются действительными для дискретной временной области, также.

На стороне кодирования также как на стороне декодирования новая обработка может выполняться посредством одиночного процессора или электронной схемы, или посредством нескольких процессоров или электронных схем, работающих параллельно и/или работающих в разных частях новой обработки.

Изобретение может применяться для обработки соответствующих звуковых сигналов, которые могут воспроизводиться или проигрываться на компоновке громкоговорителей в домашней среде или на компоновке громкоговорителей в кинотеатре.

Изобретение относится к способу и к устройству для сжатия и восстановления представления системы Амбисоник высшего порядка для звукового поля. Изобретение улучшает сжатие представления звукового поля HOA. Представление HOA анализируется на присутствие доминирующих источников звука и их направления оцениваются. Затем представление HOA разлагается на некоторое количество доминирующих направленных сигналов и остаточную компоненту. Эта остаточная компонента преобразуется в дискретную пространственную область, чтобы получать функции общих плоских волн в равномерных направлениях дискретизации, которые предсказываются из доминирующих направленных сигналов. В заключение ошибка предсказания преобразуется назад в область HOA и представляет остаточную окружающую компоненту HOA, для которой выполняется уменьшение порядка, затем следует перцепционное кодирование доминирующих направленных сигналов и остаточной компоненты. 2 н.п. ф-лы, 8 ил.

1. Способ для восстановления сжатого представления системы Амбисоник высшего порядка (обозначаемой HOA), при этом способ содержит:

перцепционное декодирование сжатых доминирующих направленных сигналов и сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

повторную корреляцию восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

определение восстановленной остаточной компоненты HOA на основе соответствующей остаточной компоненты HOA уменьшенного порядка;

определение предсказанных направленных сигналов на основе, по меньшей мере, параметра;

определение представления звукового поля HOA на основе восстановленных доминирующих направленных сигналов, предсказанных направленных сигналов и восстановленной остаточной компоненты HOA, и

при этом параметр относится к количеству активных направленных сигналов в текущем кадре.

2. Устройство для восстановления представления системы Амбисоник высшего порядка (обозначаемой HOA), при этом устройство содержит:

декодер, который осуществляет перцепционное декодирование сжатых доминирующих направленных сигналов и сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

средство повторной корреляции, которое осуществляет повторную корреляцию восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

процессор, выполненный с возможностью определения восстановленной остаточной компоненты HOA на основе соответствующей остаточной компоненты HOA уменьшенного порядка, причем процессор дополнительно выполнен с возможностью определения предсказанных направленных сигналов на основе, по меньшей мере, параметра;

причем процессор дополнительно выполнен с возможностью определения представления звукового поля HOA на основе восстановленных доминирующих направленных сигналов, предсказанных направленных сигналов и восстановленной остаточной компоненты HOA, и

при этом параметр относится к количеству активных направленных сигналов в текущем кадре.