ПЕРЕДАЧА СИГНАЛЬНОЙ ИНФОРМАЦИИ РЕНДЕРИНГА АУДИО В БИТОВОМ ПОТОКЕ Российский патент 2018 года по МПК G10L19/16 H04S7/00 

Данная заявка испрашивает приоритет предварительной патентной заявки США №61/762758, поданной 8 февраля 2013 года.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к кодированию аудио и, в частности, к битовым потокам, которые задают кодированные аудиоданные.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

При создании аудиоконтента звукооператор может выполнить рендеринг аудиоконтента, используя специальный блок рендеринга в попытке настроить аудиоконтент для целевых конфигураций динамиков, используемых для воспроизведения аудиоконтента. Другими словами, звукооператор может выполнить рендеринг аудиоконтента и воспроизвести аудиоконтент, подвергнутый рендерингу, используя динамики, скомпонованные в целевой конфигурации. Затем звукооператор может создать ремикс различных аспектов аудиоконтента, выполнить рендеринг аудиоконтента после ремикса и вновь воспроизвести аудиоконтент после рендеринга и ремикса с использованием динамиков, скомпонованных в целевой конфигурации. Звукооператор может многократно повторять вышеописанные действия, пока не будет воплощен художественный замысел, обеспечиваемый данным аудиоконтентом. Таким путем звукооператор может создать аудиоконтент, воплощающий некоторый художественный замысел, или, в противном случае, обеспечивающий некоторое звуковое поле во время воспроизведения (например, в качестве аккомпанемента для видеоконтента, воспроизводимого вместе с данным аудиоконтентом).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Здесь в общих чертах описаны технические приемы для задания информации рендеринга аудио в типичном битовом потоке аудиоданных. Другими словами, эти технические приемы могут обеспечить подход, с помощью которого для передачи сигнальной информации рендеринга аудио, используемой во время создания аудиоконтента, на устройство воспроизведения, которое затем может использовать информацию рендеринга аудио для выполнения рендеринга данного аудиоконтента. Обеспечение информации рендеринга таким образом дает возможность устройству воспроизведения выполнить рендеринг аудиоконтента так, как это наметил звукорежиссер, и тем самым возможно обеспечить правильное воспроизведение аудиоконтента, с тем чтобы потенциальный художественный замысел стал понятен слушателю. Другими словами, информация рендеринга, используемая звукооператором во время рендеринга, обеспечивается в соответствии со способами, описанными в этом изобретении, так что устройство воспроизведения аудио может использовать информацию рендеринга для выполнения рендеринга аудиоконтента таким образом, как это было задумано звукорежиссером, в результате чего обеспечиваются единообразные приемы во время создания и воспроизведения аудиоконтента по сравнению с системами, которые не обеспечивают подобную информацию рендеринга аудио.

Согласно одному аспекту способ создания битового потока, представляющего многоканальный аудиоконтент, содержит задание информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента.

Согласно другому аспекту устройство, сконфигурированное для создания битового потока, представляющего многоканальный аудиоконтент, содержит один или более процессоров, сконфигурированных для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента.

В другом аспекте устройство сконфигурировано для создания битового потока, представляющего многоканальный аудиоконтент, содержит средство для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для хранения информации рендеринга аудио.

Согласно еще одному аспекту в невременном считываемом компьютером запоминающем носителе записана команда, которая при ее выполнении инициирует задание одним или более процессорами информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для запоминания информации рендеринга аудио.

Согласно другому аспекту способ рендеринга многоканального аудиоконтента из битого потока содержит определение информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и рендеринг множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно еще одному аспекту устройство, сконфигурированное для выполнения рендеринга многоканального аудиоконтента из битого потока, содержит один или более процессоров, сконфигурированных для определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и выполнения рендеринга множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно следующему аспекту устройство, сконфигурированное для выполнения рендеринга многоканального аудиоконтента из битого потока, содержит средство для определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для рендеринга множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно другому аспекту в невременном считываемом компьютером запоминающем носителе записана команда, которая при ее выполнении инициирует определение одним или более процессорами информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и рендеринг множества входных сигналов динамиков на основе информации рендеринга аудио.

Далее на сопроводительных чертежах и в описании, представленном ниже, излагаются подробности одного или более аспектов упомянутых технических приемов. Другие признаки, цели и преимущества этих технических приемов станут очевидными из их описания, чертежей, а также из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1-3 - схемы, иллюстрирующие базисные сферические гармонические функции различных порядков и субпорядков;

фиг. 4 - схема, иллюстрирующая систему, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 5 - схема, иллюстрирующая систему, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 6 - блок-схема, иллюстрирующая другую систему 50, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 7 - блок-схема, иллюстрирующая еще одну систему 60, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

Фиг. 8А-8D - диаграммы, иллюстрирующие битовые потоки 31А-31D, сформированные согласно техническим приемам, описанным в этом изобретении;

фиг. 9 - блок-схема, иллюстрирующая примерное функционирование системы, например, одной из систем 20, 30, 50 и 60, показанных в примерах на Фиг. 4-8D, при выполнении различных технических приемов, приведенных в данном изобретении.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

С развитием систем окружающего звука в наши дни стало доступным множество форматов вывода для рекламы. Примеры указанных форматов окружающего звука включают в себя популярный формат 5.1 (который включает в себя следующие шесть каналов: передний левый (FL), передний правый (FR), центральный или передний центральный, задний левый или окружающий левый, задний правый или окружающий правый и низкочастотных эффектов (LFE)), развивающийся формат 7.1 и новейший формат 22.2 (например, для использования со стандартом телевидения ультравысокой четкости (UHDT)). Кроме того, примеры таких форматов включают в себя форматы для матрицы сферических гармоник.

Вход в будущий MPEG кодер представляет собой один (на выбор) из трех возможных форматов: (i) традиционное основанное на каналах аудио, что означает воспроизведение через громкоговорители, размещенные на заранее заданных позициях; (ii) основанное на объектах аудио, которое включает данные дискретной импульсно-кодовой модуляции для одиночных аудио объектов с соответствующими метаданными, содержащими координаты их местоположения (помимо другой информации); и (iii) аудио, основанное на сцене, которое включает представление звукового поля с использованием коэффициентов базисных функций сферических гармоник (также называемые «сферическими гармоническими коэффициентами» или SHC).

Сегодняшний рынок предлагает множество различных форматов «окружающего звука». Это форматы, например, от системы домашнего театра 5.1 (которые были самыми успешными с точки зрения проникновения в жилые комнаты после стерео систем) до системы 22.2, разработанной Nippon Hoso Kyokai или Japan Broadcasting Corporation. Создатели контента (например, голливудские студии) любят создавать звуковые дорожки для кинофильма единожды, они не тратят усилий на ремикс для каждой конфигурации динамиков. В последнее время комитеты, разрабатывающие стандарты, рассматривали пути для обеспечения кодирования с получением стандартизованного битового потока и последующего декодирования, которое является адаптируемым и не зависит от геометрии динамиков и акустических условий в месте расположения блока рендеринга.

Для обеспечения указанной гибкости для создателей контента можно использовать иерархический набор элементов для представления звукового поля. Этот иерархический набор элементов может относится к набору элементов, упорядоченных таким образом, что базовый набор элементов более низкого порядка обеспечивает полное представление смоделированного звукового поля. С включением в этот набор элементов более высокого порядка упомянутое представление становится более подробным.

Одним из примеров иерархического набора элементов является набор сферических гармонических коэффициентов (SHC). Приведенное ниже выражение демонстрирует описание или представление звукового поля с использованием SHC:

Это выражение показывает, что давление в любой точке звукового поля может быть уникально представлено коэффициентами SHC. Здесь , с - скорость звука (~343 м/с), - опорная точка (или точка обзора), - сферическая функция Бесселя n-го порядка, и - сферические гармонические базисные функции порядка n и субпорядка m. Очевидно, что член в квадратных скобках является представлением сигнала в частотной области (то есть, ), который можно аппроксимировать с использованием различных частотно-временных преобразований, таких как дискретное преобразование Фурье (DFT), дискретное косинусное преобразование (DCT) или вейвлетное преобразование. Другие примеры иерархических наборов включают в себя наборы коэффициентов вейвлетного преобразования и другие наборы коэффициентов базисных функций множественного разрешения.

На фиг. 1 представлена схема, иллюстрирующая сферическую гармоническую базисную функцию 10 нулевого порядка, сферические гармонические базисные функции 12А-12С первого порядка и сферические гармонические базисные функции 14А-14Е второго порядка. Порядок идентифицируется строками таблицы, которые обозначены как 16А-16С, где строка 16А относится к нулевому порядку, строка 16В относится к первому порядку, и строка 16С относится ко второму порядку. Субпорядок идентифицируется столбцами таблицы, которые обозначены как 18А-18Е, где столбец 18А относится к нулевому субпорядку, столбец 18В относится к первому субпорядку, столбец 18С относится к отрицательному первому субпорядку, столбец 18D относится ко второму субпорядку, и столбец 18Е относится к отрицательному второму субпорядку. Коэффициенты SHC, соответствующие сферической гармонической базисной функции 10 нулевого порядка, могут рассматриваться в качестве задающих энергию звукового поля, причем коэффициенты SHC, соответствующие остальным сферическим гармоническим базисным функциям более высокого порядка (например, сферические гармонические базисные функции 12А-12С и 14А-14Е) могут задавать направление этой энергии.

На фиг. 2 представлена другая схема, иллюстрирующая сферические гармонические базисные функции от нулевого порядка (n=0) до четвертого порядка (n=4). Как можно видеть, для каждого порядка имеется расширение субпорядков m, которые показаны, но явно не указаны в примере на фиг.2 для целей упрощения иллюстрации.

На фиг. 3 представлена другая схема, иллюстрирующая сферические гармонические базисные функции от нулевого порядка (n=0) до четвертого порядка (n=4). На фиг. 3 сферические гармонические базисные функции показаны в трехмерном пространстве координат с указанием порядка и субпорядка.

В любом случае SHC может быть получен либо физически (например, записанным) с помощью различных конфигураций массива микрофонов или, в качестве альтернативы, их можно получить из основанного на каналах или основанного на объектах описаний звукового поля. Первое из вышеописанного представляет основанный на сцене ввод аудио в кодер. Например, можно использовать представление четвертого порядка, включающее 1+2⁴ (25, что означает четвертый порядок) коэффициентов.

Для иллюстрации способа получения коэффициентов SHC из описания на основе объекта рассмотрим следующее уравнение. Коэффициенты для звукового поля, соответствующего отдельному аудиообъекту, можно выразить как

где i – это , - сферическая функция Ханкеля (второго вида) порядка n и - местоположение объекта. Знание энергии g(w) источника в функции частоты (например, с использованием приемов время-частотного анализа, таких как выполнение быстрого преобразования Фурье в отношении потока PCM) позволяет преобразовать каждый PCM объект и его местоположение в коэффициент SHC . Кроме того, можно показать (поскольку вышесказанное является линейной и ортогональной декомпозицией), что коэффициенты для каждого объекта являются аддитивными. Таким образом, величина PCM объектов может быть представлена коэффициентами (например, в виде суммы коэффициентов-векторов для отдельных объектов). Существенно, что эти коэффициенты содержат информацию о звуковом поле (давление как функции 3D координат), и вышесказанное представляет преобразование от отдельных объектов к представлению общего звукового поля в окрестности точки обзора. Остальные Фиг. описаны ниже в контексте основанного на объектах и SHC-ориентированного кодирования аудио.

На фиг. 4 представлена блок-схема, иллюстрирующая систему 20, которая может реализовать технические приемы, описанные в этом изобретении, для передачи сигнальной информации рендеринга в битовом потоке, представляющем аудиоданные. Как показано в примере на фиг. 4, система 20 включает в себя создателя 22 контента и потребителя 24 контента. Создатель 22 контента может представлять киностудию или другой объект, способный создавать многоканальный аудиоконтент для потребления потребителями контента, такими как потребитель 24 контента. Часто такой создатель контента создает аудиоконтент вместе с видеоконтентом. Потребитель 24 контента представляет человека, являющегося владельцем системы 32 воспроизведения аудио или имеет к ней доступ, которая может относится к любому виду системы воспроизведения звука, способной воспроизводить многоканальный аудиоконтент. В примере на фиг. 4 потребитель 24 контента включает в себя систему 32 воспроизведения аудио.

Создатель 22 контента включает в себя блок рендеринга 28 аудио и систему 30 редактирования аудио. Блок рендеринга 26 аудио может представлять блок обработки аудио, который выполняет рендеринг или иным образом создает входные сигналы динамиков (которые также могут называться «входными сигналами громкоговорителей», «сигналами динамиков» или «сигналами громкоговорителей»). Каждый входной сигнал динамика может соответствовать входному сигналу, который воспроизводит звук для конкретного канала многоканальной аудиосистемы. В примере на фиг. 4 блок рендеринга 38 может выполнять рендеринг входных сигналов динамиков для обычных форматов окружающего звука (5.1, 7.1 или 22.2), создавая входной сигнал для каждого из динамиков 5, 7 или 22 в системе динамиков окружающего звука 5.1, 7.1 или 22.2. В качестве альтернативы, блок рендеринга 28 может быть сконфигурирован для рендеринга входных сигналов динамиков из исходных сферических гармонических коэффициентов для любой конфигурации динамиков, имеющей любое количество динамиков при заданных характеристиках исходных сферических гармонических коэффициентов, описанных выше. Блок рендеринга 28 может таким образом создать несколько входных сигналов динамиков, которые на фиг. 4 обозначены как входные сигналы 29 динамиков.

Создатель 22 контента в процессе редактирования может выполнить рендеринг сферических гармонических коэффициентов 27 («SHC 27») для создания входных сигналов динамиков, прослушивая входные сигналы динамиков в попытке идентифицировать те аспекты звукового поля, которые не имеют отношения к высокой точности воспроизведения, либо не обеспечивают правдоподобное восприятие окружающего звука. Создатель 22 контента может затем отредактировать исходные сферические гармонические коэффициенты (часто это делается косвенно посредством манипуляций с различными объектами, из которых можно получить исходные сферические гармонические коэффициенты вышеописанным образом). Создатель 22 контента может использовать систему 30 редактирования аудио для редактирования сферических гармонических коэффициентов 27. Система 30 редактирования аудио представляет любую систему, способную редактировать аудиоданные и выводить аудиоданные в виде одного или более исходных сферических гармонических коэффициентов.

По завершении процесса редактирования создатель 22 контента может создать битовый поток 31 на основе сферических гармонических коэффициентов 27. То есть, создатель 22 контента включает в себя устройство 36 создания битового потока, которое может представлять любое устройство, способное создавать битовый поток 31. В некоторых случаях устройство 36 создания битового потока может представлять кодер, который выполняет сжатие полосы (посредством, как один из примеров, энтропийного кодирования) сферических гармонических коэффициентов 27 и который компонует кодированную с использованием энтропийного кодирования версию сферических гармонических коэффициентов 27 в принятом формате для формирования битового потока 31. В других примерах устройство 36 создания битового потока может представлять аудиокодер (возможно кодер, соответствующий известному стандарту кодирования аудио, такому как MPEG surround или его производных), который кодирует многоканальный аудиоконтент 29, используя, например, процессы, аналогичные известным процессам кодирования окружающего звука, для сжатия многоканального аудиоконтента или его производных. Затем сжатый многоканальный аудиоконтент 29 может быть подвергнут энтропийному кодированию или кодированию несколько иным образом для сжатия полосы частот контента 29, и может быть скомпонован в соответствии с согласованным форматом для формирования битового потока 31. Независимо от того, выполняется ли непосредственное сжатие для формирования битового потока 31 или выполняется рендеринг с последующим сжатием для формирования битового потока 31, создатель 22 контента может передать битовый поток 31 потребителю 24 контента.

Хотя на фиг. 4 показан вариант непосредственной передачи потребителю 24 контента, создатель 22 контента может выводить битовый поток 31 на промежуточное устройство, расположенное между создателем 22 контента и потребителем 24 контента. В этом промежуточном устройстве битовый поток 31 может сохраняться для его доставки в дальнейшем потребителю 24 контента, который может запросить этот битовый поток. Такое промежуточное устройство может содержать файловый сервер, веб-сервер, настольный компьютер, компьютер типа лэптоп, планшетный компьютер, мобильный телефон, смартфон или любое другое устройство, способное запоминать битовый поток 31 для его последующего извлечения аудиодекодером. В качестве альтернативы, создатель 22 контента может запомнить битовый поток 31 в запоминающей среде, такой как компакт-диск, цифровой видеодиск, видеодиск высокой четкости или другие носители данных, большинство из которых имеет возможность считывания компьютером, и, следовательно, их можно назвать считываемыми компьютером запоминающими носителями. В этом контексте канал передачи может относиться к тем каналам, через которые передается контент, сохраненный на этих носителях (и может включать в себя магазины розничной торговли и другой механизм доставки ориентированный на хранение). В любом случае технические приемы этого изобретения не следует поэтому ограничивать примером, показанным на фиг. 4.

Как дополнительно показано в примере на фиг. 4, потребитель 24 контента включает в себя систему 32 воспроизведения аудио. Система 32 воспроизведения аудио может представлять любую систему воспроизведения аудио, способную воспроизводить многоканальные аудиоданные. Система 32 воспроизведения аудио может включать в себя несколько разных блоков рендеринга 34. Блоки рендеринга 34 могут каждый обеспечивать разную форму рендеринга, где разные формы рендеринга могут включать в себя один или более различных вариантов выполнения амплитудного панорамирования на векторной основе (VBAP), один или более различных вариантов выполнения основанного на расстоянии амплитудного панорамирования (DBAP), один или более различных вариантов выполнения простого панорамирования, один или более различных вариантов выполнения фильтрации с компенсацией ближнего поля (NFC) и/или один или более различных путей выполнения синтеза волнового поля.

Система 32 воспроизведения аудио кроме того, может включать в себя устройство 38 извлечения. Устройство 38 извлечения может представлять любое устройство, способное извлекать сферические гармонические коэффициенты 27’ («SHC 27’», которые могут представлять модифицированную форму или дубликат сферических гармонических коэффициентов 27), посредством процесса, который обычно может быть противоположен процессу, выполняемому устройством 36 создания битового потока. В любом случае, система 32 воспроизведения аудио может получить сферические гармонические коэффициенты 27’. Затем система 32 воспроизведения аудио может выбрать один из блоков рендеринга 34, который выполняет рендеринг сферических гармонических коэффициентов 27’ для создания нескольких входных сигналов 35 динамиков (соответствующих количеству громкоговорителей, подсоединенных электрически или возможно беспроводным способом к системе 12 воспроизведения аудио, которые в примере на фиг. 4 не показаны в иллюстративных целях).

Как правило, система 32 воспроизведения аудио может выбрать любой из блоков рендеринга 34 и может быть сконфигурирована для выбора одного или более блоков рендеринга аудио в зависимости от источника, из которого получают битовый поток 31 (такого как DVD-плеер, Blu-ray-плеер, смартфон, планшетный компьютер, игровая система и телевизионный приемник для обеспечения нескольких примеров). Хотя может быть выбран любой из блоков рендеринга 34 аудио, часто блок рендеринга аудио, использованный при создании данного контента, обеспечивает лучшую (а возможно наилучшую) форму рендеринга благодаря тому, что данный контент был создан создателем 22 контента с использованием этого одного из блоков рендеринга аудио, то есть, блока рендеринга 28 аудио в примере на фиг 4. Выбор одного из блоков рендеринга 34 аудио, который совпадает или по меньшей мере близок (с точки зрения формы рендеринга) может обеспечить лучшее представление звукового поля и может привести к лучшему восприятию окружающего звука для потребителя 24 контента.

Согласно техническим приемам, описанным в настоящем изобретении, устройство 36 создания битового потока может создавать битовый поток 31, включая в него информацию 39 рендеринга аудио. Информация 39 рендеринга аудио может включать в себя значение сигнала, идентифицирующее блок рендеринга аудио, использованный при создании многоканального аудиоконтента, то есть, блока рендеринга 28 аудио в примере на фиг. 4. В некоторых случаях упомянутое значение сигнала включает в себя матрицу, использованную при рендеринге сферических гармонических коэффициентов во множество входных сигналов динамиков.

В некоторых случаях упомянутое значение сигала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в сея матрицу, использованную для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. В некоторых случаях при использовании индекса значение сигнала кроме того включает в себя два или более битов, которые определяют количество строк матрицы, включенных в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенных в битовый поток. Использование этой информации при условии, что каждый коэффициент двумерной матрицы, как правило, определяется 32-разрядным числом с плавающей точкой, размер указанной матрицы в битах можно вычислить как функцию количества строк, количества столбцов и размерности чисел с плавающей точкой, определяющих каждый коэффициент матрицы, то есть, 32-разрядные числа в данном примере.

В некоторых случаях упомянутое значение сигнала задает алгоритм рендеринга, использованный для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Алгоритм рендеринга может включать в себя матрицу, известную как устройству 36 создания битового потока, так и устройству 38 извлечения. То есть алгоритм рендеринга может включать в себя применение матрицы вдобавок к другим этапам рендеринга, таким как панорамирование (например, VBAP, DBAP или простое панорамирование) либо NFC фильтрация. В некоторых случаях упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, использованных для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Опять же, устройство 36 создания битового потока и устройство 38 извлечения могут быть сконфигурированы таким образом, что они будут иметь информацию, указывающую множество матриц и порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц. В качестве альтернативы, устройство 36 создания битового потока может задать в битовом потоке 31 данные, определяющие множество матриц и/или порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц.

В некоторых случаях упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, использованных для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Опять же, устройство 36 создания битового потока и устройство 38 извлечения могут быть сконфигурированы таким образом, что они будут иметь информацию, указывающую множество алгоритмов рендеринга и порядок этого множества алгоритмов рендеринга, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц. В качестве альтернативы, устройство 36 создания битового потока может задать в битовом потоке 31 данные, определяющие множество матриц и/или порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц.

В некоторых случаях устройство 36 создания битового потока задает в битовом потоке информацию 39 рендеринга аудио в каждом аудиокадре. В других случаях устройство 36 создания битового потока задает в битовом потоке информацию 39 рендеринга аудио один раз.

Затем устройство 38 извлечения может определить информацию 39 рендеринга аудио, заданную в битовом потоке. На основе значения сигнала, включенного в информацию 39 рендеринга аудио, система 32 воспроизведения аудио может выполнить рендеринг множества входных сигналов 35 динамиков на основе информации 39 рендеринга аудио. Как отмечалось выше, упомянутое значение сигнала может в некоторых случаях включать в себя матрицу, использованную для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. В этом случае система 32 воспроизведения аудио может сконфигурировать один из блоков рендеринга 34 аудио с матрицей, используя один из блоков рендеринга 34 аудио для рендеринга входных сигналов 35 динамиков на основе упомянутой матрицы.

В некоторых случаях значение сигнала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов 27’ в сигналы 35 динамиков. Устройство 38 извлечения может выполнить синтаксический анализ упомянутой матрицы из битового потока в соответствии с указанным индексом, а система 32 воспроизведения аудио может сконфигурировать один из блоков рендеринга 34 аудио с этой проанализированной матрицей и активировать этот один из блоков рендеринга 34 для выполнения рендеринга входных сигналов 35 динамиков. Когда значение сигнала включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток, устройство 38 извлечения может выполнить синтаксический анализ матрицы из битового потока в соответствии с упомянутым индексом и на основе тех двух или более битов, которые определяют количество строк, и тех двух или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток, вышеописанным образом.

В некоторых случаях упомянутое значение сигнала задает алгоритм рендеринга, используемый для рендеринга сферических гармонических коэффициентов 27’ в сигналы 35 динамиков. В этих случаях эти алгоритмы рендеринга могут выполняться некоторыми или всеми рендерерами 34 аудио. Затем устройство 32 воспроизведения аудио может использовать специальный алгоритм рендеринга, например, один из блоков рендеринга 34 аудио, для рендеринга входных сигналов 35 динамиков из сферических гармонических коэффициентов 27'.

Когда упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с множеством матриц, используемых для рендеринга сферических гармонических коэффициентов 27' в сигналы 35 динамиков, некоторые или все блоки рендеринга 34 аудио могут представлять это множество матриц. Таким образом, система 32 воспроизведения аудио может выполнить рендеринг входных сигналов 35 динамиков из сферических гармонических коэффициентов 27', используя один из блоков рендеринга 34 аудио, связанных с упомянутым индексом.

Когда упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов 27' в сигналы 35 динамиков, некоторые или все блоки рендеринга 34 аудио могут представлять алгоритмы рендеринга. Таким образом, система 32 воспроизведения аудио может выполнить рендеринг входных сигналов 35 динамиков из сферических гармонических коэффициентов 27', используя один из блоков рендеринга 34 аудио, связанных с упомянутым индексом.

В зависимости от частоты, с которой в битовом потоке задается указанная информация рендеринга аудио, устройство 38 извлечения может определить информацию 39 рендеринга аудио для каждого аудиокадра или один раз.

Благодаря тому, что информация 39 рендеринга задается именно таким образом, рассматриваемые технические приемы потенциально могут обеспечить более качественное воспроизведение многоканального аудиоконтента 35 в соответствии со способом воспроизведения многоканального аудиоконтента, задуманной создателем этого контента. В результате, эти технические приемы могут обеспечить окружающий звук или восприятие многоканального аудио, создающее более ярко выраженный эффект присутствия.

Хотя описана как передаваемая в битовом потоке (или, иным образом заданная), информация 39 рендеринга аудио может быть задана в качестве метаданных отдельно от битового потока или, другими словами, в качестве вспомогательной информации, отдельной от битового потока. Устройство 36 создания битового потока может создать эту информацию 39 рендеринга аудио отдельно от битового потока 31, с тем, чтобы поддерживать совместимость битового потока с (и тем самым возможность его успешного синтаксического анализа) теми устройствами извлечения, которые не поддерживают технические приемы, описанные в этом изобретении. Соответственно, при описании упомянутой информации как информации, заданной в битовом потоке, указанные технические приемы не исключают других путей задания информации 39 рендеринга аудио отдельно от битового потока 31.

Кроме того, хотя описано, что упомянутая информация передается или иным образом задается в битовом потоке 31, либо в качестве метаданных или вспомогательной информации отдельно от битового потока 31, рассмотренные технические приемы дают возможность устройству 36 создания битового потока задать часть упомянутой информации 39 в указанном битовом потоке 31, а другую часть этой информации 39 рендеринга аудио задать в виде метаданных отдельно от битового потока 31. Например, устройство 36 создания битового потока может задать индекс, идентифицирующий матрицу в битовом потоке 31, где в качестве метаданных отдельно от битового потока может быть задана таблица, описывающая множество матриц, которые включают в себя идентифицированную матрицу. Затем система 32 воспроизведения аудио может определить информацию 39 рендеринга аудио из битового потока 31 в виде индекса, и из метаданных, заданных отдельно от битового потока 31. В некоторых случаях система 32 воспроизведения аудио может быть сконфигурирована для выгрузки или иного извлечения таблицы и любых других метаданных из предварительно сконфигурированного или оперативно сконфигурированного сервера (работающего, скорее всего, под управлением изготовителя системы 32 воспроизведения аудио или органа стандартизации).

Другими словами, и как отмечалось выше, амбиофония более высокого порядка (HOA) может представлять способ описания информации направления звукового поля на основе пространственного преобразования Фурье. Как правило, чем выше порядок N амбиофонии, тем выше пространственное разрешение, тем больше сферических гармонических (SH) коэффициентов (N+1)^{^}2 и тем больше необходимая ширина полосы для передачи и сохранения данных.

Потенциальным преимуществом данного описания является возможность воспроизведения указанного звукового поля на большинстве установок громкоговорителей (например, 5.1, 7.1, 22.2,…). Преобразование описания звукового поля в M сигналов громкоговорителей можно выполнить посредством статической матрицы рендеринга с (N+1)² входами и M выходами. Далее для каждой установки громкоговорителей может потребоваться специальная матрица рендеринга. Существует несколько алгоритмов для вычисления матрицы рендеринга для желаемой установки громкоговорителей, которую можно оптимизировать по некоторым объективным или субъективным показателям, таким как критерий Герзона. Для нерегулярных установок громкоговорителей алгоритмы могут оказаться сложными из-за процедур итеративной численной оптимизации, такой как выпуклая оптимизация. Для вычисления матрицы рендеринга для нерегулярных компоновок громкоговорителей без времени ожидания может оказаться выгодным иметь достаточные вычислительные ресурсы. Нерегулярные установки громкоговорителей могут быть общими в оборудовании жилой комнаты ид-за архитектурных ограничений и эстетических предпочтений. Следовательно, для наилучшего воспроизведения звукового поля матрица рендеринга, оптимизированная по указанному сценарию, может оказаться предпочтительной в том смысле, что возможно точное воспроизведение звукового поля.

Поскольку для аудиодекодера обычно не требуются большие вычислительные ресурсы, возможно, что устройство не сможет вычислять нерегулярную матрицу рендеринга за время, устраивающее пользователя. Далее описываются различные аспекты технических приемов, описанных в этом изобретении, которые могут обеспечить использование подхода к выселениям на основе облака:

1. Аудиодекодер может послать на сервер через Интернет-соединение координаты громкоговорителей (и, в некоторых случаях, также результаты измерений звукового давления (SPL), полученные с использованием калибровочного микрофона).

2. Сервер на основе облака может вычислить матрицу рендеринга (и возможно несколько различных версий, так что пользователь позднее сможет сделать выбор из этих разных версий).

3. Затем сервер через Интернет-соединение может послать на аудиодекодер матрицу рендеринга (или другие версии) обратно на аудиодекодер.

Этот подход позволяет изготовителю поддерживать низкие производственные расходы на аудиодекодер (поскольку возможно не понадобится мощный процессор для вычисления упомянутых нерегулярных матриц рендеринга), а также обеспечить более оптимальное воспроизведение аудио по сравнению с матрицами рендеринга, обычно используемых для регулярных конфигураций или геометрии громкоговорителей. Алгоритм для вычисления упомянутой матрицы рендеринга также можно оптимизировать после отгрузки аудиодекодера потребителю, что потенциально сокращает расходы на аппаратные модернизации или даже на возвраты. Указанные технические приемы в некоторых случаях также могут обеспечить сбор большого объема информации о разных установках громкоговорителей, что может оказаться выгодным для продвижения продукта в будущем.

На фиг. 5 представлена блок-схема, иллюстрирующая другую систему 30, которая может выполнять другие аспекты технических приемов, описанных в этом изобретении. Хотя здесь показано, что система 20 отделена от системы 30, обе эти системы могут быть интегрированы вместе в единую систему. В примере на фиг. 4, описанном выше, были раскрыты технические приемы в контексте сферических гармонических коэффициентов. Однако указанные приемы могут также быть реализованы в соответствии с любым представлением звукового поля, включая представления, которые фиксируют звуковое поле в виде одного или более аудиообъектов. Примеры аудиообъектов могут включать в себя аудиообъекты с импульсно-кодовой модуляцией. Таким образом, система 30 представляет систему, подобную системе 20, за исключением того, что упомянутые приемы могут быть реализованы в соответствии с аудиообъектами 41 и 41' вместо сферических гармонических коэффициентов 27 и 27'.

В этом контексте информация 39 рендеринга аудио может в некоторых случаях задавать алгоритм рендеринга, то есть, алгоритм, используемый блоком рендеринга 29 аудио в примере на фиг. 5, для рендеринга объектов 41 аудио для входных сигналов 29 динамиков. В других случаях информация 39 рендеринга аудио включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, то есть, один, связанный с блоком рендеринга 28 аудио в примере на фиг. 5, который используют для рендеринга объектов 41 аудио в сигналы 29 динамиков.

Когда информация 39 рендеринга аудио задает алгоритм рендеринга, используемый для рендеринга объектов 39’ аудио во множество входных сигналов динамиков, некоторые или все блоки рендеринга 34 аудио могут представлять или выполнять иным образом другие алгоритмы рендеринга. Затем система 32 воспроизведения аудио выполняет рендеринг входных сигналов 35 динамиков из объектов 39’ аудио, используя один из блоков рендеринга 34 аудио.

В тех случаях, когда информация 39 рендеринга аудио включает в себя два или больше битов данных, определяющих индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга объектов 39 аудио в сигналы 35 динамиков, некоторые либо все блоки рендеринга 34 аудио могут представлять или выполнять иным образом разные алгоритмы рендеринга. Затем система 32 воспроизведения аудио может выполнить рендеринг входных сигналов 35 динамиков из объектов 39’ аудио с использованием одного из блоков рендеринга 34 аудио.

Хотя приведенное выше описание относилось к двумерным матрицам, указанные технические приемы можно реализовать применительно к матрицам любой размерности. В некоторых случаях матрицы могут содержать только действительные коэффициенты. В других случаях матрицы могут включать в себя комплексные коэффициенты, где мнимые составляющие могут представлять или вводить дополнительную размерность. Матрицы с комплексными коэффициентами могут называться в некоторых контекстах фильтрами.

Далее рассматривается один вариант обобщения вышеописанных способов. При использовании 3D/2D реконструкции звукового поля на основе амбиофонии более высокого порядка (HoA) или на основе объекта возможно использование блока рендеринга. Возможны два варианта использования блока рендеринга. Первый из них основан на учете локальных условий (таких как количество и геометрия громкоговорителей) для оптимизации восстановления звукового поля в локальном акустическом ландшафте. Второй вариант использования может состоять в предоставлении звукорежиссеру блока рендеринга во время создания контента, например, с тем, чтобы он мог воплотить свой художественный замысел, касающийся данного контента. Одной из потенциальных проблем, которую необходимо решить, является необходимость передачи, вместе с аудиоконтентом, информации о том, какой блок рендеринга был использован при создании данного контента.

Технические приемы, описанные в этом изобретении, могут обеспечить одну или более из следующих операций: (i) передачу блока рендеринга (в типовом варианте HoA - это матрица размерностью NxM, где N - количество громкоговорителей, а M - количество коэффициентов HoA, или (ii) передачу индекса в таблицу блоков рендеринга, которая является общеизвестной.

Опять же, хотя вышеописанная сигнализация рендеринга (или, в ином случае, задание рендеринга) осуществлялась в битовом потоке, информация 39 рендеринга аудио может быть задана в виде метаданных отдельно от битового потока или, другими словами, в виде вспомогательной информации отдельно от битового потока. Устройство 36 создания битового потока может создать информацию 39 рендеринга аудио отдельно от битового потока 31, с тем, чтобы поддерживать совместимость битового потока с (и тем самым иметь возможность его успешного синтаксического анализа) теми устройствами извлечения, которые не поддерживают технические приемы, описанные в этом изобретении. Соответственно, хотя здесь сказано, что информация рендеринга задается в битовом потоке, указанные технические приемы допускают другие варианты, с помощью которых информация 39 рендеринга аудио задается отдельно от битового потока 31.

Кроме того, хотя упомянутая информация передается или иным образом задается в битовом потоке 31, либо в качестве метаданных или вспомогательной информации отдельно от битового потока 31, рассмотренные технические приемы дают возможность устройству 36 создания битового потока задать часть упомянутой информации 39 рендеринга аудио в указанном битовом потоке 31, а другую часть этой информации 39 рендеринга аудио задать в виде метаданных отдельно от битового потока 31. Например, устройство 36 создания битового потока может задать индекс, идентифицирующий матрицу в битовом потоке 31, где в качестве метаданных отдельно от битового потока может быть задана таблица, описывающая множество матриц, которые включают в себя идентифицированную матрицу. Затем система 32 воспроизведения аудио может определить информацию 39 рендеринга аудио из битового потока 31 в виде индекса, а также из метаданных, заданных отдельно от битового потока 31. В некоторых случаях система 32 воспроизведения аудио может быть сконфигурирована для загрузки или иного извлечения таблицы и любых других метаданных из предварительно сконфигурированного или оперативно сконфигурированного сервера (работающего, наиболее вероятно, под управлением изготовителя системы 32 воспроизведения аудио или органа стандартизации).

На фиг. 6 представлена блок-схема, иллюстрирующая еще одну систему 50, которая может выполнять различные аспекты технических приемов, описанных в этом изобретении. Хотя здесь показано, что эта система отделена от систем 20 и 30, различные аспекты систем 20, 30 и 50 могут быть интегрированы вместе в единую систему. Система 50 может быть подобна системам 20 и 30 за исключением того, что система 50 может работать в соответствии с аудиоконтентом 51, который может представлять один или более аудиообъектов, подобных аудиообъектам 41, и коэффициенты SHC, подобные коэффициентам SHC 27. Вдобавок, система 50 может не передавать сигнальную информацию 39 рендеринга аудио в битовом потоке 31, как было описано выше в связи с примерами на Фиг. 4 и 5, а вместо этого передать эту сигнальную информацию 39 рендеринга аудио в виде метаданных 53 отдельно от битового потока 31.

На фиг. 7 представлена блок-схема, иллюстрирующая еще одну систему 60, которая может выполнять различные аспекты технических приемов, описанных в этом изобретении. Хотя здесь показано, что данная система отделена от систем 20, 30 и 50, различные аспекты систем 20, 30, 50 и 60 могут быть интегрированы вместе в единую систему. Система 60 может быть подобна системе 50 за исключением того, что система 60 может передавать часть информации 39 рендеринга аудио в битовом потоке 31, как было писано выше в связи с примерами на Фиг. 4 и 5, и передавать другую часть этой информации 39 рендеринга аудио в виде метаданных 53 отдельно от битового потока 31. В некоторых примерах устройство 36 создания битового потока может выводить метаданные 53, которые затем могут быть выгружены в сервер или другое устройство. Затем система 32 воспроизведения аудио может загрузить или иным образом извлечь указанные метаданные 53, которые затем используют для пополнения информации рендеринга аудио, извлеченной из битового потока 31, устройством 38 извлечения.

На Фиг. 8А-8D представлены схемы, иллюстрирующие битовые потоки 31А-31D, сформированные в соответствии с описанными здесь техническими приемами. В примере на фиг. 8А битовый поток 31А может представлять один пример битового потока 31, показанного на Фиг. 4, 5 и 8, рассмотренных выше. Битовый поток 31А включает в себя информацию 39А рендеринга аудио, которая содержит один или более битов, определяющих значение 54 сигнала. Это значение 54 сигнала может представлять любую комбинацию из ниже описанных типов информации. Битовый поток 31А также включает в себя аудиоконтент 58, который может представлять один пример аудиоконтента 51.

В примере на фиг. 8В битовый поток 31В может быть подобен битовому потоку 31А, где значение 54 сигнала содержит индекс 54А, один или более битов, определяющих размер 54В строки переданной матрицы, один или более битов, определяющих размер 54С столбца переданной матрицы и матричные коэффициенты 54D. Индекс 54А может быть определен с использованием от двух до пяти бит, когда размер 54В строки и размер 54С столбца могут быть определены с использованием от двух до шестнадцати бит.

Устройство 38 извлечения может извлечь индекс 54А и определить, сигнализирует ли этот индекс о том, что данная матрица включена в битовый поток 31В (где некоторые значения индекса, такие как 0000 или 1111, могут сигнализировать о том, что указанная матрица задана в явном виде в битовом потоке 31В). В примере на фиг. 8В битовый поток 31В включает в себя индекс 54А, сигнализирующий о том, что данная матрица задана в явном виде в битовом потоке 31В. В результате устройство 38 извлечения может извлечь размер 54В строки и размер 54С столбца. Устройство 38 извлечения может быть сконфигурировано для вычисления количества бит с целью синтаксического анализа того, что представляют матричные коэффициенты в функции размера 54В строки, размера 54С столбца и переданного (на фиг. 8А не показано) или неявно определенного размера в битах каждого матричного коэффициента. Используя это определенное количество бит, устройство 38 извлечения может извлечь матричные коэффициенты 54D, которые может использовать устройство 24 воспроизведения аудио для конфигурации одного из блоков рендеринга 34 аудио, как было описано выше. Хотя здесь показано, что информация 39В рендеринга аудио передается один раз в битовом потоке 31В, эта информация 38В рендеринга аудио может многократно передаваться в качестве сигнальной информации в битовом потоке 31В, или по меньшей мере частично либо полностью в отдельном внеполосном канале (в качестве опционных данных в некоторых случаях).

В примере на фиг. 8С битовый поток 31С может представлять один пример битового потока 31, показанного на Фиг. 4, 5 и 8, описанных выше. Битовый поток 31С включает в себя информацию 39С рендеринга аудио, которая содержит значение 54 сигнала, определяющее в этом примере индекс 54Е алгоритма. Битовый поток 31С также включает в себя аудиоконтент 58. Индекс 54Е алгоритма можно определить, используя от двух до пяти битов, как отмечалось выше, причем этот индекс 54Е алгоритма может идентифицировать алгоритм рендеринга, подлежащий использованию при рендеринге аудиоконтента 58.

Устройство 38 извлечения может извлечь индекс 50Е алгоритма и определить, сигнализирует ли индекс 54Е алгоритма о том, что данная матрица включена в битовый поток 31С (где некоторые значения индекса, такие как 0000 или 1111, могут сигнализировать о том, что указанная матрица задана в явном виде в битовом потоке 31С). В примере на фиг. 8С битовый поток 31С включает в себя индекс 54Е алгоритма, сигнализирующий о том, что данная матрица не задана в явном виде в битовом потоке 31С. В результате устройство 38 извлечения направляет индекс 54Е алгоритма в устройство воспроизведения аудио, которое выбирает соответствующий алгоритм (если таковой доступен) из числа алгоритмов рендеринга (которые в примере на Фиг. 4-8 обозначены как блоки рендеринга 34). Хотя здесь показано, что информация 39С рендеринга аудио передается один раз в битовом потоке 31С, в примере на фиг. 8С информация 39С рендеринга аудио может передаваться много раз в битовом потоке 31С или по меньшей мере частично либо полностью по отдельному внеполосному каналу (в качестве опционных данных в некоторых случаях).

В примере на фиг. 8D битовый поток 31D может представлять один пример битового потока 31, показанного на Фиг. 4, 5 и 8, описанных выше. Битовый поток 31D включает в себя информацию 39D рендеринга аудио, которая содержит значение 54 сигнала, определяющее в этом примере индекс 54F матрицы. Битовый поток 31D также включает в себя аудиоконтент 58. Индекс 54F матрицы можно определить, используя от двух до пяти битов, как отмечалось выше, причем этот индекс 54F матрицы может идентифицировать алгоритм рендеринга, подлежащий использованию при рендеринге аудиоконтента 58.

Устройство 38 извлечения может извлечь индекс 50F матрицы и определить, сигнализирует ли индекс 54F матрицы о том, что данная матрица включена в битовый поток 31D (где некоторые значения индекса, такие как 0000 или 1111, могут сигнализировать о том, что указанная матрица задана в явном виде в битовом потоке 31С). В примере на фиг. 8D битовый поток 31D включает в себя индекс 54F матрицы, сигнализирующий о том, что данная матрица не задана в явном виде в битовом потоке 31D. В результате устройство 38 извлечения направляет индекс 54F матрицы в устройство воспроизведения аудио, которое выбирает соответствующий один блок рендеринга (если таковой доступен) из числа блоков рендеринга 34. Хотя здесь показано, что информация 39D рендеринга аудио передается один раз в битовом потоке 31D, в примере на фиг. 8D информация 39D рендеринга аудио может передаваться в битовом потоке 31D много раз или по меньшей мере частично либо полностью по отдельному внеполосному каналу (в качестве опционных данных в некоторых случаях).

На фиг. 9 представлена блок-схема, иллюстрирующая при мерное функционирование системы, такой как одна из систем 20, 30, 50 и 60, показанных в примерах на Фиг. 4-8D, при выполнении различных аспектов описанных здесь технических приемов. Хотя то, что описано ниже относится к системе 20, технические приемы, обсуждаемые в связи с фиг. 9, также могут быть реализованы любой из систем 30, 50 и 60.

Как описано выше, создатель 22 контента может использовать систему 30 редактирования аудио для создания или редактирования захваченного или созданного аудиоконтента (который показан в примере на фиг.4 в виде коэффициентов SHC 27). Затем создатель 22 контента может выполнить рендеринг SHC 27, используя блок рендеринга 28 аудио для созданных многоканальных входных сигналов 29 динамиков, как более подробно описано выше (70). Затем создатель 22 контента может воспроизводить эти сигналы 29 динамиков, используя систему воспроизведения аудио, и определяет, требуются ли дополнительные настройки или редактирование для фиксации, например, желаемого художественного замысла (72). Если дополнительные настройки желательны («ДА» 72), то создатель 22 контента может выполнить ремикс коэффициентов SHC 27 (74), выполнить рендеринг коэффициентов SHC 27 (70) и определить, необходимы ли дополнительные настройки (72). Если дополнительные настройки не требуются («НЕТ» 72), то устройство 36 создания битового потока может создать битовый поток 31, представляющий аудиоконтент (76). Устройство 36 создания битового контента может также создать и задать информацию 39 рендеринга аудио в битовом потоке 31, как более подробно было описано выше (78).

Затем потребитель 24 контента может получить битовый поток 3 и информацию 39 рендеринга аудио. Затем в одном примере устройство 38 извлечения может извлечь аудиоконтент (показанный в виде SHC 27’ в примере на фиг. 4) и информацию 39 рендеринга аудио из битового потока 31. Далее устройство 32 воспроизведения аудио выполняет рендеринг коэффициентов SHC 27’ на основе информации 39 рендеринга аудио вышеописанным путем (82) и воспроизводит аудиоконтент, преобразованный с использованием указанного рендеринга (84).

Таким образом, описанные здесь технические приемы позволяют, в качестве первого примера, обеспечить устройство, которое создает битовый поток, представляющий многоканальный аудиоконтент для задания информации рендеринга аудио. Указанное устройство согласно этому первому примеру может включать в себя средство для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента.

Устройство согласно первому примеру, в котором упомянутое значение сигнала включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов в множество входных сигналов динамиков.

Во втором примере устройство согласно первому примеру, в котором значение сигнала включает в себя два или более битов, определяющих индекс, который указывает, что битовый поток включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

Устройство по второму примеру, в котором информация рендеринга аудио кроме того включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или больше битов, которые определяют количество столбцов матрицы, связанной с этим битовым потоком.

Устройство согласно первому примеру, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов во множество входных сигналов динамиков.

Устройство по первому примеру, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

Устройство согласно первому примеру, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

Устройство согласно первому примеру, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга аудиообъектов во множество входных сигналов динамиков.

Устройство согласно первому примеру, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

Устройство согласно первому примеру, в котором средство для задания информации рендеринга аудио содержит средство для задания информации рендеринга аудио для каждого аудиокадра в битовом потоке.

Устройство согласно первому примеру, в котором средство для задания информации рендеринга аудио содержит средство для однократного задания информации рендеринга в битовом потоке.

В третьем примере невременный считываемый компьютером запоминающий носитель с сохраненными в нем командами, которые при их выполнении инициируют задание одним или более процессорами информации рендеринга аудио в битовом потоке, где информация рендеринга аудио идентифицирует блок рендеринга аудио, используемый при создании упомянутого многоканального аудиоконтента.

В четвертом примере устройство для рендеринга многоканального аудиоконтента из битового потока содержит средство для определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующего блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для рендеринга множества входных сигналов динамиков на основе упомянутой информации рендеринга аудио, заданной в битовом потоке.

Устройство согласно четвертому примеру, в котором значение сигнала включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков на основе упомянутой матрицы.

В пятом примере устройство согласно четвертому примеру, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, где устройство кроме того содержит средство для синтаксического анализа матрицы из битового потока в соответствии с упомянутым индексом, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков на основе проанализированной матрицы.

Устройство согласно пятому примеру, в котором значение сигнала также включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или больше битов, которые определяют количество столбцов матрицы, включенных в битовый поток, и где средство для синтаксического анализа матрицы из битового потока содержит средство для синтаксического анализа матрицы из битового потока в соответствии с упомянутым индексом и на основе двух или более битов, которые определяют количество строк, и двух или более битов, которые определяют количество столбцов.

Устройство согласно четвертому примеру, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков из аудиообъектов с использованием заданного алгоритма рендеринга.

Устройство согласно четвертому примеру, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков из сферических гармонических коэффициентов с использованием заданного алгоритма рендеринга.

Устройство согласно четвертому примеру, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков из сферических гармонических коэффициентов с использованием одной из множества матриц, связанных с упомянутым индексом.

Устройство согласно четвертому примеру, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга аудиообъектов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков из аудиообъектов с использованием одного из множества алгоритмов рендеринга, связанных с упомянутым индексом.

Устройство согласно четвертому примеру, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и где средство для рендеринга множества входных сигналов динамиков содержит средство для рендеринга множества входных сигналов динамиков из сферических гармонических коэффициентов с использованием одного из множества алгоритмов рендеринга, связанных с упомянутым индексом.

Устройство согласно четвертому примеру, в котором средство для определения информации рендеринга аудио включает в себя средство для определения информации рендеринга аудио для каждого аудиокадра из битового потока.

Устройство согласно четвертому примеру, в котором средство для определения информации рендеринга аудио включает в себя средство для однократного определения информации рендеринга аудио из битового потока.

В шестом примере невременный считываемый компьютером запоминающий носитель с сохраненными в нем командами, которые при их выполнении инициируют определение одним или более процессорами информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании упомянутого многоканального аудиоконтента; и выполнение рендеринга множества входных сигналов динамиков на основе информации рендеринга аудио, заданной в битовом потоке.

Следует понимать, что в зависимости от примера некоторые действия или события, относящиеся к любому из описанных здесь приемов, могут выполняться в другой последовательности, к ним могут быть добавлены другие действия или события, либо те или иные действия или события могут быть объединены или исключены (например, не все описанные действия или события являются необходимыми при практической реализации упомянутого способа). Кроме того, в некоторых примерах действия или события могут выполняться параллельно, например, посредством многопоточной обработки, обработки прерываний, или посредством множества процессоров, а не последовательно. Вдобавок, хотя некоторые аспекты этого изобретения для ясности описаны с упоминанием о том, что они выполняются одним устройством, модулем или блоком, следует понимать, что технические приемы, описанные в этом изобретении, могут выполняться с использованием комбинации устройств, блоков или модулей.

В одном или более примерах описанные здесь функции могут быть реализованы аппаратными средствами или комбинацией аппаратных и программных средств (которые могут включать в себя программно-аппаратные средства). При реализации программными средствами упомянутые функции могут храниться в или передаваться через (в виде одной или более команд или кода) невременный считываемый компьютером носитель и выполняться блоком обработки на основе аппаратных средств. Считываемая компьютером среда может включать в себя считываемый компьютером носитель, которая соответствует материальному носителю, такому как запоминающий носитель данных или коммуникационный носитель, включающий в себя любой носитель, который облегчает пересылку компьютерной программы с одного места на другое, например, согласно протоколу связи.

В такой конфигурации считываемый компьютером носитель обычно может соответствовать: (1) материальному считываемому компьютером запоминающему носителю, который является невременным; или (2) коммуникационному носитель, такому как сигнальная или несущая волна. Запоминающий носитель для данных может представлять собой любой имеющийся носитель, доступ к которому возможен с одного или более компьютеров или одного или более процессоров для извлечения информации, кода и/или структур данных для реализации технических приемов, описанных в изобретении. Компьютерный программный продукт может включать в себя считываемый компьютером носитель.

Только в качестве примера, но не как ограничение, упомянутый считываемый компьютером запоминающий носитель может содержать RAM, ROM, EEPROM, CD-ROM или другое запоминающее устройство на оптическом диске, запоминающее устройство на магнитном диске либо другие магнитные запоминающие устройства, флэш-память или любую другую среду, которую можно использовать для хранения требуемого программного кода в виде команд или структур данных, и к которым может быть обеспечен доступ со стороны компьютера. Также любое соединение будет правильно называть считываемым компьютером носителем. Например, если команды передаются с веб-сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, скрученной пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная, радио- и микроволновая связь, то тогда в определение среды будут включены коаксиальный кабель, оптоволоконный кабель, скрученная пара, линия DSL или такие беспроводные технологии, как инфракрасная, радио- и микроволновая связь.

Однако следует понимать, что считываемый компьютером запоминающий носитель и запоминающий носитель данных не включают в себя соединения, несущие волны, сигналы или другие нестационарные среды, а относятся к материальным запоминающим средам длительного хранения. Используемые здесь термины «disk» и «disc» включают в себя компакт-диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), гибкий диск и диск Blu-ray, где термин «disk» относится к дискам, которые обычно воспроизводят данные с использованием магнитных явлений, в то время как термин «disc» относится к дискам, которые воспроизводят данные оптическим путем с помощью лазеров. В сферу определения считываемой компьютером среды также следует включить комбинации из вышеописанных носителей.

Команды могут выполняться одним или более процессорами, такими как один или более цифровых процессоров сигналов (DSP), микропроцессоров общего назначения, специализированных интегральных схем (ASIC), логических матриц, программируемых пользователем (FPGA) или других эквивалентных интегральных или дискретных логических схем. Соответственно, используемый здесь термин «процессор» может относиться к любой вышеупомянутой структуре или любой другой структуре, подходящей для реализации описанных здесь технических приемов. Вдобавок, в некоторых аспектах описанные здесь функциональные возможности могут быть обеспечены в специализированных аппаратных и/ил программных модулях, сконфигурированных для кодирования и декодирования или включены в комбинированный кодек. Также упомянутые технические приемы можно полностью реализовать в одной или более схемах или логических элементах.

Технические приемы в этом изобретении могут быть реализованы самыми разными устройствами, в том числе беспроводным телефонным аппаратом, интегральной схемой (IC) или набором интегральных схем (например, набор микросхем). Различные компоненты, модули или блоки описаны здесь для того, чтобы подчеркнуть функциональные аспекты устройств, сконфигурированных для выполнения раскрытых технических приемов, но при этом отсутствует обязательное требование реализации этих функций разными аппаратными блоками. Скорее наоборот, как было описано выше, разные блоки можно скомбинировать в аппаратный блок кодека, или эти блоки могут быть обеспечены в виде набора взаимодействующих аппаратных блоков, включая один или более процессоров, как было описано выше, в сочетании с подходящим программным или программно-аппаратным обеспечением.

Здесь были описаны различные варианты технических приемов. Эти и другие варианты осуществления не выходят за рамки объема нижеследующей формулы изобретения.

Изобретение относится к средствам для рендеринга многоканального аудиоконтента. Технический результат заключается в повышении качества генерируемого аудиоконтента. Определяют информацию рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, причем значение сигнала включает в себя множество коэффициентов матрицы, которые определяют матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Получают из битового потока матрицы для рендеринга сферические гармонические коэффициенты. Производят рендеринг, из сферических гармонических коэффициентов и на основе матрицы, множества входных сигналов динамиков. 4 н. и 22 з.п. ф-лы, 12 ил.

1. Способ создания битового потока, представляющего многоканальный аудиоконтент, причем способ содержит:

задание информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, в котором упомянутое значение сигнала включает в себя множество коэффициентов матрицы, которые определяют матрицу, используемую для рендеринга сферических гармонических коэффициентов в многоканальный аудиоконтент в форме множества входных сигналов динамиков.

2. Способ по п. 1, в котором значение сигнала включает в себя два или более битов, определяющих индекс, который указывает, что битовый поток включает в себя упомянутую матрицу, используемую для рендеринга сферических гармонических коэффициентов в упомянутое множество входных сигналов динамиков.

3. Способ по п. 2, в котором значение сигнала дополнительно включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток.

4. Способ по п. 1, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков.

5. Способ по п. 1, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков.

6. Способ по п. 1, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

7. Способ по п. 1, в котором задание информации рендеринга аудио включает в себя задание информации рендеринга аудио для каждого аудиокадра в битовом потоке однократно в битовом потоке или из метаданных отдельно от битового потока.

8. Устройство, сконфигурированное для создания битового потока, представляющего многоканальный аудиоконтент, причем устройство содержит:

один или более процессоров, сконфигурированных для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, в котором упомянутое значение сигнала включает в себя множество коэффициентов матрицы, которые определяют матрицу, используемую для рендеринга сферических гармонических коэффициентов в многоканальный аудиоконтент в форме множества входных сигналов динамиков.

9. Устройство по п. 8, в котором значение сигнала включает в себя два или более битов, определяющих индекс, который указывает, что битовый поток включает в себя упомянутую матрицу, используемую для рендеринга сферических гармонических коэффициентов в упомянутое множество входных сигналов динамиков.

10. Устройство по п. 9, в котором упомянутое значение сигнала дополнительно включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток.

11. Устройство по п. 8, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков.

12. Устройство по п. 8, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков.

13. Устройство по п. 8, в котором упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

14. Способ рендеринга многоканального аудиоконтента из битового потока, причем способ содержит:

определение информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, причем значение сигнала включает в себя множество коэффициентов матрицы, которые определяют матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков,

получение из битового потока матрицы для рендеринга сферических гармонических коэффициентов; и

рендеринг, из сферических гармонических коэффициентов и на основе матрицы, множества входных сигналов динамиков.

15. Способ по п. 14, в котором значение сигнала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков.

16. Способ по п. 14,

в котором значение сигнала дополнительно включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток, и

в котором получение матрицы содержит синтаксический анализ матрицы из битового потока в соответствии с упомянутым индексом и на основе двух или более битов, которые определяют количество строк, и двух или более битов, которые определяют количество столбцов.

17. Способ по п. 14,

в котором упомянутое значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором рендеринг множества входных сигналов динамиков содержит рендеринг множества входных сигналов динамиков из аудиообъектов или сферических гармонических коэффициентов с использованием заданного алгоритма рендеринга.

18. Способ по п. 14,

в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором рендеринг множества входных сигналов динамиков содержит рендеринг множества входных сигналов динамиков из аудиообъектов или сферических гармонических коэффициентов с использованием одной из множества матриц, связанных с упомянутым индексом.

19. Способ по п. 14,

в котором информация рендеринга аудио включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором рендеринг множества входных сигналов динамиков содержит рендеринг множества входных сигналов динамиков из сферических гармонических коэффициентов с использованием одного из множества алгоритмов рендеринга, связанных с упомянутым индексом.

20. Способ по п. 14, в котором определение информации рендеринга аудио включает в себя определение информации рендеринга аудио для каждого аудиокадра из битового потока, однократно из битового потока или из метаданных отдельно от битового потока.

21. Устройство, сконфигурированное для рендеринга многоканального аудиоконтента из битового потока, причем устройство содержит:

один или более процессоров, сконфигурированных для:

определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, причем значение сигнала включает в себя множество коэффициентов матрицы, которые определяют матрицу, используемую для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков;

получения, из битового потока, матрицы, используемой для рендеринга сферических гармонических коэффициентов, и

рендеринга, из сферических гармонических коэффициентов и на основе матрицы, множества входных сигналов динамиков.

22. Устройство по п. 21,

в котором значение сигнала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в себя упомянутую матрицу, используемую для рендеринга сферических гармонических коэффициентов в упомянутое множество входных сигналов динамиков.

23. Устройство по п. 22,

в котором значение сигнала дополнительно включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенных в битовый поток, и

в котором один или более процессоров сконфигурированы для синтаксического анализа матрицы из битового потока в соответствии с упомянутым индексом и на основе двух или более битов, которые определяют количество строк, и двух или более битов, которые определяют количество столбцов.

24. Устройство по п. 22, в котором значение сигнала задает алгоритм рендеринга, используемый для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором один или более процессоров дополнительно сконфигурированы для, при выполнении рендеринга множества входных сигналов динамиков, рендеринга множества входных сигналов динамиков, содержащего рендеринг множества входных сигналов динамиков из аудиообъектов или сферических гармонических коэффициентов с использованием заданного алгоритма рендеринга.

25. Устройство по п. 22,

в котором значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, используемых для рендеринга аудиообъектов или сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором один или более процессоров дополнительно сконфигурированы для, при выполнении рендеринга множества входных сигналов динамиков, рендеринга множества входных сигналов динамиков, содержащего рендеринг множества входных сигналов динамиков из аудиообъектов или сферических гармонических коэффициентов с использованием одной из множества матриц, связанных с упомянутым индексом.

26. Устройство по п. 22,

в котором информация рендеринга аудио включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков, и

в котором один или более процессоров дополнительно сконфигурированы для, при выполнении рендеринга множества входных сигналов динамиков, рендеринга множества входных сигналов динамиков, содержащего рендеринг множества входных сигналов динамиков из сферических гармонических коэффициентов с использованием одного из множества алгоритмов рендеринга, связанных с упомянутым индексом.