УСТРОЙСТВО, СПОСОБ И ПРОГРАММА АУДИООБРАБОТКИ Российский патент 2019 года по МПК H04S5/02 G10L19/08 

Область техники, которой относится изобретение

Настоящее изобретение относится к устройству, способу и программе аудиообработки и, в частности, к устройству, способу и программе аудиообработки, посредством которых может быть получен звук более высокого качества.

Уровень техники

Традиционно, в качестве технологии управления локализацией звукового образа, использующей множество громкоговорителей, известна технология VBAP (Vector Base Amplitude Panning) (смотрите, например, NPL 1).

В VBAP, посредством вывода звука тремя громкоговорителями, звуковой образ может быть локализован в некоторой произвольной точке на внутренней стороне треугольника, определяемого тремя громкоговорителями.

Однако, считается, что в реальном мире звуковой образ локализуется не в одной точке, а в части пространства, обладающей определённой степенью протяженности. Например, считается, что хотя человеческий голос формируется голосовыми связками, вибрация голоса распространяется по лицу, телу и т.п. и в результате голос излучается из части пространства, которой является все человеческое тело.

В качестве технологии локализации звука в такой части пространства, как описано выше, а именно, в качестве технологии расширения звукового образа, обычно используется MDAP (Multiple Direction Amplitude Panning) (смотрите, например, NPL 2). Дополнительно, MDAP используется также в блоке процесса рендеринга, работающем по стандарту MPEG-H 3D Audio (Moving Picture Experts Group-High Quality Three-Dimensional) (смотрите, например, NPL 3).

Литература

Непатентная литература (NPL)

[NPL 1]

Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning,” Journal of AES, том 45, № 6, стр. 456-466, 1997

[NPL 2]

Ville-Pulkki, “Uniform Spreading of Amplitude Panned Virtual Sources,” Proc. 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, Нью-Йорк, 17-20 октября, 1999

[NPL 3]

ISO/IEC JTC1/SC29/WG11 N14747, август 2014, Саппоро, Япония, “Text of ISO/IEC 23008-3/DIS, 3D Audio”

Сущность раскрытия

Техническая проблема

Однако, технология, описанная выше, неспособна получить звук достаточно высокого качества.

Например, в стандарте MPEG-H 3D Audio, информация, указывающая степень расширения звукового образа, называемого "спред", содержится в метаданных аудиообъекта, и процесс расширения звукового образа выполняется на основе спреда. Однако, в процессе расширения звукового образа существует ограничение, состоящее в том, что протяженность звукового образа является симметричной в направлениях вверх и вниз, влево и вправо относительно центра положения аудиообъекта. Поэтому, процесс, учитывающий направленность (радиальное направление) звука от аудиообъекта, не может быть выполнен и звук достаточно высокого качества не может быть получен.

Настоящая технология была разработана с учетом такой ситуации, как описано выше, и позволяет получить звук более высокого качества.

Решение проблемы

Устройство аудиообработки, соответствующее одному из вариантов настоящей технологии, содержит блок сбора данных, выполненный с возможностью получения метаданных, содержащих позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, получаемую по меньшей мере из двумерного или более вектора, и представляющую протяженность звукового образа, исходя из его положения, блок вычисления векторов, выполненный с возможностью вычисления, на основе угла в горизонтальном направлении и угла в вертикальном направлении области, представляющей протяженность звукового образа, определяемого информацией звукового образа, вектора спреда, указывающего положение в области, и блок вычисления коэффициентов усиления, выполненный с возможностью вычисления, основываясь на векторе спреда, коэффициента усиления для каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указываемого позиционной информацией.

Блок вычисления векторов может вычислять вектор спреда, основываясь на соотношении между углом в горизонтальным направлении и углом в вертикальном направлении.

Блок вычисления векторов может вычислять количество векторов спреда, определяемых заранее.

Блок вычисления векторов может вычислить переменное произвольное количество векторов спреда.

Информация звукового образа может быть вектором, указывающим положение центра области.

Информация звукового образа может быть с двумерным или более вектором, указывающим протяженность спреда звукового образа, исходя от центра области.

Информация звукового образа может быть вектором, указывающим относительное положение расположения центра области, если смотреть со стороны положения, указанного позиционной информацией.

Блок вычисления коэффициентов усиления может вычислять коэффициент усиления для каждого вектора спреда в отношении каждого из блоков вывода звука, вычислять дополнительное значение коэффициентов усиления, вычисляемое для векторов спреда для каждого из блоков вывода звука, квантовать дополнительное значение двумя или более значениями коэффициента усиления для каждого из блоков вывода звука, и вычислять конечное усиление для каждого из блоков вывода звука, основываясь на квантованном дополнительном значении.

Блок вычисления коэффициентов усиления может выбирать определенное количество ячеек, каждая из которых является областью, окруженной блоками вывода звука, и то, какое количество должно использоваться для вычисления коэффициента усиления, и вычислять коэффициент усиления для каждого из векторов спреда, основываясь на результате выбора количества ячеек и векторе спреда.

Блок вычисления коэффициентов усиления может выбрать определенное количество ячеек, которое будет использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количество квантований дополнительного значения при квантовании, и вычислять конечный коэффициент усиления с учетом результата выбора.

Блок вычисления коэффициентов усиления может выбрать, основываясь на количестве звуковых объектов, количество ячеек, которое должно использоваться при вычислении коэффициента усиления, независимо от того, должно ли выполняться квантование, и количество квантований.

Блок вычисления коэффициентов усиления может выбрать, основываясь на степени важности аудиообъекта, количество ячеек, которое должно использоваться при вычислении коэффициента усиления, независимо от того, должно ли выполняться квантование, и количество квантований.

Блок вычисления коэффициентов усиления может выбирать количество ячеек, которое должно использоваться для вычисления коэффициента усиления, таким образом, чтобы количество ячеек, которое должно использоваться для вычисления коэффициента усиления, увеличивалось в зависимости от положения аудиообъекта, расположенного вблизи аудиообъекта, обладающего высокой степенью важности.

Блок вычисления коэффициентов усиления может выбирать, основываясь на звуковом давлении звукового сигнала аудиообъекта, количество ячеек, которое должно использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количество квантований.

Блок вычисления коэффициентов усиления может выбирать с учетом результата выбора количества ячеек, три или более из множества блоков выхода звука, в том числе, блоки выхода звука, расположенные на разных высотах относительно друг друга, и вычислять коэффициент усиления, основываясь на одной или множестве ячеек, образованных выбранными блоками выхода звука.

Способ или программа аудиообработки, соответствующие одному из вариантов осуществления настоящей технологии, содержат этапы сбора метаданных, содержащих позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, полученную по меньшей мере из двумерного или более вектора и представляющего расширение звукового образа, исходя из положения аудиообъекта, вычисления вектора спреда, указывающего положение в области, основываясь на угле в горизонтальном направлении и угле в вертикальном направлении в области, представляющей протяженность звукового образа, определяемого информацией звукового образа, и вычисления, основываясь на векторе спреда, усиления каждого из аудиосигналов, подаваемых на два или более блоков выхода звука, расположенных вблизи положения, обозначенного позиционной информацией.

В одном из вариантов настоящей технологии собирают метаданные, содержащие позиционную информацию, указывающую аудиообъект, и информацию звукового образа, полученную по меньшей мере из двумерного или более вектора, представляющего протяженность звукового образа, исходя из его положения. Затем, основываясь на угле в горизонтальном направлении и угле в вертикальном направлении относительно области, представляющей протяженность звукового образа, определяемого информацией звукового образа, вычисляется вектор спреда, указывающий положение в области. Дополнительно, основываясь на векторе спреда, вычисляется усиление каждого из аудиосигналов, подаваемых на два или более блоков выхода звука, расположенных вблизи положения, указанного позиционной информацией.

Полезный результат изобретения

С помощью одного из вариантов настоящей технологии может быть получен звук более высокого качества.

Следует заметить, что описанный здесь результат, не обязательно является ограничительным, но любой из описанных в настоящем раскрытии результатов может быть обеспечен.

Краткое описание чертежей

Фиг. 1 - представление VBAP.

Фиг. 2 – представление положения звукового образа.

Фиг. 3 – представление вектора спреда.

Фиг. 4 – способ вектора центра спреда.

Фиг. 5 – способ вектора излучения спреда.

Фиг. 6 – пример конфигурации устройства аудиообработки.

Фиг. 7 – блок-схема последовательности выполнения операций процесса воспроизведения.

Фиг. 8 - блок-схема последовательности выполнения операций процесса вычисления вектора спреда.

Фиг. 9 – блок-схема последовательности выполнения операций процесса вычисления вектора спреда, основываясь на трехмерном векторе спреда

Фиг. 10 - блок-схема последовательности выполнения операций процесса вычисления вектора спреда, основываясь на векторе центра спреда.

Фиг. 11 - блок-схема последовательности выполнения операций процесса вычисления вектора спреда, основываясь на векторе конца спреда.

Фиг. 12 - блок-схема последовательности выполнения операций процесса вычисления вектора спреда, основываясь на векторе излучения спреда.

Фиг. 13 - блок-схема последовательности выполнения операций процесса вычисления вектора спреда, основываясь на позиционной информации вектора спреда.

Фиг. 14 – переключение количества ячеек.

Фиг. 15 - переключение количества ячеек.

Фиг. 16 - формирование ячейки.

Фиг. 17 – пример конфигурации устройства аудиообработки.

Фиг. 18 – блок-схема последовательности выполнения операций процесса воспроизведения.

Фиг. 19 - пример конфигурации устройства аудиообработки.

Фиг. 20 – блок-схема последовательности выполнения операций процесса воспроизведения.

Фиг. 21 – блок-схема последовательности выполнения операций процесса вычисления коэффициента усиления VBAP.

Фиг. 22 - пример конфигурации компьютера.

Осуществление изобретения

Ниже варианты осуществления, к которым применяется настоящая технология, описываются со ссылкой на чертежи.

Первый вариант осуществления

VBAP и процесс расширения звукового образа

Настоящая технология позволяет получить звук более высокого качества, когда звуковой сигнал аудиообъекта и метаданные, такие как позиционная информация звукового объекта, собраны, чтобы выполнить рендеринг. Следует заметить, что в последующем описании звуковой объект упоминается просто как объект.

Сначала ниже описываются VBAP и процесс расширения звукового образа согласно стандарту MPEG-H 3D Audio.

Например, предполагается, что, как показано на фиг. 1, пользователь U11, который использует контент движущегося образа со звуком, музыкальный фрагмент или что-либо подобное, прослушивает звук трех каналов, который выводится тремя громкоговорителями SP1-SP3 в качестве звука контента.

Рассматривается вариант, когда в таком случае, как только что описано, для локализации звукового образа в положении p, используют позиционную информацию этих трех громкоговорителей SP1-SP3, которые выводят звук различных каналов.

Например, положение p представляется трехмерным вектором (здесь далее упоминается также, как вектор p), чьей начальной точкой является начало координат O в системе трехмерных координат, и начало координат O задается положением головы пользователя U11. Дополнительно, если трехмерные векторы, для которых начальная точка задается началом координат O и они направлены в направлении положений громкоговорителей SP1-SP3, представлены как векторы I₁-I₃, соответственно, то тогда вектор p может быть представлен линейной суммой векторов I₁-I₃.

Другими словами, вектор p может быть представлен как p = g₁I₁ + g₂I₂ + g₃I₃.

Здесь, если коэффициенты g₁-g₃, на которые умножаются векторы I₁-I_3, вычисляются и определяются как коэффициенты усиления звукового сигнала, выводимого громкоговорителями SP1-SP3, соответственно, то тогда звуковой образ может быть локализован в положении p.

Технология определения коэффициентов g₁-g_3, используя позиционную информацию этих трех громкоговорителей SP1-SP3 и управляя положением локализации звукового образа таким способом, как описано выше, упоминается как трехмерное VBAP. В частности, в последующем описании, коэффициент усиления, определяемый для каждого громкоговорителя, такой как коэффициенты g₁-g_3, упоминается как коэффициент усиления VBAP.

В примере, показанном на фиг. 1, звуковой образ может быть локализован в произвольном положении в области TR11 треугольной формы на сфере, содержащей положения громкоговорителей SP1, SP2 и SP3. Здесь, область TR11 является областью на поверхности сферы с центром в начале координат O, содержащей положения громкоговорителей SP1-SP3, и является треугольной областью, окруженной громкоговорителями SP1-SP3.

Если используется такое трехмерное VBAP, то звуковой образ может быть локализован в произвольном положении в пространстве. Следует заметить, что VBAP описывается подробно, например, в ‘Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning,” Journal of AES, том 45, № 6, стр. 456-466, 1997 и т.д.

Далее описывается процесс расширения звукового образа согласно стандарта MPEG-H 3D Audio.

В стандарте MPEG-H 3D Audio битовый поток, образованный мультиплексированием кодированных аудиоданных, полученных кодированием аудиосигнала каждого объекта, и кодированных метаданных, полученных кодированием метаданных каждого объекта, выводится из устройства кодирования.

Например, метаданные содержат позиционную информацию, указывающую положение объекта в пространстве, информацию о важности, указывающую степень важности объекта, и спред, являющийся информацией, указывающей степень протяженности звукового образа объекта.

Здесь, спред, указывающий степень протяженности звукового образа, является произвольным углом от 0 до 180 градусов и устройство кодирования может назначать для спреда значения, различные для каждого кадра аудиосигнала в отношении каждого объекта.

Далее, положение объекта представляется азимутом угла в горизонтальном направлении, углом места в вертикальном направлении и расстоянием по радиусу. В частности, позиционная информация объекта образуется из значений азимута угла в горизонтальном направлении, угла места в вертикальном направлении и расстояния по радиусу.

Например, рассматривается трехмерную система координат, в которой, как показано на фиг. 2, положение пользователя, который слушает звук объектов, выводимый громкоговорителями, которые не показаны, определяется как начало координат O и направление вправо-вверх, направление влево-вверх и направление вверх на фиг. 2 определяются как ось Х, ось Y и ось Z, перпендикулярные друг другу. В этом случае, если положение одного объекта представляется как положение OBJ11, то звуковой образ может быть локализован в положения OBJ11 в трехмерной системе координат.

Дополнительно, прямая линия, соединяющая положение OBJ11 и начало координат O, представляется как линия L, угол θ (азимут) в горизонтальном направлении на фиг. 2, определяемый прямой линией L и осью х на плоскости xy, является углом азимута в горизонтальном направлении, указывающим положение в горизонтальном направлении объекта, находящегося в положении OBJ11, и азимут угла в горизонтальном направлении имеет произвольное значение, удовлетворяющее условию -180 градусов ≤ азимут ≤ 180 градусов.

Например, положительное направление в направлении оси x определяется как азимут = 0 градусов, а отрицательное направление в направлении оси x определяется как азимут = +180 градусов = -180 градусов. Дополнительно, направление против часовой стрелки вокруг начала координат O определяется как положительное направление азимута и направление по часовой стрелке вокруг начала координат O определяется как отрицательное направление азимута.

Дополнительно, угол, определяемый прямой линией L и плоскостью xy, а именно, угол γ (угол места) в вертикальном направлении на фиг. 2, является углом места в перпендикулярном направлении, указывающим положение в вертикальном направлении объекта, расположенного в положения OBJ11, и угол места в перпендикулярном направлении имеет произвольное значение, удовлетворяющее условию -90 градусов ≤ угол места ≤ 90 градусов. Например, положение на плоскости xy с углом места = 0 градусов и направлением вверх на фиг. 2 является положительным углом места в перпендикулярном направлении, а направление вниз на фиг. 2 является отрицательным направлением угла места в перпендикулярном направлении.

Дополнительно, длина прямой линии L, а именно, расстояние от начала координат O до положения OBJ11, является расстоянием по радиусу до пользователя, и расстояние по радиусу имеет значение 0 или более. В частности, расстояние по радиусу имеет значение, удовлетворяющее условию 0 ≤ радиус ≤ ∞. В последующем описании расстояние по радиусу упоминается также как расстояние в радиальном направлении.

Следует заметить, что в VBAP расстояния по радиусу от всех громкоговорителей или объектов до пользователя равны и общим способом для выполнения вычислений является нормализация расстояния по радиусу к 1.

Позиционная информация объекта, внесенная в метаданные таким способом, конфигурируется из значений азимута угла в горизонтальном направлении, угла места в вертикальном направлении и расстояния по радиусу.

В последующем описании азимут угла в горизонтальном направлении, угол места в вертикальном направлении и расстояние по радиусу упоминаются также просто как азимут, высота и радиус, соответственно.

Дополнительно, в устройстве декодирования, принимающем битовый поток, содержащий кодированные аудиоданные и кодированные метаданные, затем выполняется декодирование кодированных аудиоданных и кодированных метаданных и выполняется процесс рендеринга, чтобы расширить звуковой образ с учетом значения спреда, содержащегося в метаданных.

В частности, устройство декодирования сначала определяет положение в пространстве, указываемое позиционной информацией, содержащейся в метаданных объекта, как положение p. Положение p соответствует положению p на фиг. 1, описанном выше.

Затем устройство декодирования размещает 18 векторов p1-p18 спреда так, чтобы установить положение p в положение p = центральное положение p0, например, как показано на фиг. 3, эти векторы являются симметричными в направлении вверх и вниз и в направлении влево и вправо на единичной сферической плоскости вокруг центрального положения p0. Следует заметить, что на фиг. 3 участки, соответствующие участкам в случае, показанном на фиг. 1, обозначаются схожими ссылочными позициями, и описание участков, соответственно не повторяется.

На фиг. 3 пять громкоговорителей SP1 к SP5 располагаются на сферической плоскости единичной сферы с радиусом 1, с центром в начале координат O, и положение p, указываемое позиционной информацией, является положением p0 центра. В последующем описании положение p конкретно упоминается также как положение объекта p и вектор, начальной точкой которого является начало координат O и конечной точкой которого является положение объекта p, упоминается также как вектор p. Далее, вектор, начальной точкой которого является начало координат O и конечной точкой которого является положение p0 центра, упоминается также как вектор p0.

На фиг. 3 знак стрелки, начальной точкой которой является начало координат O и которая изображается пунктирной линией, представляет вектор спреда. Однако, хотя фактически существуют 18 векторов спреда, на фиг. 3 для большей ясности показаны только восемь векторов спреда.

Здесь, каждый из векторов p1-p18 спреда является вектором, положение конечной точки которого находится в пределах области окружности R11 на единичной сферической плоскости, центрованной в положении p0 центра. В частности, угол, определенный вектором спреда, положение конечной точки которого находится на окружности круга, представляется областью R11, и вектор p0 является углом, указанным спредом.

Соответственно, положение конечной точки каждого вектора спреда располагается в положении, отделяемом промежутком от положения p0 центра, причем значение промежутка увеличивается по мере увеличения значения спреда. Другими словами, область R11 увеличивается в размерах.

Область R11 представляет расширение звукового образа по мере удаления от положения объекта. Другими словами, область R11 является областью, указывающей диапазон, в котором звуковой образ объекта расширяется. Дополнительно, можно считать, что поскольку принимается, что звук объекта излучается всем объектом, область R11 представляет форму объекта. В последующем описании, область, указывающая диапазон, в котором звуковой образ объекта расширяется подобно области R11, также упоминается как область, указывающая расширение звукового образа.

Дополнительно, когда значение спреда равно 0, положения конечной точки 18 векторов p1-p18 спреда эквивалентны положению p0 центра.

Следует заметить, что в последующем описании положения конечной точки векторов p1-p18 спреда также конкретно упоминаются как положения p1-p18, соответственно.

После того, как векторы спреда, симметричные в направлениях вверх и вниз и в направлениях влево и вправо на единичной сферической плоскости, определены, как описано выше, устройство декодирования вычисляет коэффициент усиления VBAP для каждого из громкоговорителей каналов посредством VBAP в отношении вектора p и векторов спреда, а именно, в отношении каждого положения p и положений p1-p18. В этом случае, коэффициенты усиления VBAP для громкоговорителей вычисляются так, что звуковой образ локализуется в каждом из положений, таких как положение p и положение p1.

Затем устройство декодирования добавляет коэффициенты усиления VBAP, вычисленные для положений каждого из громкоговорителей. Например, в примере, показанном на фиг. 3, добавляются коэффициенты усиления VBAP для положения p, вычисленные в отношении громкоговорителя SP1 и положений p1-p18.

Дополнительно, после процесса центрования, вычисленного для индивидуальных громкоговорителей, устройство декодирования нормализует коэффициенты усиления VBAP. В частности, нормализация выполняется таким образом, что сумма квадратов коэффициентов усиления VBAP для всех громкоговорителей становится равной 1.

Затем устройство декодирования умножает аудиосигнал объекта на коэффициенты усиления VBAP громкоговорителей, полученные посредством нормализации, чтобы в результате получить аудиосигналы для индивидуальных громкоговорителей, и подает аудиосигналы, полученные для индивидуальных громкоговорителей, на громкоговорители, которые выводят звук.

Следовательно, например, в примере, показанном на фиг. 3, звуковой образ локализуется так, что звук выводится из всей области R11. Другими словами, звуковой образ расширяется до всей области R11.

На фиг. 3, когда процесс расширения звукового образ не выполняется, звуковой образ объекта локализуется в положении p и поэтому в этом случае звук выводится, по существу, от громкоговорителя SP2 и громкоговорителя SP3. Напротив, когда процесс расширения звукового образа выполняется, звуковой образ расширяется на всю область R11 и поэтому при воспроизведении звука звук выводится от громкоговорителей SP1-SP4.

В этой связи, когда такой процесс расширения звукового образа, как описано выше, выполняется, объем обработки при рендеринге увеличивается по сравнению с объемом обработки в альтернативном случае, когда процесс расширения звукового образа не выполняется. Следовательно, имеет место случай, когда количество объектов, которое может обрабатывать устройство декодирования, уменьшается, или, в другом случае, когда рендеринг не может быть выполнен устройством декодирования, содержащим устройство рендеринга с малопроизводительным аппаратным обеспечением.

Поэтому, когда при рендеринге выполняется процесс расширения звукового образа, желательно сделать возможным выполнение рендеринга с как можно меньшим объемом обработки.

Дополнительно, поскольку существует ограничение, что 18 векторов спреда, описанных выше, являются симметричными в направлениях вверх и вниз и в направлениях влево и вправо на единичной сферической плоскости вокруг положения центра p0 = положение p, процесс, учитывающий направленность (направление излучения) звука объекта или форму объекта, не может быть выполнен. Поэтому, звук достаточно высокого качества не может быть получен.

Дополнительно, поскольку в стандарте MPEG-H 3DAudio один из видов процесса предписывается в качестве процесса для расширения звукового образа при рендеринге, когда производительность аппаратного обеспечения устройства рендеринга мала, процесс расширения звукового образа не может быть выполнен. Другими словами, воспроизведение звука не может быть выполнено.

Дополнительно, в стандарте MPEG-H 3D Audio, невозможно выполнить переключение обработки на выполнение рендеринга, так чтобы за счет объема обработки, разрешенного производительностью аппаратных средств устройства рендеринга, мог быть получен звук, обладающий максимальным качеством.

Учитывая описанную выше ситуацию, настоящая технология позволяет уменьшить объем обработки при рендеринге. Дополнительно, настоящая технология позволяет получить звук достаточно высокого качества, представляя направленность или форму объекта. Дополнительно, настоящая технология позволяет выбрать соответствующий процесс в качестве процесса, выполняемого при рендеринге, с учетом производительности аппаратных средств устройства рендеринга и т.п., чтобы получить звук, обладающий наивысшим качеством в пределах диапазона разрешенного объема обработки.

Ниже приводится общее описание настоящей технологии.

Уменьшение объема обработки

Сначала описывается уменьшение объема обработки при рендеринге.

При обычном процессе VBAP (процессе рендеринга), в котором звуковой образ не расширяется, выполняются процессы A1-A3, в частности, описанные ниже:

Процесс A1

Коэффициенты усиления VBAP, на которые должен быть умножен аудиосигнал, вычисляются в отношении трех громкоговорителей.

Процесс A2

Выполняется нормализация, так чтобы сумма квадратов коэффициентов усиления VBAP для этих трех громкоговорителей стала равной 1.

Процесс A3

Аудиосигнал объекта умножается на коэффициенты усиления VBAP.

Здесь, поскольку при процессе A3 выполняется процесс умножения аудиосигнала на коэффициент усиления VBAP для каждого из этих трех громкоговорителей, такой процесс умножения, как описано здесь, выполняется максимум три раза.

С другой стороны, при процессе VBAP (процесс рендеринга), когда выполняется процесс расширения звукового образа, выполняются процессы B1-B5, конкретно описанные ниже:

Процесс B1

Коэффициент усиления VBAP, на который должен быть умножен аудиосигнал каждого из этих трех громкоговорителей, вычисляется в отношении вектора p.

Процесс B2

Коэффициент усиления VBAP, на который должен быть умножен аудиосигнал каждого из этих трех громкоговорителей, вычисляется в отношении 18 векторов спреда.

Процесс B3

Коэффициенты усиления VBAP, вычисленные для векторов, добавляются для каждого громкоговорителя.

Процесс B4

Нормализация выполняется так, что, сумма квадратов коэффициентов усиления VBAP всех громкоговорителей становится равной 1.

Процесс B5

Аудиосигнал объекта умножается на коэффициенты усиления VBAP.

При выполнении процесса расширения звукового образа, поскольку количество громкоговорителей, которые выводят звук, равно трем или более, процесс умножения при процессе B5 выполняется три раза или более.

Соответственно, если сравнивать случай, в котором выполняется процесс расширения звукового образа, и другой случай, в котором процесс расширения звукового образа не выполняется, то когда процесс расширения звукового образа выполняется, объем обработки увеличивается на величину, определяемую, в частности, процессами B2 и B3, а также объем обработки при процессе B5 больше, чем при процессе A3.

Следовательно, настоящая технология дает возможность уменьшить объем обработки в процессе B5, описанном выше, квантуя сумму коэффициентов усиления VBAP для векторов, определенных для каждого громкоговорителя.

В частности, такой процесс как описано ниже, выполняется настоящей технологией. Следует заметить, что сумма (дополнительное значение) коэффициентов усиления VBAP, вычисленных для каждого вектора, таких как вектор p или вектор спреда, определяемая для каждого громкоговорителя, упоминается также как дополнительное значение коэффициента усиления VBAP.

Сначала, после того, как выполнены процессы B1-B3 и дополнительное значение коэффициента усиления VBAP получено для каждого громкоговорителя, дополнительное значение коэффициентов усиления VBAP преобразуется в двоичную форму. При преобразовании в двоичную форму, например, дополнительное значение коэффициента усиления VBAP для каждого громкоговорителя равно 0 или 1.

В качестве способа преобразования в двоичную форму дополнительного значения коэффициента усиления VBAP может быть применен любой способ, такой как округление, округление до максимума (округление в большую сторону), округление с отбрасыванием (усечение) или процесс порогового значения.

После того, как дополнительное значение коэффициента усиления VBAP преобразовано таким способом в двоичную форму, процесс B4, описанный выше, выполняется на основе двоичного дополнительного значения коэффициента усиления VBAP. Затем, в результате, конечное значение коэффициента усиления VBAP для каждого громкоговорителя является единичным коэффициентом усиления, отличным от 0. Другими словами, если дополнительное значение коэффициента усиления VBAP является двоичным, то окончательное значение коэффициента усиления VBAP для каждого громкоговорителя равно 0 или заданному значению.

Например, если в результате преобразования в двоичную форму дополнительное значение коэффициента усиления VBAP для этих трех громкоговорителей равно 1, а дополнительное значение коэффициента усиления VBAP для других громкоговорителей равно 0, то окончательное значение коэффициента усиления VBAP для этих трех громкоговорителей равно 1/3 ^(1/2).

После того, как конечные коэффициенты усиления VBAP для громкоговорителей получены таким способом, в качестве процесса B5’ вместо процесса B5, описанного выше, выполняется процесс умножения аудиосигналов для громкоговорителей на конечные коэффициенты усиления VBAP.

Если преобразование в двоичную форму выполняется таким способом, как описано выше, то, поскольку окончательное значение коэффициента усиления VBAP для каждого громкоговорителя становится равным 0 или заданному значению, в процессе B5’ необходимо выполнить процесс умножения только один раз, и поэтому объем обработки можно уменьшить. Другими словами, в то время как процесс B5 требует выполнения процесса умножения три раза или более, процесс B5’ требует выполнения процесса умножения только один раз.

Следует заметить, что, хотя описание приведено здесь для случая, в котором, в качестве примера, дополнительное значение коэффициента усиления VBAP является двоичным, дополнительное значение коэффициента усиления VBAP может быть квантовано по-другому, тремя значениями или более.

Например, когда дополнительное значение коэффициента усиления VBAP равно одному из трех значений, после того, как выполнены описанные выше процессы B1-B3 и дополнительное значение коэффициента усиления VBAP получено для каждого громкоговорителя, дополнительное значение коэффициента усиления VBAP квантуется значениями 0, 0,5 и 1. После этого выполняются процесс B4 и процесс B5’. В этом случае, количество процессов умножения в процессе B5’ максимально равно двум.

Когда дополнительное значение коэффициента усиления VBAP равно значению x, преобразованному таким способом, а именно, когда дополнительное значение коэффициента усиления VBAP квантуется одним из коэффициентов усиления x, где x равен или больше 2, то тогда количество рабочих характеристик процесса умножения в процессе B5’ становится максимально равным (x - 1).

Следует заметить, что, хотя в предшествующем описании представлен пример, в котором при выполнении расширения звукового образа дополнительное значение коэффициента усиления VBAP квантуется, чтобы уменьшить объем обработки, также, когда процесс расширения звукового образа не выполняется, объем обработки можно уменьшить, квантуя коэффициент усиления VBAP аналогичным образом. В частности, если коэффициент усиления VBAP для каждого громкоговорителя, определенный в отношении вектора p, квантован, то количество выполнений процесса умножения для аудиосигнала на коэффициент усилениям VBAP после нормализации может быть уменьшено.

Процесс представления формы и направленности звука от объекта

Далее описывается процесс представления формы объекта и направленности звука объекта с помощью настоящей технологии.

Далее описываются пять способов, содержащих способ трехмерного вектора спреда, способ вектора центра спреда, способ вектора конца спреда, способ вектора излучения спреда и способ произвольного вектора спреда.

Способ трехмерного вектора спреда

Сначала описывается способ трехмерного вектора спреда.

В способе трехмерного вектора спреда, трехмерный вектор спреда, который является трехмерным вектором, хранится и передается вместе с битовым потоком. Здесь предполагается, что трехмерный вектор спреда хранится, например, в метаданных кадра каждого сигнала для каждого объекта. В этом случае, спред, указывающий степень протяженности звукового образа, не сохраняется в метаданных.

Например, трехмерный вектор спреда является трехмерным вектором, содержащим три коэффициента: s3_azimuth, указывающий степень протяженности звукового образа в горизонтальном направлении, s3_elevation, указывающий степень протяженности звукового образа в вертикальном направлении, и s3_radius, указывающий глубину в направлении по радиусу звукового образа.

В частности, трехмерный вектор спреда = (s3_azimuth, s3_elevation, s3_radius).

Здесь, s3_azimuth указывает угол спреда звукового образа в горизонтальном направлении относительно положения p, а именно, в направлении азимута угла в горизонтальном направлении, описанного выше. В частности, s3_azimuth указывает угол, определяемый вектором в направлении конца стороны области в горизонтальном направлении, который указывает протяженность звукового образа от начала координат O, и вектор p (вектор pO).

Аналогично, s3_elevation указывает угол спреда звукового образа в вертикальном направлении относительно положения p, а именно, в направлении угла места в вертикальном направлении, описанного выше. В частности, s3_elevation указывает угол, определяемый между вектором в направлении конца области в вертикальном направлении, которая указывает протяженность звукового образа от начала координат O, и вектором p (вектор pO). Дополнительно, s3_radius указывает глубину в направлении расстояния по радиусу, описанного выше, а именно, в нормальном направлении к единичной сферической плоскости.

Следует заметить, что s3_azimuth, s3_elevation и s3_radius имеют значения, равные или больше 0. Дополнительно, хотя трехмерный вектор спреда здесь является информацией, указывающей положение относительно положения p, указанного позиционной информацией объекта, в ином случае, трехмерный вектор спреда может быть информацией, указывающей абсолютное положение.

В способе трехмерного вектора спреда такой трехмерный вектор спреда, как описано выше, используется для выполнения рендеринга.

В частности, в способе трехмерного вектора спреда значение спреда вычисляется, используя выражение (1), приведенное ниже, основываясь на трехмерном векторе спреда:

Выражение 1

спред: max(s3_azimuth, s3_elevation) - (1)

Следует заметить, что max(a, b) в выражении (1) указывает функцию, которая дает в результате одно более высокое из значений a или b. Соответственно, более высокое значение s3_azimuth и s3_elevation определяется как значение спреда.

Затем, на основе значения спреда, полученного таким способом, и позиционной информации, содержащейся в метаданных, 18 векторов спреда p1-p18 вычисляются подобно случаю стандарта MPEG-H 3D Audio.

Соответственно, положение p объекта, указанное позиционной информацией, содержащейся в метаданных, определяется как центральное положение рО, и 18 векторов p1-p18 спреда определяются так, что они симметричны в направлениях влево и вправо и в направлениях вверх и вниз на единичной сферической плоскости, центрованной в положении рО центра.

Дополнительно, в способе трехмерного вектора спреда вектор рО, начальной точкой которого является начало координат O и конечной точкой которого является положение рО центра, определяется как вектор р0 спреда.

Дополнительно, каждый вектор спреда представляется азимутом угла в горизонтальном направлении, углом места в вертикальном направлении и расстоянием по радиусу. В дальнейшем, азимут угла в горизонтальном направлении и угол места в вертикальном направлении, в частности, вектора спреда pi (где i = 0-18), представляются как a(i) и e(i), соответственно.

После того, как векторы p0-p18 спреда получены таким образом, векторы спреда p1-p18 изменяются (корректируются) на конечные векторы спреда на основе отношения между s3_azimuth и s3_elevation.

В частности, когда s3_azimuth больше, чем s3_elevation, выполняется вычисление нижеследующего выражения (2), чтобы изменить e(i), который является углом места векторов спреда p1-p18, на e’(i):

Выражение 2

e’ (i) = e (0) + (e (i) - e (0)) s × 3_elevation/s3_azimuth - (2)

Следует заметить, что для вектора p0 спреда коррекция угла места не производится.

Напротив, когда s3_azimuth меньше, чем s3_elevation, производится вычисление нижеследующего выражения (3), чтобы изменить a(i), который является азимутом векторов p1-p18 спреда, на a’(i):

Выражение 3

a’(i) = (0) + (a(i) - a(0)) × s3_azimuth/s3_elevation - (3)

Следует заметить, что для вектора p0 спреда коррекция азимута не производится.

Процесс определения большего из s3_azimuth и s3_elevation в качестве спреда, чтобы определить вектор спреда таким способом, как описано выше, является процессом экспериментального установления области, указывающей протяженность звукового образа на единичной сферической плоскости, в виде круга с радиусом, определяемым углом большего из s3_azimuth и s3_elevation, чтобы определить вектор спреда с помощью процесса, подобного стандартному процессу.

Дополнительно, процесс коррекции вектора спреда в дальнейшем с помощью выражения (2) или выражения (3), выбираемого с учетом сравнения соотношения величин s3_azimuth и s3_elevation, является процессом коррекции области, указывающей протяженность звукового образа, а именно, вектора спреда, так что область, указывающая протяженность звукового образа на единичной сферической плоскости становится областью, определенной первоначальными s3_azimuth и s3_elevation, определяемыми трехмерным вектором спреда.

Соответственно, процессы, описанные выше, затем все становятся процессами для вычисления вектора спреда для области, указывающей протяженность звукового образа, которая имеет круглую форму или эллиптическую форму, на единичной сферической плоскости на основе трехмерного вектора спреда, а именно, на основе s3_azimuth и s3_elevation.

После того, как векторы спреда получены таким способом, векторы p0-p18 спреда затем используются для выполнения процесса B2, процесса B3, процесса B4 и процесса B5’, описанных выше, чтобы сформировать аудиосигналы, которые должны подаваться на громкоговорители.

Следует заметить, что в процессе B2 коэффициент усиления VBAP для каждого громкоговорителя вычисляется в отношении каждого из 19 векторов p0-p18 спреда. Здесь, поскольку вектор p0 спреда является вектором p, можно считать, что процесс для вычисления коэффициента усиления VBAP в отношении вектора p0 спреда должен выполнить процесс B1. Дополнительно, после процесса B3, квантование каждого дополнительного значения коэффициента усиления VBAP выполняется по мере необходимости.

Устанавливая таким способом с помощью трехмерных векторов спреда область, указывающую протяженность звукового образа, как область произвольной формы, становится возможным представить форму объекта и направленность звука объекта и посредством рендеринга может быть получен звук более высокого качества.

Дополнительно, хотя здесь описывается пример, в котором более высокое из значений s3_azimuth и s3_elevation используется в качестве значения спреда, в другом случае, в качестве величины спреда может использоваться более низкое из значений s3_azimuth и s3_elevation.

В этом случае, когда s3_azimuth больше, чем s3_elevation, a(i), которое является азимутом каждого вектора спреда, корректируется, но, когда s3_azimuth меньше, чем s3_elevation, корректируется e(i), которое является углом места каждого вектора спреда.

Дополнительно, хотя здесь дается описание для примера, в котором векторы p0-р18 спреда, а именно, 19 векторов спреда, определяются заранее и коэффициент усиления VBAP вычисляется в отношении векторов спреда, количество векторов спреда, которые будут вычисляться, может быть переменным.

В таком случае, который только что описан, количество векторов спреда, которые должны быть сформированы, может быть определено, например, как результат соотношения между s3_azimuth и s3_elevation. В соответствии с таким процессом, который только что описан, например, когда объект вытянут по горизонтали и величина звука объекта в вертикальном направлении мала, если векторами спреда, располагающимися рядом друг с другом в вертикальном направлении, пренебрегают и векторы спреда располагаются рядом с другом, по существу, в горизонтальном направлении, то протяженность звука в горизонтальном направлении может быть представлена соответственно.

Способ вектора центра спреда

Далее описывается способ вектора центра спреда.

В способе вектора центра спреда вектор центра спреда, который является трехмерным вектором, хранится и передается вместе с битовым потоком. Здесь предполагается, что вектор центра спреда хранится, например, в метаданных кадра каждого аудиосигнала для каждого объекта. В этом случае также в метаданных сохраняется спред, указывающий степень протяженности звукового образа.

Вектор центра спреда является вектором, указывающим положение рО центра области, указывающей протяженность звукового образа объекта. Например, вектор центра спреда является трехмерным вектором, образованным тремя коэффициентами: азимут, указывающий угол положения центра рО в горизонтальном направлении, угол места, указывающий угол положения центра рО в вертикальном направлении, и радиус, указывающий расстояние от положения центра рО в радиальном направлении.

В частности, вектор центра спреда = (азимут, угол места, радиус).

В процессе рендеринга положение, указываемое вектором центра спреда, определяется как положение центра рО и векторы p0-p18 спреда вычисляются как векторы спреда. Здесь, например, как показано на фиг. 4, вектор p0 спреда является вектором рО, начальная точка которого является началом координат O и конечная точка которого является положением рО центра. Следует заметить, что на фиг. 4 участки, соответствующие участкам на фиг. 3, обозначаются аналогичными ссылочными позициями, и их описание, соответственно, не повторяется.

Дополнительно, на фиг. 4, знак стрелки в виде пунктирной линии, представляет вектор спреда, а также на фиг. 4, чтобы сделать чертеж более читаемым, показаны только девять векторов спреда.

В то время, как в примере, показанном на фиг. 3, положение p = положение рО центра, в примере на фиг. 4, положение рО центра является положением, отличным от положения p. В этом примере можно видеть, что область R21, указывающая протяженность звукового образа и центрованная в положении рО центра, перемещается на фиг. 4 к левой стороне относительно показанного на фиг. 3 в отношении положения p, которое является положением объекта.

Если таким способом возможно определить в качестве положения рО центра области, указывающей протяженность звукового образа, произвольное положение вектора центра спреда, то направленность звука объекта может быть представлена с более высокой степенью точности.

В способе вектора центра спреда, если получены векторы p0-p18 спреда, то после этого выполняется процесс B1 для вектора p и процесс B2 выполняется в отношении векторов p0-p18 спреда.

Следует заметить, что в процессе B2 коэффициент усиления VBAP может быть вычислен в отношении каждого из 19 векторов спреда или коэффициент усиления VBAP может быть вычислен только в отношении векторов p1-p18 спреда, исключая вектор p0 спреда. В дальнейшем описание делается, предполагая, что коэффициент усиления VBAP вычисляется также в отношении вектора p0 спреда.

Дополнительно, после того как вычислен коэффициент усиления VBAP для каждого вектора, выполняются процесс B3, процесс B4 и процесс B5’, чтобы сформировать аудиосигналы, которые должны быть поданы на громкоговорители. Следует заметить, что после процесса B3 квантование дополнительного значения коэффициента усиления VBAP выполняется по мере необходимости.

Также, посредством такого способа вектора центра спреда, как описано выше, с помощью рендеринга может быть получен звук достаточно высокого качества.

Способ вектора конца спреда

Теперь описывается способ вектора конца спреда.

В способе вектора конца спреда, вектор конца спреда, который является пятимерным вектором, хранится и передается вместе с битовым потоком. Здесь предполагается, что, например, вектор конца спреда хранится в метаданных кадра каждого аудиосигнала для каждого объекта. В этом случае, спред, указывающий степень протяженности звукового образа, не хранится в метаданных.

Например, вектор конца спреда является вектором, представляющим область, указывающую протяженность звукового образа объекта, и является вектором, образованным из пяти коэффициентов спреда: азимут левого конца спреда, азимут правого конца спреда, угол места верхнего конца спреда, угол места нижнего конца спреда и радиус спреда.

Здесь, азимут левого конца спреда и азимут правого конца спреда, образующие вектор конца спреда индивидуально указывают значения азимута углов в горизонтальном направлении, указывающие абсолютные положения левого конца и правого конца в горизонтальном направлении области, показывающей протяженность звукового образа. Другими словами, азимут левого конца спреда и азимут правого конца спреда индивидуально указывают углы, представляющие степени протяженности звукового образа в направлении влево и в направлении вправо от положения рО центра области, указывающей протяженность звукового образа.

Между тем, угол места верхнего конца спреда и угол места нижнего конца спреда индивидуально указывают значения углов места в вертикальном направлении, показывая абсолютные положения верхнего конца и нижнего конца в вертикальном направлении области, указывающей протяженность звукового образа. Другими словами, угол места верхнего конца спреда и угол места нижнего конца спреда индивидуально указывают углы, представляющие степени протяженности звукового образа в направлении вверх и в направлении вниз относительно положения рО центра области, указывающей протяженность звукового образа. Дополнительно, радиус спреда указывает глубину звукового образа в радиальном направлении.

Следует заметить, что, хотя вектор конца спреда здесь является информацией, указывающей абсолютное положение в пространстве, вектор конца спреда в противном случае может быть информацией, указывающей относительное положение относительно положения p, указываемого позиционной информацией объекта.

В способе вектора конца спреда рендеринг выполняется, используя такой вектор конца спреда, как описано выше.

В частности, в способе вектора конца спреда нижеследующее выражение (4) вычисляется на основе вектора конца спреда, чтобы вычислить положение рО центра:

Выражение 4

азимут: (азимут левого конца спреда + азимут правого конца спреда)/2

угол места: (угол места левого конца спреда + угол места правого конца спреда)/2

радиус: радиус спреда - (4)

В частности, азимут угла в горизонтальном направлении, указывающий положение pO центра, является, средним (усредненным) углом между азимутом левого конца спреда и азимутом правого конца спреда, а угол места в вертикальном направлении, указывающий положение pO центра, является средним (усредненным) углом между углом места верхнего конца спреда и углом места нижнего конца спреда. Дополнительно, расстояние по радиусу, указывающее положение pO центра, является радиусом спреда.

Соответственно, в способе вектора конца спреда положение рО центра иногда становится положением, отличным от положения p объекта, указанного позиционной информацией.

Дополнительно, в способе вектора конца спреда значение спреда вычисляется посредством следующего выражения (5):

Выражение 5

спред: max(азимут левого конца спреда – азимут правого конца спреда)/2, (угол места верхнего конца спреда – угол места нижнего конца спреда)/2) - (5)

Следует заметить, что max(a, b) в выражении (5) указывает функцию, которая дает в результате одно из более высоких значений a или b. Соответственно, большее значение (азимут левого конца спреда – азимут правого конца спреда)/2, которое является углом, соответствующим радиусу в горизонтальном направлении, и значение (угол места верхнего конца спреда – угол места нижнего конца спреда)/2, которое является углом, соответствующим радиусу в вертикальном направлении в области, указывающей протяженность звукового образа объекта, указанного вектором конца спреда, определяется как значение спреда.

Затем, на основе значения спреда, полученного таким способом, и положения рО центра (вектор рО), 18 векторов p1-p18 спреда вычисляются аналогично случаю стандарта MPEG-H 3D Audio.

Соответственно, 18 векторов p1-p18 спреда определяются таким образом, что они симметричны в направлении вверх и в направлении вниз, а также в направлении влево и вправо на единичной сферической плоскости, центрированной в положении рО центра.

Дополнительно, в способе вектора конца спреда вектор рО, начальной точкой которого является начало координат O и конечной точкой которого является положение рО центра, определяется как вектор рО спреда.

Кроме того, в способе вектора конца спреда, аналогично случаю способа трехмерного вектора спреда, каждый вектор спреда представляется азимутом угла в горизонтальном направлении, углом места в вертикальном направлении и расстоянием по радиусу. Другими словами, азимут угла в горизонтальном направлении и угол места в вертикальном направлении вектора pi спреда (где i = от 0 до 18) представляются как a(i) и e(i), соответственно.

После того, как векторы p0-p18 спреда получены таким способом, векторы p1-p18 спреда изменяются (корректируются) на основе соотношения между (азимут левого конца спреда – азимут правого конца спреда) и (угол места верхнего конца спреда – угол места нижнего конца спреда), чтобы определить конечные векторы спреда.

В частности, если (азимут левого конца спреда – азимут правого конца спреда) больше, чем (угол места верхнего конца спреда – угол места нижнего конца спреда), то выполняется вычисление выражения (6), приведенного ниже, и значение e(i), которое является углом места каждого из векторов p1-p18 спреда, изменяется на e’(i):

Выражение 6

e’(i) = e(0) + (e(i) - e (0)) × (угол места верхнего конца спреда – угол места нижнего конца спреда)/(азимут левого конца спреда – азимут правого конца спреда) - (6)

Следует заметить, что для вектора р0 спреда коррекция угла места не выполняется.

С другой стороны, когда (азимут левого конца спреда – азимут правого конца спреда) меньше, чем (угол места верхнего конца спреда – угол места нижнего конца спреда), выполняется вычисление выражения (7), приведенного ниже, и значение a(i), которое является азимутом каждого из векторов p1-p18 спреда, изменяется на a’(i):

Выражение 7

’a(i) = a(0) + (a(i) - a(0)) × (азимут левого конца спреда – азимут правого конца спреда) / (угол места верхнего конца спреда – угол места нижнего конца спреда) - (7)

Следует заметить, что для вектора р0 спреда коррекция азимута не производится.

Следует заметить, что способ вычисления вектора спреда, как описано выше, в основном, подобен случаю способа трехмерного вектора спреда.

Соответственно, процессы, описанные выше, в конце концов являются процессами для вычисления на основе вектора конца спреда, вектора спреда для области, указывающей протяженность звукового образа круговой формы или эллиптической формы на единичной сферической плоскости, определяемой вектором конца спреда.

После того, как векторы спреда получены таким способом, вектор p и векторы p0-p18 спреда используются для выполнения процесса B1, процесса B2, процесса B3, процесса B4 и процесса B5’, описанных выше, формируя, таким образом, аудиосигналы, которые должны подаваться на громкоговорители.

Следует заметить, что в процессе B2 коэффициент усиления VBAP для каждого громкоговорителя вычисляется в отношении 19 векторов спреда. Дополнительно, после процесса B3, по мере необходимости, выполняется квантование дополнительных значений коэффициентов усиления VBAP.

Устанавливая таким способом посредством вектора конца спреда область, указывающую протяженность звукового образа, как область произвольной формы, имеющую положение рО центра в произвольном положении, становится возможным представить форму объекта и направленность звука объекта, и с помощью рендеринга может быть получен звук более высокого качества.

Дополнительно, хотя здесь описывается пример, в котором более высокое из значений (азимут левого конца спреда – азимут правого конца спреда)/2 или (угол места верхнего конца спреда – угол места нижнего конца спреда)/2 используется в качестве значения спреда, в другом случае в качестве значения спреда может использоваться более низкое из указанных значений.

Дополнительно, хотя здесь в качестве примера описывается случай, в котором коэффициент усиления VBAP вычисляется в отношении вектора p0 спреда, коэффициент усиления VBAP не может быть вычислен в отношении вектора p0 спреда. Последующее описание приводится, предполагая, что коэффициент усиления VBAP вычисляется также в отношении вектора p0 спреда.

Альтернативно, подобно случаю способа трехмерного вектора спреда, количество векторов спреда, которые должны быть сформированы, может быть определено, например, в ответ на соотношение между (азимут левого конца спреда - азимут правого конца спреда), и (угол места верхнего конца спреда - угол места нижнего конца спреда).

Способ вектора излучения спреда

Дополнительно описывается способ вектора излучения спреда.

В способе вектора излучения спреда вектор излучения спреда, который является трехмерным вектором, хранится и передается вместе с битовым потоком. Здесь предполагается, что, например, вектор излучения спреда хранится в метаданных кадра каждого аудиосигнала для каждого объекта. В этом случае, в метаданных также хранится спред, указывающий степень протяженности звукового образа.

Вектор излучения спреда является вектором, указывающим относительное положение для положения рО центра области, указывающей протяженность звукового образа объекта относительно положения p объекта. Например, вектор излучения спреда является трехмерным вектором, образованным тремя коэффициентами: азимут, указывающий угол в горизонтальном направлении к положению рО центра, угол места, указывающий угол в вертикальном направлении к положению рО цента, и радиус, указывающий расстояние в радиальном направлении до положения рО центра, если смотреть со стороны положения p.

Другими словами, вектор излучения спреда = (азимут, угол места, радиус).

При процессе рендеринга положение, указываемое вектором, полученным сложением вектора излучения спреда и вектора p, определяется как положение рО центра и в качестве вектора спреда вычисляются векторы p0-p18 спреда. Здесь, например, как показано на фиг. 5, вектор p0 спреда является вектором рО, начальной точкой которого является начало координат O и конечной точкой которого является положение рО центра. Следует заметить, что на фиг. 5 участки, соответствующие участкам в случае, показанном на фиг. 3, обозначаются схожими ссылочными позициями и описание участков, соответственно, не приводится.

Дополнительно, на фиг. 5, знак стрелки, показанный пунктирной линией, представляет вектор спреда и на фиг. 5 также, чтобы сделать чертеж более понятным, изображаются только девять векторов спреда.

В то время как в примере, показанном на фиг. 3, положение p = положение рО центра, в примере, показанном на фиг. 5, положение рО центра является положением, отличающимся от положения p. В этом примере положение конечной точки вектора, полученного сложением вектора p и вектора излучения спреда, обозначенного знаком стрелки B11, является положением рО центра.

Дополнительно, может видеть, что область R31, указывающая протяженность звукового образа и центрованная в положении рО центра, смещается на фиг. 5 к левой стороне больше, чем в примере на фиг. 3, относительно положения p, которое является положением объекта.

Если становится возможным определить этим способом в качестве положения рО центра области, указывающей протяженность звукового образа, произвольное положение, используя вектор излучения спреда и положение p, то направленность звука объекта может быть представлена более точно.

В способе вектора излучения спреда, если векторы p0-p18 спреда получены, то после этого далее для вектора p выполняется процесс B1 и для векторов p0-p18 спреда выполняется процесс B2.

Следует заметить, что в процессе B2 коэффициент усиления VBAP может быть вычислен в отношении 19 векторов спреда или коэффициент усиления VBAP может быть вычислен только в отношении векторов p1-p18 спреда, исключая вектор p0 спреда. В последующем описании предполагается, что коэффициент усиления VBAP вычисляется также в отношении вектора p0 спреда.

Дополнительно, если коэффициент усиления VBAP вычисляется для каждого вектора, то процесс B3, процесс B4 и процесс B5’ выполняются, чтобы сформировать аудиосигналы, которые будут подаваться на громкоговорители. Следует заметить, что после процесса B3 квантование каждого дополнительного значения коэффициента усиления VBAP выполняется по мере необходимости.

Также, с помощью такого способа вектора излучения спреда, как описано выше, посредством рендеринга может быть получен звук достаточно высокого качества.

Способ произвольного вектора спреда

Далее описывается способ произвольного вектора спреда.

В способе произвольного вектора спреда информация о количестве векторов спреда, указывающая количество векторов спреда для вычисления коэффициента усиления VBAP, и позиционная информация вектора спреда, указывающая положение конечной точки каждого вектора спреда, хранится и передается вместе с битовым потоком. Здесь предполагается, что информация о количестве векторов спреда и позиционная информация вектора спреда хранятся, например, в метаданных кадра каждого аудиосигнала для каждого объекта. В этом случае, спред, укаывающий степень протяженности звукового образа, не хранится в метаданных.

При процессе рендеринга на основе каждого фрагмента позиционной информации вектора спреда, вектор, начальной точкой которого является начало координат O и конечной точкой которого является положение, указанное позиционной информацией вектора спреда, вычисляется в качестве вектора спреда.

После этого в отношении вектора p выполняется процесс B1 и процесс B2 выполняется в отношении каждого вектора спреда. Дополнительно, после того, как вычислен коэффициент усиления VBAP для каждого вектора, выполняются процесс B3, процесс B4 и процесс, B5’, чтобы сгенерировать аудиосигналы, которые должны подаваться на громкоговорители. Следует заметить, что после процесса B3 квантование каждого дополнительного значения коэффициента усиления VBAP выполняется по мере необходимости.

В соответствии с таким способом произвольного вектора спреда, как описано выше, можно определять диапазон, в котором звуковой образ должно расширяться, и форму диапазона произвольно и поэтому при рендеринге может быть получен звук достаточно высокого качества.

Переключение процесса

В настоящей технологии стало возможным выбирать соответствующий процесс в качестве процесса, выполняемого при рендеринге с учетом производительности аппаратных средств устройства рендеринга и т.д. и получить звук высшего качества в рамках диапазона допустимого объема обработки.

В частности, согласно настоящей технологии, чтобы позволить выполнить переключение между множеством процессов, индекс для переключения процесса хранится и передается вместе с битовым потоком от устройства кодирования устройству декодирования. Другими словами, индекс значения индекса для переключения процесса добавляется в синтаксис битового потока.

Например, в ответ на значение индикса значения индекса выполняется нижеследующий процесс.

В частности, когда индекс значения индекса = 0, устройство декодирования, более конкретно, устройство рендеринга в устройстве декодирования, выполняет рендеринг, подобный тому, который выполняется в обычном случае по стандарту MPEG-H 3D Audio.

С другой стороны, например, когда индекс значения индекса = 1, из числа сочетаний индексов, указывающих 18 векторов спреда, соответствующих обычному стандарту MPEG-H 3D Audio, индексы заданного сочетания хранятся и передаются вместе с битовым потоком. В этом случае, устройство рендеринга вычисляет коэффициент усиления VBAP в отношении вектора спреда, указанного каждым индексом, хранящимся и передаваемым вместе с битовым потоком.

Дополнительно, например, когда индекс значения индекса = 2, вместе с битовым потоком хранятся и передаются информация, указывающая количество векторов спреда, которые должны использоваться при обработке, и индекс, указывающий, какие из 18 векторов спреда обычно должны использоваться согласно стандарту MPEG-H 3D Audio, что указывается вектором спреда, который должен использоваться для обработки.

Дополнительно, например, когда индекс значения индекса = 3, процесс рендеринга выполняется в соответствии со способом произвольного вектора спреда, описанным выше, и, например, когда индекс значения индекса = 4, преобразование в двоичную форму дополнительного значения коэффициента усиления VBAP, описанное выше, выполняется в процессе рендеринга. Дополнительно, например, когда индекс значения индекса = 5, процесс рендеринга выполняется в соответствии со способом вектора центра спреда, описанным выше.

Дополнительно, индекс значения индекса для переключения процесса в устройстве кодирования может не быть определен, но процесс может быть выбран с помощью устройства рендеринга в устройстве декодирования.

В таком случае, как только что описано, например, идеей, которая может быть рекомендована, представляется переключение процесса на основе информации о важности, содержащейся в метаданных объекта. В частности, например, для объекта, для которого степень важности, указанная информацией о важности, высокая (равная или выше, чем заданное значение), выполняется процесс, указанный индексом значения индекса = 0, описанный выше. Для объекта, степень важности которого, указанная информацией о важности, низкая (ниже заданного значения), может выполняться процесс, указанный индексом значения индекса = 4, описанный выше.

Переключая процесс при рендеринге соответственно этим способом, звук высшего качества в пределах диапазона допустимого объема обработки может быть получен в зависимости от производительности аппаратных средств и т.п. устройства рендеринга.

Пример конфигурации устройства аудиообработки

В дальнейшем описывается более конкретный вариант осуществления представленной выше настоящей технологии.

На фиг. 6 представлен пример конфигурации устройства аудиообработки, к которому применяется настоящая технология.

К устройству 11 аудиообработки, показанному на фиг. 6, подключаются громкоговорители 12-1-12М, индивидуально соответствующим М каналам. Устройство 11 аудиообработки формирует аудиосигналы различных каналов на основе аудиосигнала и метаданных объекта, поступающих извне, и подает аудиосигналы на громкоговорители 12-1-12М, с тем, чтобы звук воспроизводился громкоговорителями 12-1-12М.

Следует заметить, что в последующем описании, где нет необходимости конкретно различать громкоговорители 12-1-12М друг от друга, каждый из них упоминается просто как громкоговоритель 12. Каждый из громкоговорителей 12 является блоком вывода звука, который выводит звук на основе подаваемого на него аудиосигнала.

Громкоговорители 12 располагаются так, чтобы окружать пользователя, который прослушивает контент и т.п. Например, громкоговорители 12 располагаются на единичной сферической плоскости, описанной выше.

Устройство 11 аудиообработки содержит блок 21 сбора данных, блок 22 вычисления векторов, блок 23 вычисления коэффициентов усиления и блок 24 регулировки усиления.

Блок 21 сбора данных получает аудиосигналы объектов извне и метаданные для каждого кадра аудиосигналов каждого объекта. Например, аудиоданные и метаданные получают, декодируя кодированные аудиоданные и кодированные метаданные, содержащиеся в битовом потоке, выводимом от устройства кодирования устройством декодирования.

Блок 21 сбора данных подает собранные аудиосигналы на блок 24 регулировки усиления 24 и подает собранные метаданные на блок 22 вычисления векторов. Здесь метаданные содержат, например, позиционную информацию, указывающую положение объектов, информацию о важности, указывающую степень важности каждого объекта, спред, указывающий пространственную протяженность звукового образа объекта и т.д., в зависимости от необходимости.

Блок 22 вычисления векторов вычисляет векторы спреда на основе метаданных, подаваемых на него от блока 21 сбора данных, и подает векторы спреда на блок 23 вычисления коэффициентов усиления. Дополнительно, по мере необходимости, блок 22 вычисления векторов подает на блок 23 вычисления коэффициентов усиления положение p каждого объекта, указываемое позиционной информацией, содержащейся в метаданных, а также вектор p, указывающий положение p.

Блок 23 вычисления коэффициентов усиления вычисляет коэффициент усиления VBAP громкоговорителя 12, соответствующего каждому каналу, с помощью VBAP на основе векторов спреда и вектора p, подаваемых от блока 22 вычисления вектора, и подает коэффициенты усиления VBAP на блок 24 регулировки усиления. Дополнительно, блок 23 вычисления коэффициентов усиления содержит блок 31 квантования для квантования коэффициента усиления VBAP для каждого громкоговорителя.

Блок 24 регулировки усиления на основе каждого коэффициента усиления VBAP, подаваемого от блока 23 вычисления коэффициентов усиления, выполняет регулировку усиления для аудиосигнала объекта, подаваемого от блока 21 сбора данных, и подает аудиосигналы М каналов, полученные в результате регулировки усиления, на громкоговорители 12.

Блок 24 регулировки усиления содержит блоки 32-1-32-М усиления. Блоки 32-1-32-М усиления умножают аудиосигнал, подаваемый от блока 21 сбора данных, на коэффициенты усиления VBAP, подаваемые от блока 23 вычисления коэффициентов усиления, и подает аудиосигналы, полученные умножением, на громкоговорители 12-1-12-М для воспроизведения звука.

Следует заметить, что в последующем описании, когда нет необходимости особо отличить блоки 32-1-32-М друг от друга, каждый из них упоминается также просто как блок 32 усиления.

Описание процесса воспроизведения

Теперь будет описана работа устройства 11 аудиообработки, показанного на фиг. 6.

Если аудиосигнал и метаданные объекта подаются извне, то устройство 11 аудиообработки выполняет процесс воспроизведения, чтобы воспроизвести звук объекта.

В дальнейшем, процесс воспроизведения устройством 11 аудиообработки описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 7. Следует заметить, что этот процесс воспроизведения выполняется для каждого кадра аудиосигнала.

На этапе S11 блок 21 сбора данных собирает аудиосигнал и метаданные для одного кадра объекта извне и подает аудиосигнал к блок 32 усиления, в то же время подавая метаданные на блок 22 вычисления вектора.

На этапе S12 блок 22 вычисления векторов выполняет процесс вычисления векторов спреда на основе метаданных, поданных от блока 21 сбора данных, и подает векторы спреда, полученные в результате процесса вычисления векторов спреда, на блок 23 вычисления коэффициентов усиления. Дополнительно, по мере необходимости, блок 22 вычисления векторов также подает вектор p на блок 23 вычисления коэффициентов усиления.

Следует заметить, что, хотя здесь далее описываются подробности процесса вычисления векторов спреда, в процессе вычисления вектора спреда векторы спреда вычисляются посредством способа трехмерного вектора спреда, способа вектора центра спреда, способа вектора конца спреда, способа вектора излучения спреда или способа произвольного вектора спреда.

На этапе S13 блок 23 вычисления коэффициентов усиления вычисляет коэффициенты усиления VBAP для индивидуальных громкоговорителей 12 на основе информации о местоположении, указывающей местоположения громкоговорителей 12, запомненные заранее, и векторов спреда и вектора p, подаваемых от блока 22 вычисления векторов.

В частности, в отношении каждого из векторов спреда и векторов p вычисляется коэффициент усиления VBAP для каждого громкоговорителя 12. Следовательно, для каждого из векторов спреда и векторов p получают коэффициент усиления VBAP для одного или более громкоговорителей 12, расположенных вблизи положения объекта, а именно, расположенных вблизи положения, указанного вектором. Следует заметить, что хотя коэффициент усиления VBAP для вектора спреда вычисляется независимо от обстоятельств, если вектор p в процессе на этапе S12 не подается от блока 22 вычисления векторов на блок 23 вычисления коэффициентов усиления, то коэффициент усиления VBAP для вектора p не вычисляется.

На этапе S14 блок 23 вычисления коэффициентов усиления добавляет коэффициенты усиления VBAP, вычисленные в отношении каждого вектора, чтобы вычислить дополнительное значение коэффициента усиления VBAP для каждого громкоговорителя 12. В частности, дополнительное значение (итоговая сумма) коэффициентов усиления VBAP векторов, вычисленных для одного и того же громкоговорителя 12, вычисляется как дополнительное значение коэффициентов усиления VBAP.

На этапе S15 блок 31 квантования принимает решение, должно ли быть выполнено преобразование в двоичную форму дополнительного значения коэффициентов усиления VBAP.

Должно ли быть выполнено преобразование в двоичную форму, может быть решено, например, на основе индекса значения индекса, описанного здесь выше, или может быть решено на основе степени важности объекта, указанной информацией о важности, являющейся метаданными.

Если решение принимается на основе индекса значения индекса, то, например, индекс значения индекса, считываемый из битового потока, может быть подан на блок 23 вычисления коэффициентов усиления. Альтернативно, если решение принимается на основе информации о важности, то информация о важности может быть предоставлена от блока 22 вычисления векторов блоку 23 вычисления коэффициентов усиления.

Если на этапе S15 принимается решение, что преобразование в двоичную форму должно быть выполнено, то на этапе S16 блок 31 квантования преобразует в двоичную форму дополнительное значение коэффициентов усиления VBAP, определенных для каждого громкоговорителя 12, а именно, дополнительное значение коэффициентов усиления VBAP. После того процесс переходит к этапу S17.

Напротив, если на этапе S15 принято решение, что преобразование в двоичную форму не должно выполняться, то тогда процесс на этапе S16 пропускается и обработка переходит к этапу S17.

На этапе S17 блок 23 вычисления коэффициентов усиления нормализует коэффициент усиления VBAP для каждого громкоговорителя 12, так чтобы сумма квадратов коэффициентов усиления VBAP всех громкоговорителей 12 может стать равной 1.

В частности, нормализация дополнительного значения коэффициентов усиления VBAP, определенных для каждого громкоговорителя 12, выполняется так, что сумма квадратов всех дополнительных значений может стать равном 1. Блок 23 вычисления коэффициентов усиления подает коэффициенты усиления VBAP для громкоговорителей 12, полученные посредством нормализации, на блоки 32 усиления, соответствующие индивидуальным громкоговорителям 12.

На этапе S18 блок 32 усиления умножает аудиосигнал, поданный от блока 21 сбора данных, на коэффициенты усиления VBAP, поданные от блока 23 вычисления коэффициентов усиления, и подает результирующие значения на громкоговорители 12.

Затем, на этапе S19 блок 32 усиления заставляет громкоговорители 12 воспроизводить звук на основе аудиосигналов, поданных на него, заканчивая, таким образом, процесс воспроизведения. Следовательно, звуковой образ объекта локализуется в желаемой части пространства в пространстве воспроизведения.

Таким образом, как описано выше, устройство 11 аудиообработки вычисляет векторы спреда на основе метаданных, вычисляет коэффициент усиления VBAP для каждого вектора для каждого громкоговорителя 12 и определяет и нормализует дополнительное значение коэффициентов усиления VBAP для каждого громкоговорителя 12. Вычисляя коэффициенты усиления VBAP в отношении векторов спреда этим способом, пространственная протяженность звукового образа объекта, особенно, форма объекта или направленность звука могут быть представлены и звук более высокого качества может быть получен.

Кроме того, преобразуя в двоичную форму дополнительное значение коэффициентов усиления VBAP, в зависимости от необходимости, можно не только уменьшить объем обработки при рендеринге, но также можно выполнить соответствующий процесс с учетом производительности обработки (масштабности аппаратных средств) устройства 11 аудиообработки, чтобы получить звук настолько высокого качества, насколько возможно.

Описание процесса вычисления вектора спреда

Здесь, процесс вычисления вектора спреда, соответствующий процессу на этапе S12, показанном на фиг. 7, описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 8.

На этапе S41 блок 22 вычисления векторов принимает решение, должен ли вектор спреда вычисляться на основе трехмерного вектора спреда.

Например, то, какой способ использовать для вычисления вектора спреда, может быть решено на основе индекса значения индекса аналогично случаю на этапе S15, показанном на фиг. 7, или может быть определен на основе степени важности объекта, указанной информацией о важности.

Если на этапе S41 решено, что вектор спреда должен вычисляться на основе трехмерного вектора спреда, а именно, если решено, что вектор спреда должен быть вычислен способом трехмерного вектора спреда, то процесс переходит к этапу S42.

На этапе S42 блок 22 вычисления векторов выполняет процесс вычисления векторов спреда, основываясь на трехмерном векторе спреда, и подает результирующие векторы на блок 23 вычисления коэффициентов усиления. Следует заметить, что подробности процесса вычисления векторов спреда, основанного на трехмерных векторах спреда, описываются здесь далее.

После того, как векторы спреда вычислены, процесс вычисления векторов спреда заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

С другой стороны, если на этапе S41 решено, что вектор спреда не должен вычисляться на основе трехмерного вектора спреда, процесс переходит к этапу S43.

На этапе S43 блок 22 вычисления векторов принимает решение, должен ли вектор спреда вычисляться на основе вектора центра спреда.

Если на этапе S43 принято решение, что вектор спреда должен вычисляться на основе вектора центра спреда, а именно, если решено, что вектор спреда должен вычисляться способом вектора центра спреда, то процесс переходит к этапу S44.

На этапе S44 блок 22 вычисления векторов выполняет процесс вычисления векторов спреда на основе вектора центра спреда и подает результирующие векторы на блок 23 вычисления коэффициентов усиления. Следует заметить, что подробности процесса вычисления векторов спреда, основываясь на векторе центра спреда, описываются здесь далее.

После того, как векторы спреда вычислены, процесс вычисления векторов спреда заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

С другой стороны, если на этапе S43 решено, что вектор спреда не должен вычисляться на основе вектора центра спреда, то тогда процесс переходит к этапу S45.

На этапе S45 блок 22 вычисления векторов принимает решение, должен ли вектор спреда вычисляться на основе вектора конца спреда.

Если на этапе S45 принято решение, что вектор спреда должен быть вычислен на основе вектора конца спреда, а именно, если принято решение, чтобы вектор спреда был вычислен способом вектора конца спреда, то процесс переходит к этапу S46.

На этапе S46 блок 22 вычисления векторов выполняет процесс вычисления вектора спреда, основываясь на векторе конца спреда и подает полученные в результате векторы на блок 23 вычисления коэффициентов усиления. Следует заметить, что подробности процесса вычисления вектора спреда, основываясь на векторе конца спреда, описываются здесь далее.

После того, как векторы спреда вычислены, процесс вычисления вектора спреда заканчивается и после того процесс переходит к этапу S13, показанному на фиг. 7.

Дополнительно, если на этапе S45 принято решение, что вектор спреда не должен вычисляться на основе вектора конца спреда, то тогда процесс переходит к этапу S47.

На этапе S47 блок 22 вычисления векторов принимает решение, должен ли вектор спреда вычисляться на основе вектора излучения спреда.

Если на этапе S47 принимается решение, что вектор спреда должен вычисляться на основе вектора излучения спреда, а именно, если принимается решение, что вектор спреда должен быть вычислен способом вектора излучения спреда, то процесс переходит к этапу S48.

На этапе S48 блок 22 вычисления векторов выполняет процесс вычисления вектора спреда, основываясь на векторе излучения спреда, и подает полученные в результате векторы на блок 23 вычисления коэффициентов усиления. Следует заметить, что подробности процесса вычисления вектора спреда, основываясь на векторе излучения спреда, описываются здесь далее.

После того, как векторы спреда вычислены, процесс вычисления вектора спреда заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

С другой стороны, если на этапе S47 принято решение, что вектор спреда не должен вычисляться на основе вектора излучения спреда, а именно, если принято решение, чтобы вектор спреда был вычислен способом вектора излучения спреда, то тогда процесс переходит к этапу S49.

На этапе S49 блок 22 вычисления векторов выполняет процесс вычисления вектора спреда, основываясь на информации о положении вектора спреда, и подает полученный в результате вектор на блок 23 вычисления коэффициентов усиления. Следует заметить, что подробности процесса вычисления вектора спреда, основываясь на информации о положении вектора спреда, описываются здесь далее.

После того, как векторы спреда вычислены, процесс вычисления вектора спреда заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

Устройство 11 аудиообработки вычисляет таким образом векторы спреда соответствующим способом из числа множества способов. Таким образом, вычисляя векторы спреда этим способом, звук высшего качества в пределах диапазона допустимого объема обработки может быть получен с учетом производительности аппаратных средств устройства рендеринга и т.д.

Объяснение процесса вычисления вектора спреда, основываясь на трехмерном векторе спреда

Теперь описываются подробности процесса, соответствующего операциям на этапах S42, S44, S46, S48 и S49, описанных выше со ссылкой на фиг. 8.

Сначала процесс вычисления вектора спреда, основываясь на трехмерном векторе спреда, соответствующий этапу S42, показанному на фиг. 8, описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 9.

На этапе S81 блок 22 вычисления векторов определяет положение, указанное позиционной информацией, содержащейся в метаданных, подаваемых от блока 21 сбора данных, в качестве положения p объекта. Другими словами, вектор, показывающий положение p, является вектором p.

На этапе S82 блок 22 вычисления векторов вычисляет спред на основе трехмерного вектора спреда, содержащегося в метаданных, подаваемых от блока 21 сбора данных. В частности, блок 22 вычисления векторов, чтобы вычислить спред, вычисляет приведенное выше выражение (1).

На этапе S83 блок 22 вычисления векторов вычисляет векторы p0-p18 спреда на основе вектора p и спреда.

Здесь, вектор p определяется как вектор p0, указывающий положение рО центра, и вектор p определяется как вектор p0 спреда. Дополнительно, в качестве векторов p1-p18 спреда вычисляются векторы, так чтобы они были симметричны в направлениях вверх и вниз и в направлениях влево и вправо в пределах области, центрованной в положении рО центра и определенной углом, указанным спредом на единичной сферической плоскости, как в случае стандарта MPEG-H 3D Audio.

На этапе S84 блок 22 вычисления векторов принимает решение на основе трехмерного вектора спреда, удовлетворяется ли условие s3_azimuth ≥ s3_elevation, а именно, больше ли s3_azimuth, чем s3_elevation.

Если на этапе S84 определено, что условие s3_azimuth ≥ s3_elevation удовлетворяется, то на этапе S85 блок 22 вычисления векторов изменяет угол места векторов p1-p18 спреда. В частности, блок 22 вычисления векторов выполняет вычисление выражения (2), описанного выше, чтобы скорректировать угол места векторов спреда и получить конечные векторы спреда.

После того, как конечные векторы спреда получены, блок 22 вычисления векторов подает векторы p0-p18 спреда на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основываясь на трехмерном векторе спреда. Поскольку тем самым процесс на этапе S42, показанном на фиг. 8, закончен, процесс после этого переходит к этапу S13, показанному на фиг. 7.

С другой стороны, если на этапе S84 принимается решение, что условие s3_azimuth ≥ s3_elevation не удовлетворяется, то тогда на этапе S86 блок 22 вычисления векторов изменяет азимут векторов p1-p18 спреда. В частности, блок 22 вычисления векторов выполняет вычисление выражения (3), приведенного выше, чтобы скорректировать азимуты векторов спреда, чтобы таким образом получить конечные векторы спреда.

После того, как конечные векторы спреда получены, блок 22 вычисления векторов подает векторы p0-p18 спреда на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основанный на трехмерном векторе спреда. Следовательно, поскольку процесс на этапе S42, показанном на фиг. 8, закончен, процесс после этого переходит к этапу S13, показанному на фиг. 7.

Устройство 11 аудиообработки вычисляет каждый вектор спреда посредством способа трехмерного вектора спреда таким образом, как описано выше. Следовательно, становится возможным представить форму объекта и направленность звука объекта и получить звук более высокого качества.

Объяснение процесса вычисления вектора спреда, основываясь на векторе центра спреда

Теперь, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 10, процесс вычисления вектора спреда описывается, основываясь на векторе центра спреда.

Следует заметить, что процесс на этапе S111 подобен процессу на этапе S81, показанному на фиг. 9, и поэтому его описание не повторяется.

На этапе S112 блок 22 вычисления векторов вычисляет векторы p0-p18 спреда, основываясь на векторе центра спреда и спреде, содержащемся в метаданных, подаваемых от блока 21 сбора данных.

В частности, блок 22 вычисления векторов устанавливает положение, указанное вектором центра спреда, в качестве положения рО центра, и устанавливает вектор, указывающий положение рО центра в качестве вектора р0 спреда. Дополнительно, блок 22 вычисления векторов определяет векторы p1-p18 спреда таким образом, что они располагаются симметрично в направлении вверх и в направлении вниз и в направлениях влево и вправо в пределах области, центрованной в положении рО центра и определяемой углом, указанным спредом на единичной сферической плоскости. Векторы p1-р18, в основном, определяются аналогично стандарту MPEG-H 3D Audio.

Блок 22 вычисления векторов подает вектор p и векторы p0-p18 спреда, полученные посредством процессов, описанных выше, на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основываясь на векторе центра спреда. Следовательно, процесс на этапе S44, показанном на фиг. 8, заканчивается и после того процесс переходит к этапу S13, показанному на фиг. 7.

Устройство аудиообработки 11 вычисляет вектор p и векторы спреда способом вектора центра спреда таким способом как описано выше. Следовательно, становится возможно представить форму объекта и направленность звука объекта и получить звук более высокого качества.

Следует заметить, что в процессе вычисления вектора спреда, основываясь на векторе центра спреда, вектор p0 спреда не может подаваться на блок 23 вычисления коэффициентов усиления. Другими словами, коэффициент усиления VBAP не может быть вычислен относительно вектора p0 спреда.

Объяснение процесса вычисления вектора спреда, основываясь на векторе конца спреда

Дополнительно, процесс вычисления вектора спреда, основываясь на векторе конца спреда, соответствующий этапу S46, показанному на фиг. 8, описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 11.

Следует заметить, что процесс на этапе S141 подобен процессу на этапе S81, показанном на фиг. 9, и поэтому его описание не повторяется.

На этапе S142 блок 22 вычисления векторов вычисляет положение рО центра, а именно, вектора рО, основываясь на векторе конца спреда, содержащемся в метаданных, подаваемых от блока 21 сбора данных. В частности, блок 22 вычисления векторов вычисляет выражение (4), приведенное выше, чтобы вычислить положение рО центра.

На этапе S143 блок 22 вычисления векторов вычисляет спред, основываясь на векторе конца спреда. В частности, блок 22 вычисления векторов вычисляет выражение (5), приведенное выше, чтобы вычислить спред.

На этапе S144 блок 22 вычисления векторов вычисляет векторы p0-p18 спреда, основываясь на положении рО центра и спреде.

Здесь, вектор рО, указывающий положение рО центра, устанавливается как вектор p0 спреда. Дополнительно, векторы p1-p18 спреда вычисляются таким образом, что они располагаются симметрично в направлении вверх и в направлении вниз и в направлениях вправо и влево в пределах области, центрованной в положении рО центра, и определяются углом, указываемым спредом на единичной сферической плоскости, так же, как в случае стандарта MPEG-H 3D Audio.

На этапе S145 блок 22 вычисления векторов принимает решение, удовлетворяется ли неравенство (азимут левого конца спреда – азимут правого конца спреда) ≥ (угол места верхнего конца спреда - угол места нижнего конца спреда), а именно, больше ли азимут левого конца спреда – азимут правого конца спреда), чем (угол места верхнего конца спреда - угол места нижнего конца спреда).

Если на этапе S145 принято решение, что неравенство (азимут левого конца спреда – азимут правого конца спреда) ≥ (угол места верхнего конца спреда - угол места нижнего конца спреда) удовлетворяется, на этапе S146 блок 22 вычисления векторов изменяет угол места векторов p1-p18 спреда. В частности, блок 22 вычисления векторов выполняет вычисление выражения (6), приведенного выше, чтобы скорректировать углы места векторов спреда для получения конечных векторов спреда.

После того, как конечные векторы спреда получены, блок 22 вычисления векторов подает векторы p0-p18 спреда и вектор p на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основываясь на векторе конца спреда. Следовательно, процесс на этапе S46, показанном на фиг. 8, заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

С другой стороны, если на этапе S145 принято решение, что неравенство (азимут левого конца спреда – азимут правого конца спреда) ≥ (угол места верхнего конца спреда - угол места нижнего конца спреда) не удовлетворяется, то тогда блок 22 вычисления векторов на этапе S147 изменяет азимут векторов p1-p18 спреда. В частности, блок 22 вычисления векторов выполняет вычисление выражения (7), приведенного выше, чтобы скорректировать азимут векторов спреда для получения конечных векторов спреда.

После того, как конечные векторы спреда получены, блок 22 вычисления векторов подает векторы p0-p18 спреда и вектор p на блок 23 вычисления коэффициентов усиления, так чтобы закончить процесс вычисления вектора спреда, основываясь на векторе конца спреда. Следовательно, процесс на этапе S46, показанный на фиг. 8, заканчивается и после этого процесс переходит к этапу S13, показанному на фиг. 7.

Как описано выше, устройство 11 аудиообработки вычисляет векторы спреда способом вектора конца спреда. Следовательно, становится возможным представить форму объекта и направленность звука объекта и получить звук более высокого качества.

Следует заметить, что, в процессе вычисления вектора спреда, основываясь на векторе конца спреда, вектор p0 спреда не может быть подан на блок 23 вычисления коэффициентов усиления. Другими словами, коэффициент усиления VBAP не может быть вычислен в отношении вектора p0 спреда.

Объяснение процесса вычисления вектора спреда, основываясь на векторе излучения спреда

Теперь, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 12, описывается процесс вычисления вектора спреда, основываясь на излучении спреда, соответствующий этапу S48, показанному на фиг. 8.

Следует заметить, что процесс на этапе S171 подобен процессу на этапе S81, показанному на фиг. 9, и поэтому описание процесса не приводится.

На этапе S172 блок 22 вычисления векторов вычисляет векторы p0-p18 спреда, основываясь на векторе излучения спреда и спреде, содержащихся в метаданных, подаваемых от блока 21 сбора данных.

В частности, блок 22 вычисления векторов устанавливает положение, указанное вектором, полученным сложением p, указывающего положение р объекта, и вектора излучения, в качестве положения рО центра. Вектор, указывающий этот участок рО центра, является вектором рО и блок 22 вычисления векторов устанавливает вектор рО в качестве вектора р0 спреда.

Дополнительно, блок 22 вычисления векторов определяет векторы p1-p18 спреда таким образом, что они располагаются симметрично в направлении вверх и в направлении вниз и в направлениях влево и вправо в пределах области, центрованной в положении рО центра, и определяются углом, указываемым спредом на единичной сферической плоскости. Векторы p1-p18 спреда определяются, в основном, так же, как в случае стандарта MPEG-H 3D Audio.

Блок 22 вычисления векторов подает вектор p и векторы p0-p18 спреда, полученные с помощью процессов, описанных выше, на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основываясь на векторе излучения спреда. Следовательно, поскольку процесс на этапе S48, показанном на фиг. 8, заканчивается, процесс после этого переходит к этапу S13, показанному на фиг. 7.

Устройство 11 аудиообработки вычисляет вектор p и векторы спреда способом вектора излучения спреда таким способом, как описано выше. Следовательно, становится возможно представить форму объекта и направленность звука объекта и получить звук более высокого качества.

Следует заметить, что, в процессе вычисления вектора спреда, основанном на векторе излучения спреда, вектор p0 спреда не может быть подан на блок 23 вычисления коэффициентов усиления. Другими словами, коэффициент усиления VBAP не может быть вычислен в отношении вектора p0 спреда.

Объяснение процесса вычисления вектора спреда, основываясь на информации о положении вектора спреда

Теперь, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 13, описывается процесс вычисления вектора спреда, основываясь на позиционной информации вектора спреда, соответствующий этапу 49, показанному на фиг. 8.

Следует заметить, что процесс на этапе S201 подобен процессу на этапе S81, показанному на фиг. 9, и поэтому его описание не приводится.

На этапе S202 блок 22 вычисления векторов вычисляет векторы спреда, основываясь на информации о количестве векторов спреда и позиционной информации вектора спреда, содержащихся в метаданные, полученных от блока 21 сбора данных.

В частности, блок 22 вычисления векторов в качестве вектора спреда вычисляет вектор, имеющий начальную точку в начале координат O и конечную точку в месте, указанном позиционной информацией вектора спреда. Здесь вычисляется количество векторов спреда, равное количеству, указанному информацией о количестве векторов спреда.

Блок 22 вычисления векторов подает вектор p и векторы спреда, полученные посредством процессов, указанных выше, на блок 23 вычисления коэффициентов усиления, заканчивая, таким образом, процесс вычисления вектора спреда, основываясь на позиционной информации вектора спреда. Следовательно, поскольку процесс на этапе S49, показанном на фиг. 8, закончен, после этого процесс переходит к этапу S13, показанному на фиг. 7.

Устройство 11 аудиообработки вычисляет вектор p и векторы спреда способом произвольного вектора спреда таким образом, как описано выше. Следовательно, становится возможным представить форму объекта и направленность звука объекта и получить звук более высокого качества.

Второй вариант осуществления

Уменьшение объема обработки при процессе рендеринга

В этой связи, VBAP известна как технология управления локализацией звукового образа, используя множество громкоговорителей, а именно, для выполнения процесса рендеринга, как описано выше.

При применении VBAP, выводя звук от трех громкоговорителей, звуковой образ может быть локализован в произвольной точке на внутренней стороне треугольника, образованного тремя громкоговорителями. Далее, треугольник, образованный, в частности, из таких трех громкоговорителей, называется ячейкой.

Поскольку процесс, проводимый с помощью VBAP, выполняется для каждого объекта, в случае, когда количество объектов большое, такое, как, например, в игре, объем обработки при процессе рендеринга является большим. Поэтому устройство рендеринга с малопроизводительными аппаратными средствами, может быть не в состоянии выполнять рендеринг для всех объектов и, в результате, воспроизводиться может звук только от ограниченного количества объектов. Это может повредить эффекту присутствия или качеству звука при воспроизведении.

В силу вышесказанного, настоящая технология способна уменьшить объем обработки при процессе рендеринга, при малом ухудшении эффекта присутствия или качества звука.

Ниже описывается такая технология, которая была только что представлена.

В обычном процессе VBAP, а именно, в процессе рендеринга, обработка на этапах процессов A1-A3, описанных выше, выполняется для каждого объекта, чтобы сформировать аудиосигналы для громкоговорителей.

Поскольку количество громкоговорителей, для которых, в сущности, вычисляется VBAP, равно трем и коэффициент усиления для каждого громкоговорителя вычисляется для каждой из выборок, образующих аудиосигнал, в процессе умножения во время процесса А3 умножение выполняется количество раз, равное (количество выборок аудиосигнала × 3).

В отличие от этого, в настоящей технологии, выполняя процесс корректировки коэффициентов усиления для коэффициентов усиления VBAP, а именно, процесс квантования коэффициентов усиления VBAP и процесс переключения количества ячеек для изменения количества ячеек, которое должны использоваться при вычислении коэффициентов усиления VBAP в необходимых сочетаниях, объем обработки при процессе рендеринга уменьшается.

Процесс квантования

Сначала описывается процесс квантования. Здесь, в качестве примеров процесса квантования описываются процесс преобразования в двоичную форму (бинаризация) и процесс преобразования в троичную форму (тернаризация).

Когда в качестве процесса квантования после выполнения процесса А1 выполняется процесс преобразования в двоичную форму, коэффициент усиления VBAP, полученный для каждого громкоговорителя посредством процесса A1, преобразуется в двоичную форму. При преобразовании в двоичную форму, например, коэффициент усиления VBAP для каждого громкоговорителя представляется с помощью 0 или 1.

Следует заметить, что способ преобразования в двоичную форму коэффициента усиления VBAP может быть любым из способов, таких как округление, округление до максимума (округление в верхнюю сторону), усечение (округление с отбрасыванием) или процесс с пороговыми значениями.

После того, как коэффициенты усиления VBAP преобразованы таким способом в двоичную форму, выполняются процесс А2 и процесс А3, чтобы сформировать аудиосигналы для громкоговорителей.

В этом случае, при процессе A2, поскольку нормализация выполняется на основе коэффициентов усиления VBAP, преобразованных в двоичную форму, конечные значения коэффициентов усиления VBAP для громкоговорителей становятся одним значением, отличным от 0, подобно описанному выше квантованию вектора спреда. Другими словами, если коэффициенты усиления VBAP преобразуются в двоичную форму, то тогда значения конечных коэффициентов усиления VBAP для громкоговорителей равны 0 или заданному значению.

Соответственно, в процессе умножения при выполнении процесса А3, умножение может выполняться (количество выборок аудиосигнала × 1) раз и, следовательно, объем обработки при процессе рендеринга может быть значительно уменьшен.

Аналогично, после процесса А1 коэффициенты усиления VBAP, полученные для громкоговорителей, могут быть преобразованы в троичную форму. В таком случае, как только что описано, коэффициент усиления VBAP, полученный для каждого громкоговорителя с помощью процесса А1, преобразуется в троичную форму со значениями 0, 0,5 и 1. Затем, после этого, чтобы сформировать аудиосигналы для громкоговорителей, выполняются процесс А2 и процесс А3.

Соответственно, поскольку количество умножений в процессе умножения при выполнении процесса А3 максимально становится равным (количество выборок аудиосигнала × 2) раз, объем обработки при процессе рендеринга может быть значительно уменьшен.

Следует заметить, что хотя здесь приведено описание, учитывающее случай, в котором коэффициент усиления VBAP преобразуется в двоичную или троичную форму, как пример, коэффициент усиления VBAP может быть квантован 4 или более значениями. Обобщая сказанное, например, коэффициент усиления VBAP квантуется таким образом, что он имеет один из x коэффициентов усиления, равный или больший, чем 2, или, другими словами, если коэффициент усиления VBAP квантуется на количество х уровней квантования, то тогда количество выполнений процесса умножения при процессе A3 становится равным максимум (x - 1).

Квантуя коэффициент усиления VBAP таким способом, как описано выше, объем обработки при процессе рендеринга может быть уменьшен. Если объем обработки при процессе рендеринга уменьшается таким образом, то даже в случае, когда количество объектов велико, становится возможным выполнять рендеринг для всех объектов и, следовательно, ухудшение эффекта присутствия или качества звука при воспроизведении может быть значительно уменьшено. Другими словами, объем обработки при процессе рендеринга может быть уменьшен при малом ухудшении эффекта присутствия или качества звука.

Процесс переключения количества ячеек

Сначала описывается процесс переключения количества ячеек.

Для VBAP, как описано здесь ранее, например, со ссылкой на фиг. 1, вектор p, указывающий положение p звукового образа объекта цели обработки, представляется линейной суммой векторов I₁-I₃, направленных в направлении трех громкоговорителей SP1-SP3, и коэффициенты g₁-g₃, на которые умножаются векторы, являются коэффициентами усиления VBAP для громкоговорителей. В примере, показанном на фиг. 1, треугольная область TR11, окруженная громкоговорителями SP1-SP3, образует одну ячейку.

После вычисления коэффициента усиления VBAP три коэффициента g₁-g₃ определяются вычислением из инверсной матрицы L₁₂₃^-1 ячейки треугольной формы и положения p звукового образа объекта, в частности, с помощью следующего выражения (8):

Выражение 8

(8)

Следует заметить, что p₁, p₂ и p₃ в выражении (8) указывают координату x, координату y и координату z в прямоугольной системе координат, показывающей положение звукового образа объекта, а именно, в трехмерной системе координат, показанной на фиг. 2.

Дополнительно, I₁₁, I₁₂ и I₁₃ являются значениями составляющей x, составляющей y и составляющей z в случае, когда вектор I₁, направленный к первому громкоговорителю SP1, образующему ячейку, разлагается на составляющие по оси x, оси y и оси z, соответствующие координате x, координате y и координате z первого громкоговорителя SP1, соответственно.

Точно также, I₂₁, I₂₂ и I₂₃ являются значениями компоненты x, компоненты y и компоненты z в случае, когда вектор I₂, направленный ко второму громкоговорителю SP2, образующему ячейку, разлагается на составляющие по оси x, оси y и оси Z, соответственно. Дополнительно, I₃₁, I₃₂ и I₃₃ являются значениями компоненты x, компоненты y и компоненты z в случае, когда вектор I₃, направленный к третьему громкоговорителю SP3, образующему ячейку, разлагается на компоненты по оси x, оси y и оси z, соответственно.

Кроме того, определяется преобразование из p₁, p₂ и p₃ трехмерной системы координат положения p в координаты θ, γ и r сферической системы координат, где r = 1, как представлено нижеследующим выражением (9). Здесь θ, γ и r являются азимутом угла в горизонтальном направлении, углом места в вертикальном направлении и расстоянием по радиусу, описанными выше, соответственно.

Выражение 9

[p1 p2 p3] = [cos(θ) cos(γ) sin(θ) cos(γ) sin(γ)] - (9)

Как описано выше, в пространстве на стороне воспроизведения контента, а именно, в пространстве воспроизведения, множество громкоговорителей располагаются на единичной сфере, и одна ячейка организуется из трех громкоговорителей из числа множества громкоговорителей. Дополнительно, общая поверхность единичной сферы, в основном, покрывается множеством ячеек без промежутка, оставляемого между ними. Дополнительно, ячейки определяются таким образом, что они не накладываются друг на друга.

В VBAP, если звук выводится от двух или трех громкоговорителей, образующих одну ячейку, содержащую положение p объекта, из числа громкоговорителей, расположенных на поверхности единичной сферы, то тогда звуковой образ может быть локализован в положении p и поэтому коэффициент усиления VBAP громкоговорителей, отличных громкоговорителей, образующих ячейку, равен 0.

Соответственно, после вычисления коэффициента усиления VBAP, одна ячейка, содержащая положение p объекта, может быть определена для вычисления коэффициента усиления VBAP для громкоговорителей, образующих ячейку. Например, действительно ли заданная ячейка является ячейкой, содержащей положение p, может быть решен, исходя из вычисленных коэффициентов усиления VBAP.

В частности, если коэффициентами усиления VBAP трех громкоговорителей, вычисленными в отношении ячейки, являются все значениями, равные или больше 0, то ячейка является ячейкой, содержащей положение p объекта. Напротив, если по меньшей мере один из коэффициентов усиления VBAP для этих трех громкоговорителей имеет отрицательное значение, то, поскольку положение p объекта располагается вне ячейки, образованной громкоговорителями, расчетный коэффициент усиления VBAP не является правильным коэффициентом усиления VBAP.

Поэтому, после вычисления коэффициента усиления VBAP, ячейки выбираются одна за другой как ячейка, являющаяся целью обработки, и вычисление выражения (8), приведенного выше, выполняется для ячейки, являющейся целью обработки, чтобы вычислить коэффициент усиления VBAP для каждого громкоговорителя, образующего ячейку.

Затем, исходя из результатов вычисления коэффициентов усиления VBAP, определяется, является ли ячейка, представляющая цель обработки, ячейкой, содержащей положение p объекта, и если определено, что ячейка, являющаяся целью обработки, является ячейкой, не содержащей положение p, то тогда следующая ячейка определяется как ячейка новой цели обработки и подобные процессы выполняются для этой ячейки.

С другой стороны, если определено, что ячейка, являющаяся целью обработки, является ячейкой, содержащей положение p объекта, то тогда коэффициенты усиления VBAP громкоговорителей, образующих ячейку, определяются как вычисленные коэффициенты усиления VBAP, тогда как коэффициенты усиления VBAP других громкоговорителей устанавливаются равными 0. Следовательно, коэффициенты усиления VBAP для всех громкоговорителей оказываются получены.

Таким образом, при процессе рендеринга процесс вычисления коэффициента усиления VBAP и процесс определения ячейки, которая содержит положение p, выполняются одновременно.

В частности, чтобы получить правильные коэффициенты усиления VBAP, процесс поочередного выбора ячейки в качестве цели обработки повторяется до тех пор, пока все коэффициенты усиления VBAP для громкоговорителей, образующих ячейку, не будут указывать значения, равные или больше 0, и вычисление коэффициентов усиления VBAP ячейки повторяется.

Соответственно, при процессе рендеринга, с увеличением количества ячеек на поверхности единичной сферы, объем обработки процессов, требуемых для определения ячейки, содержащей положение p, а именно, чтобы получить правильный коэффициент усиления VBAP, увеличивается.

Поэтому, в существующей технологии не все громкоговорители в фактической среде воспроизведения используются для формирования (конфигурации) ячеек, а только некоторые громкоговорители из числа всех громкоговорителей используются, чтобы сформировать ячейки, уменьшить общее количество ячеек и уменьшить объем обработки после процесса рендеринга. В частности, в настоящей технологии выполняется процесс переключения количества ячеек, чтобы изменить общее количество ячеек.

В частности, например, в акустической системе, содержащей 22 канала, 22 громкоговорителя, содержащих громкоговорители SPK1-SPK22 располагаются в качестве громкоговорителей различных каналов на поверхности единичной сферы, как показано на фиг. 14. Следует заметить, что на фиг. 14 начало координат O соответствует началу координат O, показанному на фиг. 2.

Когда эти 22 громкоговорителя располагаются на поверхности единичной сферы таким способом, если ячейки формируются так, что они покрывают поверхность единичной сферы, используя всех эти 22 громкоговорителя, тогда общее количество ячеек на единичной сфере равно 40.

В отличие от этого, предполагается, что, например, как показано на фиг. 15, из общего количества 22 громкоговорителей SPK1-SPK22, всего только шесть громкоговорителей SPK1, SPK6, SPK7, SPK10, SPK19 и SPK20 используются для формирования ячеек. Следует заметить, что на фиг. 15 участки, соответствующие участкам, показанные для случая на фиг. 14, обозначаются схожими ссылочными позициями и их описание, соответственно, не повторяется.

В примере, показанном на фиг. 15, поскольку для формирования ячеек используются только шесть громкоговорителей из числа этих 22 громкоговорителей, общее количество ячеек на единичной сфере равно восьми и общее количество ячеек может быть значительно уменьшено. В результате, в примере, показанном на фиг. 15, по сравнению со случаем, в котором все эти 22 громкоговорителя используются для формирования ячеек, как показано на фиг. 14, объем обработки, когда вычисляются коэффициенты усиления VBAP, можно уменьшить в 8/40 раз, то есть, объем обработки можно значительно уменьшить.

Следует заметить, что в настоящем примере также, поскольку общая поверхность единичной сферы покрывается восемью ячейками без промежутка, можно локализовать звуковой образ в произвольном положении на поверхности единичной сферы. Однако, так как площадь каждой ячейки уменьшается по мере увеличения общего количества ячеек, обеспечиваемых на поверхности единичной сферы, можно управлять локализацией звукового образа с более высокой точностью по мере увеличения общего количества ячеек.

Если общее количество ячеек изменяется с помощью процесса переключения количества ячеек, то когда выбираются громкоговорители, которые должны использоваться, чтобы сформировать количество ячеек после переключения, желательно выбирать громкоговорители, положения которых в вертикальном направлении (в направлении вверх и вниз), если смотреть со стороны пользователя, который находится в начале координат O, а именно, положения которых в направлении угла места в вертикальном направлении отличаются друг от друга. Другими словами, желательно использовать три или более громкоговорителей, в том числе, громкоговорители, расположенные на разных высотах относительно друг друга, чтобы сформировать нужное количество ячеек после переключения. Это связано с необходимостью малого ухудшения трехмерного восприятия звука, а именно, эффекта присутствия.

Например, рассматривается случай, в котором некоторые или все пять громкоговорителей, в том числе громкоговорители SP1-SP5, расположенные на поверхности единичной сферы, используются для формирования ячеек, как показано на фиг. 16. Следует заметить, что на фиг. 16 участки, соответствующие ячейкам, показанным для случая, представленного на фиг. 3, обозначаются схожими ссылочными позициями и их описание не повторяется.

Там, где все пять громкоговорителей SP1-SP5 в примере, показанном на фиг. 16, используются для формирования ячеек, которые покрывают поверхность единичной сферы, количество ячеек равно трем. В частности, ячейки формируют три области, содержащие область треугольной формы, окруженную громкоговорителями SP1-SP3, другую область треугольной формы, окруженную громкоговорителями SP2-SP4 и дополнительную область треугольной формы, окруженную громкоговорителями SP2, SP4 и SP5.

Напротив, например, если используются только громкоговорители SP1, SP2 и SP5, то ячейка образует не треугольную форму, а двумерную дугу. В этом случае, звуковой образ объекта может быть локализован только на дуге, соединяющей громкоговорители SP1 и SP2, или на дуге, соединяющей громкоговорителей SP2 и SP5 единичной сферы.

Таким образом, если все громкоговорители, используемые для формирования ячеек, являются громкоговорителями, расположенными на одной и той же высоте в вертикальном направлении, а именно, громкоговорителями, расположенными на одном и том же уровне, то поскольку высоты положений локализации всех звуковых образов объекта становятся одной и той же высотой, эффект присутствия ухудшается.

Соответственно, желательно использовать три или более громкоговорителей, в том числе громкоговорители, расположенные в вертикальном направлении (вертикальное направление), которые отличаются друг от друга, чтобы сформировать одну или множество ячеек при малом ухудшении эффекта присутствия.

В примере, показанном на фиг. 16, например, если используются громкоговоритель SP1 и громкоговорители SP3-SP5 из числа громкоговорителей SP1-SP5, то две ячейки могут быть сформированы так, чтобы они покрывали всю поверхность единичной сферы. В этом примере громкоговорители SP1 и SP5 и громкоговорители SP3 и SP4 располагаются на высотах, отличных друг от друга.

В этом случае, например, область треугольной формы, окруженная громкоговорителями SP1, SP3 и SP5, и другая область треугольной формы, окруженная громкоговорителями SP3-SP5, формируются как ячейки.

Дополнительно, в этом примере, также возможно в качестве ячеек сформировать две области, содержащие область треугольной формы, окруженную громкоговорителями SP1, SP3 и SP4, и другую область треугольной формы, окруженную громкоговорителями SP1, SP4 и SP5.

В двух примерах, приведенных выше, поскольку звуковой образ может быть локализован в произвольном положении на поверхности единичной сферы, ухудшение эффекта присутствия может быть малым. Дополнительно, чтобы сформировать ячейки, так чтобы полная поверхность единичной сферы была покрыта множеством ячеек, желательно использовать так называемый верхний громкоговоритель, расположенный как раз точно над пользователем. Например, верхним громкоговорителем является громкоговоритель SPK19, показанный на фиг. 14.

Выполняя процесс переключения количества ячеек, чтобы изменить общее количество ячеек, таким способом, как описано выше, можно уменьшить объем обработки в процессе рендеринга и, помимо этого, можно до малого уровня уменьшить ухудшение эффекта присутствия или качества звука при воспроизведении звука, так же, как в случае процесса квантования. Другими словами, объем обработки при процессе рендеринге можно уменьшить при малом ухудшении эффекта присутствия или качества звука.

Выбор того, должен ли выполняться такой процесс переключения количества ячеек, или какое общее количество ячеек устанавливается в процессе переключения количества ячеек, может быть рассмотрен при выборе общего количества ячеек, которое должно использоваться для вычисления коэффициентов усиления VBAP.

Объединение процесса квантования и процесса переключения количества ячеек

В предшествующем описании, в качестве способа уменьшения объема обработки при процессе рендеринга, описываются процесс квантования и процесс переключения количества ячеек.

На стороне устройства рендеринга, выполняющего процесс рендеринга, некоторые из процессов, описанных как процесс квантования или процесс переключения количества ячеек, могут использоваться постоянно или такие процессы могут переключаться или могут, соответственно, объединяться.

Например, то, какие процессы должны выполняться объединяясь, может определяться на основе общего количества объектов (здесь далее упоминаемого как количество объектов), информации о важности, содержащейся в метаданных объекта, звукового давления аудиосигнала объекта и т.п. Дополнительно, возможно выполнить объединение процессов, а именно, переключения процессов, для каждого объекта или для каждого кадра аудиосигнала.

Например, когда переключение процесса выполняется в ответ на количество объектов, может выполняться такой процесс, как описано ниже.

Например, когда количество объектов равно или больше 10, процесс преобразования в двоичное значение для коэффициентов усиления VBAP выполняется для всех объектов. В отличие от этого, когда количество объектов меньше 10, обычно выполняются только описанные выше процесс A1-процесс A3.

Выполняя процессы обычным образом, когда количество объектов мало, но выполняя таким способом процесс преобразования в двоичную форму, когда количество объектов велико, рендеринг может выполняться вполне успешно даже устройством рендеринга с малопроизводительными аппаратными средствами, и может быть получен звук насколько возможно высокого качества.

Дополнительно, когда переключение процесса выполняется в ответ на количество объектов, процесс переключения количества ячеек может быть выполнен в ответ на количество объектов, чтобы соответственно изменить общее количество ячеек.

В этом случае, например, можно установить общее количество ячеек равным 8, когда количество объектов равно или больше 10, но установить общее количество ячеек равным 40, когда количество объектов меньше 10. Дополнительно, общее количество ячеек может изменяться на множестве этапов, исходя из количества объектов, так чтобы общее количество ячеек уменьшалось при увеличении количества объектов.

Изменяя общее количество ячеек в ответ на количество объектов таким способом, можно регулировать объем обработки в ответ на производительность аппаратных средств устройства рендеринга, таким образом, чтобы получить звук с возможно высоким качеством.

Дополнительно, когда переключение процесса выполняется на основе информации о важности, содержащейся в метаданных объекта, может выполняться следующий процесс.

Например, когда информация о важности объекта имеет наивысшее значение, указывая наивысшую степень важности, обычно выполняются только процессы A1-A3, но когда информация о важности объекта имеет значение, отличное от наивысшего, выполняется процесс преобразования коэффициента усиления VBAP в двоичную форму.

Дополнительно, например, процесс переключения количества ячеек может выполняться в ответ на значение информации о важности объекта, чтобы, соответственно, изменить общее количество ячеек. В этом случае, общее количество ячеек может увеличиваться по мере увеличения степени важности объекта и общее количество ячеек может изменяться на многих этапах.

В этих примерах процесс может переключаться для каждого объекта на основе информации о важности каждого объекта. В описанном здесь процессе можно повысить качество звука в отношении объекта, имеющего высокую степень важности, или уменьшить качество звука в отношении объекта, имеющего низкую степень важности, уменьшая, таким образом, объем обработки. Соответственно, когда звук объектов с различной степенью важности должен воспроизводиться одновременно, ухудшение качества звука при слуховом восприятии уменьшается больше всего, чтобы уменьшить объем обработки, и можно считать, что этот способ хорошо сбалансирован между обеспечением качества звука и снижением объема обработки.

Таким образом, когда переключение процесса выполняется для каждого объекта на основе информации о важности объекта, можно увеличивать общее количество объектов по мере увеличения степени важности объекта или избежать выполнения процесса квантования, когда степень важности объекта высокая.

Кроме того, также в отношении объекта, имеющего низкую степень важности, а именно, в отношении объекта, для которого значение информации о важности ниже заданного значения, общее количество ячеек может увеличиваться для объекта, расположенного в месте вблизи объекта, обладающего более высокой степенью важности, а именно, объекта, для которого значение информации о важности равно или выше заданного значения, или процесс квантования может не выполняться.

В частности, в отношении объекта, информация о важности которого указывает наивысшее значение, общее количество ячеек устанавливается равным 40, но в отношении объекта, информация о важности которого не указывает наивысшего значения, общее количество ячеек уменьшается.

В этом случае, в отношении объекта, информация о важности которого не имеет наивысшего значения, общее количество ячеек может увеличиваться по мере того, как уменьшается расстояние между объектом и объектом, информация о важности которого имеет наивысшее значение. Обычно, так как пользователь слушает особенно внимательно звук объекта с высокой степенью важности, если качество звука для звука другого объекта, расположенного вблизи объекта, будет низким, пользователь будет чувствовать, что качество звука всего контента не слишком хорошее. Поэтому, определяя общее количество ячеек также в отношении объекта, расположенного вблизи объекта, имеющего высокую степень важности так, чтобы могло быть получено настолько возможно высокое качество звука, ухудшение качества звука при слуховом восприятии может быть уменьшено.

Дополнительно, процесс может переключаться в ответ на звуковое давление аудиосигнала объекта. Здесь, звуковое давление аудиосигнала может определяться, вычисляя квадратный корень среднеквадратичного значения для значений выборки в кадре цели рендеринга аудиосигнала. В частности, RMS звукового давления может определяться, вычисляя следующее выражение (10):

Выражение 10

(10)

Следует заметить, что, в выражении (10), N представляет количество выборок, образующих кадр аудиосигнала, и x_n представляет значение выборки для n-ой выборки в кадре (где n = 0.., N - 1).

Когда процесс переключается с учетом RMS звукового давления аудиосигнала, полученного таким образом, может быть выполнен следующий процесс.

Например, когда RMS звукового давления аудиосигнала объекта составляет -6 дБ или больше относительно 0 дБ, которое является натуральным значением RMS звукового давления, только процессы A1-A3 выполняются как обычно, но когда RMS звукового давления объекта ниже -6 дБ, то выполняется процесс преобразования в двоичную форму для коэффициента усиления VBAP.

Обычно, когда звук имеет высокое звуковое давление, ухудшение качества звука, вероятно, будет заметным, и такой звук часто является звуком объекта, имеющего высокий степень важности. Поэтому, здесь в отношении объекта звука, имеющего высокое RMS звукового давления, не допускается ухудшение качества звука, в то время, как в отношении объекта звука, имеющего низкое RMS звукового давления, процесс преобразования в двоичную форму выполняется таким образом, что объем обработки, в целом, уменьшается. Таким образом, даже с помощью малопроизводительного устройства рендеринга, рендеринг может быть успешно выполнен и, кроме того, может быть получен звук с насколько возможно высоким качеством.

Альтернативно, процесс переключения количества ячеек может выполняться в ответ на RMS звукового давления аудиосигнала объекта, с тем, чтобы соответственно изменялось общее количество ячеек. В этом случае, например, общее количество ячеек может увеличиваться по мере увеличения RMS звукового давления объекта и общее количество ячеек на разных этапах может меняться.

Дополнительно, объединение процесса квантования или процесса переключения количества ячеек может быть выбрано с учетом количества объектов, информации о важности и RMS звукового давления.

В частности, коэффициент усиления VBAP может быть вычислен с помощью процесса, соответствующего результату выбора, основываясь на количестве объектов, информации о важности и RMS звукового давления, независимо от того, должен ли выполняться процесс квантования, от того, как много коэффициентов усиления из числа коэффициентов усиления VBAP должно квантоваться в процессе квантования, а именно, количества квантований в процессе квантования и общего количества ячеек, которые должны использоваться для вычисления коэффициента усиления VBAP. В таком случае, например, может быть выполнен такой процесс, как приводится ниже.

Например, когда количество объектов равно 10 или более, общее количество ячеек устанавливается равным 10 и, помимо этого выполняется процесс преобразования в двоичную форму. В этом случае, так как количество объектов велико, объем обработки уменьшается, снижая общее количество ячеек и выполняя процесс преобразования в двоичную форму. Следовательно, даже там, где производительность аппаратных средств устройства рендеринга невелика, рендеринг для всех объектов может быть выполнен.

При этом, когда количество объектов меньше 10 и, помимо этого, значение информации о важности имеет наивысшее значение, только процессы A1-A3 выполняются как обычно. Следовательно, для объекта, имеющего высокую степень важности, звук может воспроизведиться без ухудшения качества звука.

Когда количество объектов меньше 10 и, помимо этого, значение информации о важности не является наивысшим значением и, помимо этого, RMS звукового давления равно или выше -30 дБ, общее количество ячеек устанавливается равным 10 и, помимо этого, выполняется процесс преобразования в троичную форму. Это позволяет уменьшить объем обработки при рендеринге в такой степени, что в отношении звука, имеющего высокое звуковое давление, хотя степень важности является низкой, ухудшения качества звука не происходит.

Дополнительно, когда количество объектов меньше 10 и, помимо этого, значение информации важности не является наивысшим и, помимо этого, RMS звукового давления ниже -30 дБ, общее количество ячеек устанавливается равным 5 и дополнительно выполняется процесс преобразования в двоичную форму. Это позволяет достаточно уменьшить объем обработки в процессе рендеринга в отношении звука, имеющего низкую степень важности и имеющего низкое звуковое давление.

Таким образом, когда количество объектов велико, объем обработки при рендеринге уменьшается, так что рендеринг всех объектов может быть выполнен, но когда количество объектов до некоторой степени мало, выбирается соответствующий процесс и рендеринг выполняется для каждого объекта. Следовательно, при том, что обеспечение качества звука и уменьшение объема обработки хорошо балансируются для каждого объекта, звук, в целом, может воспроизводиться с достаточным качеством звука при малом объеме обработки.

Пример конфигурации устройства аудиообработки

Теперь будет описано устройство аудиообработки, выполняющее процесс рендеринга, в то же время, соответственно, выполняющее процесс квантования, процесс переключения количества ячеек и т. д описанные выше. На фиг. 17 показан пример конкретной конфигурации такого устройства аудиообработки, как было описано. Следует заметить, что на фиг. 17 участки, соответствующие участкам, показанным на фиг. 6, обозначаются схожими ссылочными позициями и описание их, соответственно, не повторяется.

Устройство 61 аудиообработки, показанное на фиг. 17, содержит блок 21 сбора данных, блок 23 вычисления коэффициентов усиления и блок 71 регулировки усиления. Блок 23 вычисления коэффициентов усиления принимает метаданные и аудиосигналы объектов, подаваемые от блока 21 сбора данных, вычисляет коэффициент усиления VBAP для каждого из громкоговорителей 12 каждого объекта и подает вычисленные коэффициенты усиления VBAP на блок 71 регулировки усиления.

Дополнительно, блок 23 вычисления коэффициентов усиления содержит блок 31 квантования, выполняющий квантование коэффициентов усиления VBAP.

Блок 71 регулировки усиления умножает аудиосигнал, подаваемый от блока 21 сбора данных на коэффициенты усиления VBAP для индивидуальных громкоговорителей 12, подаваемые от блока 23 вычисления коэффициентов усиления для каждого объекта, чтобы сформировать аудиосигналы для индивидуальных громкоговорителей 12, и подает аудиосигналы на громкоговорители 12.

Объяснение процесса воспроизведения

В дальнейшем описывается порядок действия устройства 61 аудиообработки, показанного на фиг. 17. В частности, процесс воспроизведения устройством 61 аудиообработки описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 18.

Следует заметить, что предполагается, что в настоящем примере аудиосигнал и метаданные одного объекта или каждого из множества объектов подаются для каждого кадра на блок 21 сбора данных и процесс воспроизведения выполняется для каждого кадра аудиосигнала каждого объекта.

На этапе S231 блок 21 сбора данных получает аудиосигнал и метаданные объекта извне и подает аудиосигнал на блок 23 вычисления коэффициентов усиления и блок 71 регулировки усиления, в то время, как метаданные подаются на блок 23 вычисления коэффициентов усиления. Дополнительно, блок 21 сбора данных получает также информацию о количестве объектов, в отношении которых звук должен воспроизводиться одновременно в кадре, являющемся целью обработки, а именно, о количестве объектов, и подает информацию на блок 23 вычисления коэффициентов усиления.

На этапе S232 блок 23 вычисления коэффициентов усиления, принимает решение, равно ли или больше 10 количество объектов, основываясь на информации, представляющей количество объектов, поданных от блока 21 сбора данных.

Если на этапе S232 принято решение, что количество объектов равно или больше 10, то блок 23 вычисления коэффициентов усиления на этапе S233 устанавливает общее количество ячеек, которое должно использоваться при вычислении коэффициента усиления VBAP, равным 10. Другими словами, блок 23 вычисления коэффициентов усиления выбирает 10 в качестве общего количества ячеек.

Дополнительно, блок 23 вычисления коэффициентов усиления выбирает заданное количество громкоговорителей 12 из общего числа всех громкоговорителей 12 с учетом выбранного общего количества ячеек, так чтобы на единичной сферической поверхности формировалось количество ячеек, равное общему количеству. Затем блок 23 вычисления коэффициентов усиления определяет 10 ячеек на единичной сферической поверхности, сформированной из выбранных громкоговорителей 12, в качестве ячеек, которые будут использоваться при вычислении коэффициента усиления VBAP.

На этапе S234 блок 23 вычисления коэффициентов усиления вычисляет коэффициент усиления VBAP для каждого громкоговорителя 12 посредством VBAP на основе информации локализации, указывающей местоположения громкоговорителей 12, образующих 10 ячеек, определенных на этапе S233, и позиционной информации, содержащейся в метаданных, подаваемых от блока 21 сбора данных и указывающих положения объектов.

В частности, блок 23 вычисления коэффициентов усиления последовательно выполняет вычисление выражения (8), используя ячейки, определенные на этапе S233 в порядке, в котором следуют ячейки, служащие целью обработки, чтобы вычислить коэффициент усиления VBAP громкоговорителей 12. В этом случае, новая ячейка последовательно определяется как ячейка, служащая целью обработки, до тех пор, пока не вычислены коэффициенты усиления VBAP в отношении трех громкоговорителей 12, образующих ячейку, являющуюся целью обработки, и пока все они не покажут значения, равные или больше 0, чтобы последовательно вычислять коэффициенты усиления VBAP.

На этапе S235 блок 31 квантования преобразует в двоичную форму коэффициенты усиления VBAP громкоговорителей 12, полученные на этапе S234, после чего процесс переходит к этапу S246.

Если на этапе S232 определено, что количество объекта меньше 10, то процесс переходит к этапу S236.

На этапе S236 блок вычисления коэффициенты усиления 23 принимает решение, имеет ли информация о важности объектов, содержащаяся в метаданных, получаемых от блока 21 сбора данных, самое высокое значение. Например, если значение информации о важности равно "7", что указывает, что степень важности является наивысшей, то тогда принимается решение, что информация о важности указывает наивысшее значение.

Если на этапе S236 принимается решение, что информация о важности указывает наивысшее значение, то процесс переходит к этапу S237.

На этапе S237 блок 23 вычисления коэффициентов усиления вычисляет коэффициент усиления VBAP для каждого громкоговорителя 12 на основе информации о местоположении, указывающей места расположения громкоговорителей 12, и позиционной информации, содержащейся в метаданных, подаваемых от блока 21 сбора данных, после чего процесс переходит к этапу S246. Здесь, ячейки, образуемые всеми громкоговорителями 12, последовательно определяются как ячейки, являющиеся целью обработки, и коэффициент усиления VBAP вычисляется посредством вычисления выражения (8).

С другой стороны, если на этапе S236 принимается решение, что информация о важности не указывает наивысшее значение, то тогда на этапе S238 блок 23 вычисления коэффициентов усиления вычисляет RMS звукового давления аудиосигнала, подаваемого от блока 21 сбора данных. В частности, вычисление выражения (10), приведенного выше, выполняется для кадра аудиосигнала, который является целью обработки, чтобы вычислить RMS звукового давления.

На этапе S239 блок 23 вычисления коэффициентов усиления принимает решение, выше ли или равно -30 дБ значение RMS звукового давления, вычисленное на этапе S238.

Если на этапе S239 принято решение, что значение RMS звукового давления равно или выше -30 дБ, то выполняются процессы этапов S240 и S241. Следует заметить, что процессы на этапах S240 и S241 подобны процессам на этапах S233 и S234, соответственно, и поэтому их описание не повторяется.

На этапе S242 блок 31 квантования преобразует в троичную форму коэффициент усиления VBAP для каждого громкоговорителя 12, полученный на этапе S241, после чего процесс переходит к этапу S246.

С другой стороны, если на этапе S239 принимается решение, что значение RMS звукового давления ниже -30 дБ, то тогда процесс переходит к этапу S243.

На этапе S243 блок 23 вычисления коэффициентов усиления устанавливает общее количество ячеек, которые будут использоваться при вычислении коэффициента усиления VBAP, равным 5.

Дополнительно, блок 23 вычисления коэффициентов усиления выбирает заданное количество громкоговорителей 12 из общего количества всех громкоговорителей 12 в ответ на выбранное общее количество "5" ячеек и определяет пять ячеек на единичной сферической поверхности, образованной выбранными громкоговорителями 12, в качестве ячеек, которые должны использоваться при вычислении коэффициентов усиления VBAP.

После того, как ячейки, которые должны использоваться при вычислении коэффициентов усиления VBAP, определены, выполняются процессы этапов S244 и S245 и затем процесс переходит к этапу S246. Следует заметить, что процессы на этапах S244 и S245 подобны процессам на этапах S234 и S235 и поэтому их описание не повторяется.

После того, как выполняются процессы на этапах S235, S237, S242 или S245 и коэффициенты усиления VBAP для громкоговорителей 12 получены, выполняются процессы на этапах S246-S248, заканчивая, таким образом, процесс воспроизведения.

Следует заметить, что поскольку процессы на этапах S246-S248 схожи с процессами на этапах S17-S19, описанных выше со ссылкой на фиг. 7, соответственно, их описание не повторяется.

Однако, более подробно, в отношении индивидуальных объектов процесс воспроизведения выполняется, по существу, одновременно, и на этапе S248 аудиосигналы для громкоговорителей 12, полученные для индивидуальных объектов, подаются на громкоговорители 12. В частности, громкоговорители 12 воспроизводят звук на основе сигналов, полученных сложением аудиосигналов объектов. В результате, звук всех объектов выводится одновременно.

Устройство 61 аудиообработки выборочно выполняет процесс квантования и процесс переключения количества ячеек соответственно для каждого объекта. Таким образом, объем обработки для процесса рендеринга можно уменьшить при малом ухудшении эффекта присутствия или качества звука.

Модификация 1 второго варианта осуществления

Пример конфигурации устройства аудиообработки

Дополнительно, хотя в описании второго варианта осуществления приводится пример, в котором, когда процесс расширения звукового образа не выполняется, процесс квантования или процесс переключения количества ячеек выполняются выборочно, а также, когда процесс расширения звукового образа выполняется, процесс квантования или процесс переключения количества ячеек могут выполняться выборочно.

В таком случае устройство 11 аудиообработки выполняется, например, в таком виде, как показано на фиг. 19. Следует заметить, что на фиг. 19 участки, соответствующие участкам, показанным для случая на фиг. 6 или 17 обозначаются схожими ссылочными позициями и их описание, соответственно, не повторяется.

Устройство 11 аудиообработки, показанное на фиг. 19, содержит блок 21 сбора данных, блок 22 вычисления векторов, блок 23 вычисления коэффициентов усиления и блок 71 регулировки усиления.

Блок сбора 21 данных получает аудиосигнал и метаданные объекта в отношении одного или множества объектов и подает полученный аудиосигнал на блок 23 вычисления коэффициентов усиления и на блок 71 регулировки усиления, а полученные метаданные подает на блок 22 вычисления векторов и на блок 23 вычисления коэффициентов усиления. Дополнительно, блок 23 вычисления коэффициентов усиления содержит блок 31 квантования.

Объяснение процесса воспроизведения

Теперь, процесс воспроизведения, выполняемый устройством 11 аудиообработки, показанным на фиг. 19, описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 20.

Следует заметить, что в настоящем примере предполагается, что в отношении одного или множества объектов аудиосигнал объекта и метаданные подаются для каждого кадра на блок 21 сбора данных и процесс воспроизведения выполняется для каждого кадра аудиосигнала для каждого объекта.

Дополнительно, поскольку процессы на этапах S271 и S272 подобны процессам на этапах S11 и S12, показанных на фиг. 7, соответственно, их описание не повторяется. Однако, на этапе S271 аудиосигналы, полученные блоком 21 сбора данных, подаются на блок 23 вычисления коэффициентов усиления и на блок 71 регулировки усиления, а метаданные, полученные блоком 21 сбора данных, подаются на блок 22 вычисления векторов и на блок 23 вычисления коэффициентов усиления.

Когда процессы на этапах S271 и S272 выполнены, векторы спреда или векторы спреда и вектор p получены.

На этапе S273 блок 23 вычисления коэффициентов усиления выполняет процесс вычисления коэффициентов усиления VBAP, чтобы вычислить коэффициент усиления VBAP для каждого громкоговорителя 12. Следует заметить, что, хотя подробности процесса вычисления коэффициентов усиления VBAP описываются здесь далее, в процессе вычисления коэффициентов усиления VBAP процессе квантования или процессе переключения количества ячеек выполняется выборочно, чтобы вычислить коэффициент усиления VBAP для каждого громкоговорителя 12.

После того, как выполнен процесс на этапе S273 и коэффициенты усиления VBAP для громкоговорителей 12 получены, выполняются процессы на этапах S274-S276 и процесс воспроизведения заканчивается. Однако, поскольку эти процессы подобны процессам на этапах S17-S19, показанным на фиг. 7, соответственно, их описание не повторяется. Однако, более подробно, процесс воспроизведения в отношении объектов выполняется, по существу, одновременно и на этапе S276 аудиосигналы для громкоговорителя 12, полученные для индивидуальных объектов, подаются на громкоговорители 12. Поэтому звук всех объектов выводится от громкоговорителей 12 одновременно.

Устройство 11 аудиообработки выборочно выполняет процесс квантования или процесс переключения количества ячеек соответственно для каждого объекта таким способом, как описано выше. Таким образом, также, когда выполняется процесс расширения звукового образа, объем обработки при процессе рендеринга можно уменьшить при малом ухудшении эффекта присутствия или качества звука.

Объяснение процесса вычисления коэффициентов усиления VBAP

Далее процесс вычисления коэффициентов усиления VBAP, соответствующий процессу на этапе S273, показанном на фиг. 20, описывается со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 21.

Следует заметить, что поскольку процессы на этапах S301-S303 подобны процессам на этапах S232-S234, показанных на фиг. 18, соответственно, их описание не повторяется. Однако, на этапе S303 коэффициент усиления VBAP вычисляется для каждого громкоговорителя 12 в отношении каждого из векторов спреда или векторов спреда и вектора p.

На этапе S304 блок 23 вычисления коэффициентов усиления прибавляет коэффициенты усиления VBAP, вычисленные в отношении векторов для каждого громкоговорителя 12, чтобы вычислить дополнительное значение коэффициентов усиления VBAP. На этапе S304 процесс, подобный этому, выполняется на этапе S14, показанном на фиг. 7.

На этапе S305 блок 31 квантования 31 преобразует в двоичную форму полученное дополнительное значение коэффициента усиления VBAP для каждого громкоговорителя 12 посредством процесса на этапе S304 и затем процесс вычисления заканчивается, после чего процесс переходит к этапу S274, показанному на фиг. 20.

С другой стороны, если на этапе S301 принято решение, что количество объектов меньше 10, выполняются процессы на этапах S306 и S307.

Следует заметить, что поскольку процессы на этапах S306 и S307 схожи с процессами на этапе S236 и на этапе S237, показанных на фиг. 18, соответственно, их описание не повторяется. Однако, на этапе S307 коэффициент усиления VBAP вычисляется для каждого громкоговорителя 12 в отношении каждого из векторов для векторов спреда или для векторов спреда и вектора p.

Дополнительно, после выполнения процесса на этапе S307, выполняется процесс на этапе 308 и процесс вычисления коэффициентов усиления VBAP заканчивается и процесс переходит к этапу S274, показанному на фиг. 20. Однако, поскольку процесс на этапе S308 подобен процессу на этапе S304, его описание не повторяется.

Дополнительно, если на этапе S306 принято решение, что информация о важности не указывает наибольшее значение, то выполняются процессы на этапах S309-S312. Однако, так как процессы подобны процессам на этапах S238-S241, показанных на фиг. 18, их описание не повторяется. Однако, на этапе S312 коэффициент усиления VBAP вычисляется для каждого громкоговорителя 12 в отношении каждого из векторов для векторов спреда или векторов спреда и вектора p.

После того, как коэффициенты усиления VBAP для громкоговорителей 12 в отношении векторов получены, выполняется процесса на этапе S313, чтобы вычислить дополнительное значение коэффициента усиления VBAP. Однако, поскольку процесс на этапе S313 подобен процессу на этапе S304, его описание не повторяется.

На этапе S314 блок 31 квантования преобразует в троичную форму дополнительное значение коэффициента усиления VBAP, полученное для каждого громкоговорителя 12 в процессе на этапе S313 и вычисление коэффициентов усиления VBAP заканчивается, после чего процесс переходит к этапу S274, показанному на фиг. 20.

Дополнительно, если на этапе S310 принимается решение, что значение RMS звукового давления ниже -30 дБ, то тогда выполняется процесс на этапе S315 и общее количество ячеек, которые будут использоваться при вычислении коэффициентов усиления VBAP, устанавливается равным 5. Следует заметить, что процесс на этапе S315 подобен процессу на этапе S243, показанному на фиг. 18, и поэтому его описание не повторяется.

После того, как определены ячейки, которые должны использоваться при вычислении коэффициентов усиления VBAP, выполняются процессы на этапах S316-S318 и процесс вычисления коэффициентов усиления VBAP заканчивается, после чего процесс переходит к этапу S274, показанному на фиг. 20. Следует заметить, что процессы на этапах S316-S318 схожи с процессами на этапах S303-S305 и поэтому их описание не повторяется.

Устройство 11 аудиообработки выборочно выполняет процесс квантования или процесс переключения количества ячеек соответственно для каждого объекта таким способом, как описано выше. Таким образом, также, когда выполняется процесс расширения звукового образа, объем обработки при процессе рендеринга может быть уменьшен при малом ухудшении эффекта присутствия или качества звука.

В связи с этим, когда последовательность процессов, описанная выше, может быть ввыполнена аппаратными средствами, она же, в противном случае, может быть выполнена программным обеспечением. Когда последовательность процессов выполняется программным обеспечением, программа, образующая программное обеспечение, устанавливается в компьютер. Здесь, компьютер содержит компьютер, содержащийся в аппаратных средствах для эксклюзивного использования, например, персональный компьютер для универсального использования, который может выполнять различные функции, устанавливая различные программы и т.д.

На фиг. 22 представлена блок-схема, показывающая пример конфигурации аппаратных средств компьютера, выполняющего ряд процессов, описанных выше, в соответствии с программой.

В компьютере CPU (Central Processing Unit, центральный процессор) 501, ROM (Read Only Memory, постоянная память) 502 и RAM (Random Access Memory, оперативная память) 503 соединяются друг с другом шиной 504.

К шине 504 дополнительно подключается интерфейс 505 ввода-вывода. К интерфейсу 505 ввода-вывода подключаются устройство 506 ввода, устройство 507 вывода, запоминающее устройство 508, блок 509 связи и дисковод 510.

Устройство 506 ввода является клавиатурой, "мышью", микрофоном, элемент датчика изображения и т.д. устройство 507 вывода является устройством отображения, громкоговорителем и т.д. Запоминающее устройство 508 является жестким диском, энергонезависимой памятью и т.д. Блок 509 связи является сетевым интерфейсом и т.д. Дисковод 510 приводит в действие съемный носитель 511 записи, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память.

В компьютере, конфигурированном таким способом, как описано выше, CPU 501 загружает программу, записанную, например, в запоминающем устройстве 508, в RAM 503 через интерфейс 505 ввода-вывода и шину 504 и выполняет программу, чтобы выполнить ряд процессов, описанных здесь выше.

Программа, выполняемая компьютером (CPU 501), может быть записана и предоставляться на съемном носителе 511 для записи, например, как пакетный носитель и т.п. Дополнительно, программа может быть предоставлена через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет или цифровое спутниковое вещание.

В компьютере программа может быть установлена в запоминающее устройство 508 через интерфейс 505 ввода-вывода, выгружая съемный носитель 511 записи на дисковод 510. Альтернативно, программа может быть получена блоком 509 связи через проводную или беспроводную среду передачи и установлена в запоминающее устройство 508. Альтернативно, программа может быть установлена заранее в ROM 502 или в запоминающее устройство 508.

Следует заметить, что программа, выполняемая компьютером, может быть программой, с помощью которой процессы выполняются во временной последовательности в соответствии с порядком, представленным в настоящем описании, или программой, в которой процессы выполняются параллельно или выполняются с синхронизацией, с которой программа вызывается, и т.п.

Дополнительно, варианты осуществления настоящей технологии не ограничивается вариантами осуществления, описанными выше, и могут быть по-разному изменены, не отступая от сущности настоящей технологии.

Например, настоящая технология может использовать конфигурацию вычислений в "облаке", посредством которой одна функция используется и обрабатывается совместно множеством устройств через сеть.

Дополнительно, этапы, описанные со ссылкой на блок-схемы последовательности выполнения операций, представленные выше, могут выполняться единым устройством или могут выполняться при совместном использовании множества устройств.

Дополнительно, когда один этап содержит множество процессов, множество процессов, содержащихся в одном этапе, могут выполняться единым устройством или могут выполняться при совместном использовании множества устройств.

Также, для настоящей технологии можно использовать нижеследующие конфигурации.

(1) Устройство аудиообработки, содержащее:

блок сбора данных, выполненный с возможностью сбора метаданных, содержащих информацию положения, указывающую положение аудиообъекта, и информацию звукового образа, конфигурированную по меньшей мере из двумерного или более вектора и представляющую протяженность звукового образа относительно его положения;

блок вычисления векторов, выполненный с возможностью вычисления вектора спреда, указывающего положение в области, основываясь на угле в горизонтальном направлении и угле в вертикальном направлении области, представляющей протяженность звукового образа, определяемую информацией звукового образа; и

блок вычисления коэффициентов усиления, выполненный с возможностью вычисления, основываясь на векторе спреда, коэффициента усиления каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указанного информацией положения.

(2) Устройство аудиообработки по (1), в котором

блок вычисления векторов выполнен с возможностью вычисления вектора спреда, основываясь на соотношении между углом в горизонтальном направлении и углом в вертикальном направлении.

(3) Устройство аудиообработки по (1) или (2), в котором

блок вычисления векторов выполнен с возможностью вычисления количества векторов спреда, определяемых заранее.

(4) Устройство аудиообработки по (1) или (2), в котором

блок вычисления векторов выполнен с возможностью вычисления переменного произвольного количества векторов спреда.

(5) Устройство аудиообработки по (1), в котором

информация звукового образа является вектором, указывающим центральное положение области.

(6) Устройство аудиообработки по (1), в котором

информация звукового образа является двумерным или более вектором, указывающим степень протяженности звукового образа от центра области.

(7) Устройство аудиообработки по (1), в котором

информация звукового образа является вектором, указывающим относительное положение центрального положения области, если смотреть со стороны положения, указанного позиционной информацией.

(8) Устройство аудиообработки по любому из (1)-(7), в котором

блок вычисления коэффициентов усиления выполнен с возможностью

вычисления коэффициента усиления для каждого вектора спреда в отношении каждого из блоков вывода звука,

вычисления дополнительного значения к коэффициентам усиления, вычисленного в отношении векторов спреда для каждого из блоков вывода звука,

квантования дополнительного значения в коэффициент усиления двух или более значений для каждого из блоков вывода звука, и

вычисления конечного коэффициента усиления для каждого из блоков вывода звука, основываясь на квантованном дополнительном значении.

(9) Устройство аудиообработки по (8), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, каждая из которых является областью, окруженной тремя блоками из числа блоков вывода звука, и количество которых должно использоваться для вычисления коэффициента усиления, и вычисляет коэффициент усиления для каждого из векторов спреда, основываясь на результате выбора количества ячеек и векторе спреда.

(10) Устройство аудиообработки по (9), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, которое должно использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количества квантований дополнительного значения при квантовании и вычисления конечного коэффициента усиления с учетом результата выбора.

(11) Устройство аудиообработки по (10), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора, основываясь на количестве аудиообъектов, количества ячеек, которое должно использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количества квантований.

(12) Устройство аудиообработки по (10) или (11), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора, основываясь на степени важности аудиообъекта, количества ячеек, которое должно использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количества квантований.

(13) Устройство аудиообработки по (12), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, которое должно использоваться для вычисления коэффициента усиления, так что количество ячеек, которое должно использоваться для вычисления коэффициента усиления увеличивается по мере того, как положение аудиообъекта располагается ближе к аудиообъекту, который является высоким по степени важности.

(14) Устройство аудиообработки по любому из (10)-(13), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора, основываясь на звуковом давлении аудиосигнала аудиообъекта, количества ячеек, которое должно использоваться для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количества квантований.

(15) Устройство аудиообработки по любому из (9)-(14), в котором

блок вычисления коэффициентов усиления выполнен с возможностью выбора с учетом результата выбора количества ячеек, трех или более блоков из множества блоков вывода звука, содержащих блоки вывода звука, расположенные на разных высотах относительно друг друга, и вычисления коэффициентов усиления, основываясь на одной или множестве ячеек, сформированных из выбранных блоков вывода звука.

(16) Способ аудиообработки, содержащий этапы, на которых:

собирают метаданные, содержащие информацию положения, указывающую положение аудиообъекта, и информацию звукового образа, выполненную по меньшей мере из двумерного или более вектора и представвляющую протяженность звукового образа, если смотреть из упомянутого положения;

вычисляют, основываясь на угле в горизонтальном направлении и угле в вертикальном направления, области, представляющей протяженность звукового образа, определенную информацией звукового образа, вектор спреда, указывающий положение в области; и

вычисляют, основываясь на векторе спреда, коэффициент усиления каждого из аудиосигналов, подаваемых на два или более блока вывода звука, расположенных вблизи положения, указанного информацией положения.

(17) Программа, вызывающаям выполнение компьютером обработки, содержащей этапы, на которых:

собирают метаданные, содержащие информацию положения, указывающую положение аудиообъекта, и информацию звукового образа, выполненную по меньшей мере из двумерного или более вектора и представвляющую протяженность звукового образа, если смотреть из упомянутого положения;

вычисляют, основываясь на угле в горизонтальном направлении и угле в вертикальном направления области, представляющей протяженность звукового образа, определенную информацией звукового образа, вектор спреда, указывающий положение в области; и

вычисляют, основываясь на векторе спреда, коэффициент усиления каждого из аудиосигналов, подаваемых на два или более блока вывода звука, расположенных вблизи положения, указанного информацией положения.

(18) Устройство аудиообработки, содержащее:

блок сбора данных, выполненный с возможностью получения метаданных, содержащих информацию положения, указывающую положение аудиообъекта, и

блок вычисления коэффициентов усиления, выполненный с возможностью выбора количества ячеек, каждая из которых является областью, окруженной тремя блоками вывода звука, и количество которых должно использоваться для вычисления коэффициента усиления аудиосигнала, который должен подаваться на блоки вывода звука, и вычисления коэффициента усиления, основываясь на результате выбора количества ячеек и информации положения.

Перечень ссылочных позиций

11 - Устройство аудиообработки

21 - Блок сбора данных

22 - Блок вычисления векторов

23 - Блок вычисления коэффициентов усиления

24 - Блок регулировки усиления

31 - Блок квантования

61 - Устройство аудиообработки

71 - Блок регулировки усиления

Изобретение относится к области вычислительной техники предназначенной для аудиообработки. Технический результат заключается в повышении точности аудиообработки для получения звука высокого качества. Технический результат достигается за счет сбора метаданных, содержащих позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, выполненную из двумерного или более вектора и представляющую протяженность звукового образа, если смотреть из упомянутого положения; вычисления, на основе угла в горизонтальном направлении и угла в вертикальном направлении, области, представляющей протяженность звукового образа, определенной информацией звукового образа, вектором спреда, указывающим положение в области; и вычисления, на основе вектора спреда, коэффициента усиления каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указанного позиционной информацией. 3 н. и 14 з.п. ф-лы, 22 ил.

1. Устройство аудиообработки, содержащее:

блок сбора данных, выполненный с возможностью сбора метаданных, содержащих позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, конфигурированную по меньшей мере из двумерного или более вектора и представляющую протяженность звукового образа относительно его положения;

блок вычисления векторов, выполненный с возможностью вычисления вектора спреда, указывающего положение в области, на основе угла в горизонтальном направлении и угла в вертикальном направлении области, представляющей протяженность звукового образа, определяемой информацией звукового образа; и

блок вычисления коэффициентов усиления, выполненный с возможностью вычисления, на основе вектора спреда, коэффициента усиления каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указанного позиционной информацией.

2. Устройство аудиообработки по п. 1, в котором блок вычисления векторов выполнен с возможностью вычисления вектора спреда, на основе соотношения между углом в горизонтальном направлении и углом в вертикальном направлении.

3. Устройство аудиообработки по п. 1, в котором блок вычисления векторов выполнен с возможностью вычисления количества векторов спреда, определяемых заранее.

4. Устройство аудиообработки по п. 1, в котором блок вычисления векторов выполнен с возможностью вычисления переменного произвольного количества векторов спреда.

5. Устройство аудиообработки по п. 1, в котором информация звукового образа является вектором, указывающим центральное положение области.

6. Устройство аудиообработки по п. 1, в котором информация звукового образа является двумерным или более вектором, указывающим степень протяженности звукового образа от центра области.

7. Устройство аудиообработки по п. 1, в котором информация звукового образа является вектором, указывающим относительное положение центрального положения области, если смотреть со стороны положения, указанного позиционной информацией.

8. Устройство аудиообработки по п. 1, в котором блок вычисления коэффициентов усиления выполнен с возможностью

вычисления коэффициента усиления для каждого вектора спреда в отношении каждого из блоков вывода звука,

вычисления дополнительного значения коэффициентов усиления, вычисленного в отношении векторов спреда для каждого из блоков вывода звука,

квантования дополнительного значения в коэффициент усиления двух или более значений для каждого из блоков вывода звука, и

вычисления конечного коэффициента усиления для каждого из блоков вывода звука, на основе квантованного дополнительного значения.

9. Устройство аудиообработки по п. 8, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, каждая из которых является областью, окруженной тремя блоками из числа блоков вывода звука, и количество которых подлежит использованию для вычисления коэффициента усиления, и вычисления коэффициента усиления для каждого из векторов спреда, на основе результата выбора количества ячеек и вектора спреда.

10. Устройство аудиообработки по п. 9, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, подлежащих использованию для вычисления коэффициента усиления, независимо от того, должно ли выполняться квантование, и количества квантований дополнительного значения при квантовании и вычисления конечного коэффициента усиления с учетом результата выбора.

11. Устройство аудиообработки по п. 10, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора, на основе количества аудиообъектов, количества ячеек, подлежащих использованию для вычисления коэффициента усиления, независимо от того, подлежит ли выполнению квантование, и количества квантований.

12. Устройство аудиообработки по п. 10, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора, на основе степени важности аудиообъекта, количества ячеек, подлежащих использованию для вычисления коэффициента усиления, независимо от того, подлежит ли выполнению квантование, и количества квантований.

13. Устройство аудиообработки по п. 12, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора количества ячеек, подлежащих использованию для вычисления коэффициента усиления, так что количество ячеек, подлежащее использованию для вычисления коэффициента усиления, увеличивается по мере того, как положение аудиообъекта располагается ближе к аудиообъекту, являющемуся высоким по степени важности.

14. Устройство аудиообработки по п. 10, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора, на основе звукового давления аудиосигнала аудиообъекта, количества ячеек, подлежащего использованию для вычисления коэффициента усиления, независимо от того, подлежит ли выполнению квантование, и количества квантований.

15. Устройство аудиообработки по п. 9, в котором блок вычисления коэффициентов усиления выполнен с возможностью выбора, с учетом результата выбора количества ячеек, трех или более блоков из множества блоков вывода звука, содержащих блоки вывода звука, расположенные на разных высотах относительно друг друга, и вычисления коэффициента усиления, на основе одной или более ячеек, сформированных из выбранных блоков вывода звука.

16. Способ аудиообработки, содержащий этапы, на которых:

собирают метаданные, содержащие позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, выполненную по меньшей мере из двумерного или более вектора и представляющую протяженность звукового образа, если смотреть из упомянутого положения;

вычисляют, на основе угла в горизонтальном направлении и угла в вертикальном направлении, область, представляющую протяженность звукового образа, определенную информацией звукового образа, вектором спреда, указывающим положение в области; и

вычисляют, на основе вектора спреда, коэффициент усиления каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указанного позиционной информацией.

17. Носитель записи, хранящий программу, вызывающую выполнение компьютером обработки, содержащей этапы, на которых:

собирают метаданные, содержащие позиционную информацию, указывающую положение аудиообъекта, и информацию звукового образа, выполненную по меньшей мере из двумерного или более вектора и представляющую протяженность звукового образа, если смотреть из упомянутого положения;

вычисляют, на основе угла в горизонтальном направлении и угла в вертикальном направления, область, представляющую протяженность звукового образа, определенную информацией звукового образа, вектором спреда, указывающим положение в области; и

вычисляют, на основе вектора спреда, коэффициент усиления каждого из аудиосигналов, подаваемых на два или более блоков вывода звука, расположенных вблизи положения, указанного информацией положения.