СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ЗВУКА Российский патент 2022 года по МПК H04S5/02 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способам и устройствам обработки звука и программе и, более конкретно, к способу и устройству обработки звука и программе для обеспечения более стабильной локализации звукового образа.

Уровень техники

В качестве технологии управления локализацией звукового образа с помощью громкоговорителей, известна технология VBAP (векторное амплитудное панорамирование) (см. непатентный документ 1, например).

Посредством VBAP, позиция целевой локализации звукового образа выражается линейной суммой векторов, проходящих в направлении двух или трех громкоговорителей, расположенных вокруг позиции локализации. Коэффициенты, на которые соответствующие векторы умножаются в линейной сумме, используются в качестве коэффициентов усиления звуков, вырабатываемые соответствующими громкоговорителями, и регулировка усиления выполняется таким образом, что звуковой образ фиксируется на целевой позиции.

Перечень ссылок

Непатентный документ

Непатентный документ 1: Ville Pulkki, "Позиционирование виртуального источника звука с использованием векторного амплитудного панорамирования", бюллетень AES, т. 45, № 6, стр. 456 - 466, 1997г.

Раскрытие изобретения

Технические задачи, решаемые с помощью изобретения

Посредством вышеописанной технологии, однако, звуковой образ может быть зафиксирован на целевой позиции, но локализация звукового образа может стать неустойчивой в зависимости от положения локализации звукового образа.

Посредством применения трехмерной VBAP для выполнения VBAP, используя три громкоговорителя, есть случаи, когда только два громкоговорителя среди трех громкоговорителей вырабатывают звук, и оставшийся один громкоговоритель, управляется не выводить звук в зависимости от позиции целевой локализации звукового образа.

В таком случае, когда пользователь перемещается во время прослушивания звука, звуковой образ может перемещаться в отличном направлении от направления перемещения, и пользователь может воспринимать, что локализация звукового образа неустойчива. Если локализация звукового образа становится неустойчивой, диапазон зоны комфортного прослушивания, как позиция оптимального прослушивания, становится уже.

Настоящее изобретение было разработано с учетом этих обстоятельств и для обеспечения более стабильной локализации звукового образа.

Решения технической задачи

Устройство обработки звука согласно одному аспекту настоящего изобретения включает в себя: блок вычисления коэффициента усиления, который определяет коэффициенты выходного усиления звуков, которые выводятся из четырех или более блоков вывода звука, расположенные близко к позиции локализации звукового образа в качестве целевой позиции путем вычисления коэффициентов усиления звука для вывода из блоков вывода звука на основании позиционной взаимосвязи между блоками вывода звука по отношению к каждой из различных комбинаций из комбинаций двух или трех четырех или более блоков вывода звука, коэффициенты выходного усиления используются для фиксации звукового образа на позиции локализации звукового образа; и блок регулировки коэффициента усиления, который выполняет регулировку коэффициента усиления звука для вывода звука из блоков вывода звука на основании коэффициентов выходного усиления.

По меньшей мере, четыре коэффициента выходного усиления, каждый имеет значение, отличное от 0.

Блок вычисления коэффициента усиления может включать в себя: первый блок вычисления коэффициента усиления для вычисления коэффициентов выходного усиления виртуального блока вывода звука, и два блока вывода звука на основании позиционной взаимосвязи между виртуальным блоком вывода звука, двумя блоками вывода звука и позицией локализации звукового образа; второй блок вычисления коэффициента усиления для вычисления коэффициентов усиления двух других блоков вывода звука, чем указанные два блока вывода звука, на основании позиционной взаимосвязи между двумя другими блоками вывода звука виртуальным блоком вывода звука, коэффициенты усиления других двух блоков вывода звука, которые будут использоваться для фиксации звукового образа на позиции виртуального блока вывода звука; и вычислительный блок для вычисления коэффициентов выходного усиления двух других блоков вывода звука на основании коэффициентов усиления других двух блоков вывода звука и коэффициентов выходного усиления виртуального блока вывода звука.

Вычислительный блок может вычислять коэффициенты выходного усиления двух других блоков вывода звука путем умножения коэффициентов усиления двух других блоков вывода звука, посредством коэффициента выходного усиления виртуального блока вывода звука.

Позиция виртуального блока вывода звука может быть установлена на стороне многоугольника, имеющего четыре или более блоков вывода звука на его углах.

Блок вычисления коэффициента усиления может включать в себя: виртуальный блок вычисления коэффициента усиления, который вычисляет коэффициенты выходного усиления трех блоков вывода звука на основании позиционной взаимосвязи между тремя блоками вывода звука и позиции локализации звукового образа; и вычислительный блок, который вычисляет предельные коэффициенты выходного усиления блоков вывода звука на основании коэффициентов выходного усиления, рассчитанных виртуальным блоком вычисления коэффициента усиления, вычисляя коэффициенты выходного усиления в отношении различных комбинаций среди комбинаций.

Вычислительный блок может вычислять предельный коэффициент выходного усиления того же одного из блоков вывода звука посредством определения суммы коэффициентов выходного усиления, определенных по отношению к тому же самому одному из блоков вывода звука.

Способ обработки звука или программа в соответствии с одним аспектом настоящего изобретения включает в себя этапы, на которых: определяют коэффициенты выходного усиления звуков, которые выводятся из четырех или более блоков вывода звука, расположенных близко к позиции локализации звукового образа, в качестве целевой позиции, посредством вычисления коэффициентов усиления звуков, выводимых блоками вывода звука, на основании позиционной взаимосвязи между блоками вывода звука по отношению к каждой из различных комбинаций из комбинации двух или трех из четырех или более блоков вывода звука, при этом коэффициенты выходного усиления, используемые для фиксации звукового образа на позиции локализации звукового образа; и выполняют регулировку коэффициента усиления звуков для вывода из блоков вывода звука, на основании коэффициентов выходного усиления.

В одном аспекте настоящего изобретения, коэффициенты выходного усиления, выводимые из четырех или более блоков вывода звука, расположенных близко к позиции локализации звукового образа, в качестве целевой позиции, определяются посредством вычисления коэффициентов усиления звуков, подлежащих выводу блоками вывода звука, на основании позиционной связи между блоками вывода звука по отношению к каждой из различных комбинаций из комбинации двух или трех из четырех или более блоков вывода звука, при этом коэффициенты выходного усиления используются для фиксации звукового образа на позиции локализации звукового образа; а регулировка коэффициента усиления выполняется на выводимых звуках из блоков вывода звука, на основании коэффициентов выходного усиления.

Эффекты изобретения

Согласно одному аспекту настоящего изобретения, звуковой образ может быть зафиксирован более стабильным способом.

Краткое описание чертежей

Фиг. 1 является схемой, предназначенной для пояснения двумерного VBAP.

Фиг. 2 показывает схему, предназначенную для пояснения трехмерного VBAP.

Фиг. 3 является схемой, предназначенной для пояснения расположения громкоговорителей.

Фиг. 4 показывает схему, поясняющую способ вычисления коэффициента усиления, который будет использоваться, в случае, когда предусмотрены четыре громкоговорителя.

Фиг. 5 показывает схему, предназначенную для пояснения перемещения звукового образа.

Фиг. 6 показывает схему, предназначенную для пояснения перемещения звукового образа в случае, когда применяется настоящее изобретение.

Фиг. 7 показывает схему, поясняющую процесс вычисления коэффициента усиления в соответствии с настоящим изобретением.

Фиг. 8 показывает схему, поясняющую процесс вычисления коэффициента усиления в соответствии с настоящим изобретением.

Фиг. 9 показывает схему, изображающую пример структуры устройства обработки звука.

Фиг. 10 является схемой, показывающей пример структуры блока вычисления коэффициента усиления.

Фиг. 11 является блок-схемой алгоритма для пояснения процесса управления локализацией звука.

Фиг. 12 является диаграммой для пояснения другого способа вычисления коэффициентов усиления громкоговорителей.

Фиг. 13 является схемой, показывающей другой пример структуры блока вычисления коэффициента усиления.

Фиг. 14 является блок-схемой алгоритма для пояснения процесса управления звуковой локализации.

Фиг. 15 является диаграммой для пояснения способа вычисления коэффициентов усиления громкоговорителей.

Фиг. 16 является схемой, показывающей пример конфигурации компьютера.

Осуществление изобретения

Ниже приводится описание вариантов осуществления, к которым применяется настоящее изобретение, со ссылкой на чертежи.

Первый вариант осуществления

Описание настоящей технологии

Далее приводится описание настоящего изобретение со ссылкой на фигуры с 1 по 8. На фигурах с 1 по 8 одинаковые компоненты обозначены одинаковыми ссылочными позициями, и их объяснение не будет повторяться.

Как показано на фиг. 1, пользователь U11, который просматривает или прослушивает контент, такой как движущееся изображение со звуковым сопровождением, или слушает музыкальное произведение, воспроизводимое по двум каналам, которое выводится из двух громкоговорителей SP1 и SP2, как звуковой контент, например.

В этом случае, можно зафиксировать звуковой образ на позиции виртуального источника VSP1 звука, используя информацию о местоположении двух громкоговорителей SP1 и SP2, выводящие звук соответствующих каналов.

Например, если рассматривать с позиции головы пользователя U11, то начало координат будет находиться в точке О, позиция виртуального источника VSP1 звука в двумерной системе координат, имеющей вертикальное направление и горизонтальное направление, т.е. направление оси Х и направление оси Y, представлена вектором P, имеющий начало координат О в качестве отправной точки на чертеже.

Так как вектор Р представляет собой двумерный вектор, то вектор Р может быть представлен в виде линейной суммы вектора L1 и вектора L2, простирающимися вдоль направлений громкоговорителя SP1 и громкоговорителя SP2, соответственно, с началом координат в точке О, которая является отправной точкой. То есть, вектор Р может быть выражен следующим уравнением (1) с использованием вектора L1 и вектора L2:

Математическая формула 1

Р = g₁ L1 + g₂ L2 ... (1)

Коэффициент g₁ и коэффициент g₂, на которые вектор L1 и вектор L2 умножается в уравнении (1) вычисляются. С помощью этих коэффициентов g₁ и g_{2 ,} являясь коэффициентами усиления звуков, которые выводятся из громкоговорителей SP1 и SP2, соответственно, звуковой образ может быть установлен на позиции виртуального источника VSP1 звука. То есть, звуковой образ может быть зафиксирован на позиции, показанным вектором Р.

Способ управления позицией локализации звукового образа путем расчета коэффициентов g₁ и g₂ из информации о положении двух громкоговорителей SP1 и SP2, называется двумерным VBAP.

В примере, показанном на фиг. 1, звуковой образ может быть зафиксирован на любой позиции по дуге AR11, соединяющей громкоговоритель SP1 и громкоговоритель SP2. Здесь дуга AR11 является частью окружности, проходящей через соответствующие позиции громкоговорителя SP1 и громкоговорителя SP2, с центром координат в точке О.

Поскольку вектор P является двумерным вектором, если угол между вектором L1 и вектором L2 больше 0 градусов, но меньше 180 градусов, g₁ и g₂ представляют собой однозначно определенными коэффициентами усиления. Способ расчета этих коэффициентов g1 и g2 подробно описан в упомянутом непатентном документе 1.

В случае, когда звуки трех каналов должен быть воспроизведены, однако, количество громкоговорителей для воспроизведения звуков равно трем, как показано на фиг. 2, например.

В примере, показанном на фиг. 2, звуки соответствующих каналов выводятся из трех громкоговорителей SP1, SP2 и SP3.

В таком случае, концепция является такой же, как у описанного выше двумерного VBAP, за исключением того, что количество коэффициентов усиления звуков соответствующих каналов, которые будут выводиться через громкоговорители с SP1 по SP3, или число коэффициентов, которые будут рассчитаны как коэффициенты усиления, равно трем.

В частности, в случае, когда звуковой образ должен быть зафиксирован на позиции виртуального источника VSP2 звука, позиция виртуального источника VSP2 звука представлена трехмерным вектором P, имеющим начало координат в точке О в качестве отправной точки в трехмерной системе координат, в которой позиция нахождения головы пользователя U11 находится в точке О.

Когда трехмерные векторы, простирающиеся по направлениям от точки О начала координат, в качестве отправной точки, к соответствующим позициям громкоговорителям с SP1 по SP3, представляют собой векторы с L1 по L3, вектор Р может быть выражен в виде линейной суммы векторов с L1 по L3, как показано в следующем уравнении (2):

Математическая формула 2

Р = g₁ L1 + g₂ L2 + g₃ L3 ... (2)

Коэффициенты с g₁ по g₃, на которые умножаются векторы с L1 по L3 в уравнении (2), вычисляются. С помощью этих коэффициентов с g₁ по g₃ ,будучи коэффициентами усиления звуков, которые выводятся из громкоговорителей с SP1 по SP3, соответственно, звуковой образ может быть установлен на позиции виртуального источника VSP2 звука.

Способ управления локализацией позиции звукового образа путем вычисления коэффициентов с g₁ по g₃ из информации о позиции трех громкоговорителей с SP1 по SP3, называется трехмерным VBAP.

В примере, показанном на фиг. 2, звуковой образ может быть зафиксирован на любой позиции в пределах треугольной области TR11 на сферической плоскости, включающей в себя позиции громкоговорителя SP1, громкоговорителя SP2 и громкоговорителя SP3. Здесь область TR11 является областью, которая находится на плоскости сферы, имеет начало координат в точке О, как ее центр, и включает в себя соответствующие позиции громкоговорителей с SP1 по SP3, и треугольная область на сферической плоскости в окружении громкоговорителей с SP1 по SP3.

При таком трехмерном VBAP, звуковой образ может быть закреплен на любой позиции в пространстве.

Как показано на фиг. 3, количество громкоговорителей, которые выводят звуки, увеличивается, и области, каждая из эквивалентных треугольной области TR11, показанной на фиг. 2, обеспечиваются в пространстве так, что звуковой образ может быть закреплен на любой позиции в этих областях, например.

В примере, показанном на фиг. 3, используются пять громкоговорителей с SP1 по SP5, и громкоговорители с SP1 по SP5 выводят звук соответствующих каналов. Здесь, громкоговорители с SP1 по SP5 предоставляются на сферической плоскости, которая имеет свой центр в качестве начала координат в точке О, которая находится на позиции нахождения головы пользователя U11.

В этом случае, трехмерные векторы, простирающиеся вдоль направлений от начала координат O в направлении соответствующих позиций громкоговорителей с SP1 по SP5, являются векторами с L1 по L5, и выполняется такое же вычисление, как описанный выше расчет в соответствии с уравнением (2), для определения коэффициентов усиления звуков, которые выводятся из соответствующих громкоговорителей.

Здесь, в областях на сферической плоскости, имеющей центр в начале координат в точке O, треугольная область в окружении громкоговорителей SP1, SP4 и SP5, является областью TR21. Точно так же, области на сферической плоскости, имеющей центр в начале координат O, треугольные области в окружении громкоговорителей SP3, SP4 и SP5, является область TR22, и треугольная область, окруженная громкоговорителями SP2, SP3 и SP5, является область TR23.

Каждый из этих областей с TR21 по TR23 является областью эквивалентной области TR11, показанной на фиг. 2. Там, где трехмерный вектор, указывающий положение, при котором звуковой образ должен быть фиксированным, является вектором P, вектор Р обозначает положение в области TR21 в примере, показанном на фиг. 3.

Таким образом, в этом примере, выполняются такие же расчеты, как расчет в соответствии с уравнением (2) с векторами L1, L4 и L5, указывающие позиции громкоговорителей SP1, SP4 и SP5, и вычисляются коэффициенты усиления звуков, которые выводятся из соответствующих громкоговорителей SP1, SP4 и SP5. В этом случае, коэффициенты усиления звуков, которые выводятся из других громкоговорителей SP2 и SP3 равны 0. То есть, звук не выводится из этих громкоговорителей SP2 и SP3.

Посредством пяти громкоговорителей с SP1 по SP5, которые предоставляются в пространстве таким образом, звуковой образ может быть зафиксирован на любой позиции в области, образованной областями с TR21 по TR23.

Как показано на фиг. 4, четыре громкоговорителя с SP1 по SP4 могут быть обеспечены в пространстве, и звуковой образ должен быть установлен на позиции виртуального источника VSP3 звука, расположенного на центральной позиции среди этих громкоговорителей с SP1 по SP4.

В примере, показанном на фиг. 4, громкоговорители с SP1 по SP4 предоставляются на плоскости сферы, имеющей свой центр в точке О (не показано), и треугольная область, которая является областью на плоскости и в окружении громкоговорителей с SP1 по SP3, представляет собой область TR31. Области на сферической плоскости, имеющей центр в начале координат в точке O, треугольная область в окружении громкоговорителей с SP2 по SP4, представляет собой область TR32.

Виртуальный источник VSP3 звука находится на нижней правой стороне области TR31. Виртуальный источник VSP3 звука также находится на верхней левой стороне области TR32.

Соответственно, в этом случае, трехмерное VBAP должно быть выполнено по отношению к громкоговорителям с SP1 по SP3 или трехмерное VBAP должно быть выполнено по отношению к громкоговорителям с SP2 по SP4. В любом случае, получается тот же результат вычисления трехмерного VBAP, и коэффициенты усиления определяются таким образом, что только два громкоговорителя SP2 и SP3 выводят звук, и остальные громкоговорители SP1 и SP4 не выводят какой-либо звук.

Посредством трехмерного VBAP, в случае, когда позиция, на которой звуковой образ должен быть зафиксирован, находится на граничной линии между треугольными областями на сферической плоскости, соединяющей три громкоговорителя, или на стороне треугольника на сферической плоскости, только два громкоговорителя, расположенные на двух оконечностях стороны, выводят звук.

В случае, когда только два громкоговорителя SP2 и SP3 выводят звук, как описано выше, пользователь U11 расположен в месте, комфортным для прослушивания, что является оптимальным местом для прослушивания, может перемещаться влево, как показано стрелкой А11, например, как показано на фиг. 5.

В результате, местоположение головы пользователя U11 становится ближе к громкоговорителю SP3, и звук, выводимый из громкоговорителя SP3, становится громче для пользователя U11. Таким образом, пользователь U11 воспринимает, что местоположение виртуального источника VSP3 звука или звукового образа, переместилось в левый нижний угол, как указано стрелкой А12 на чертеже.

Посредством трехмерного VBAP, в случае, когда только два громкоговорителя выводят звук, как показано на фиг. 5, если пользователь U11 перемещается из места комфортного прослушивания только на короткое расстояние, звуковой образ перемещается в направлении, перпендикулярном к направлению перемещения пользователя U11. В таком случае, пользователь U11 воспринимает факт того, что звуковой образ переместился в другую сторону от направления его/ее движения и, следовательно, имеет определяет необычность воспроизведения звука. То есть, пользователь U11 чувствует, что позиция локализации звукового образа неустойчива, и диапазон местоположения для комфортного прослушивания сужается.

В связи с этим, в соответствии с настоящим изобретением, в отличие от описанного выше VBAP, используется большее количество громкоговорителей, чем три или четыре или больше для вывода звука, так что позиция локализации звукового образа становится более стабильной, и диапазон местоположений для комфортного прослушивания становится, соответственно, шире.

Хотя количество громкоговорителей, которые используются для вывода звука, может быть любым количеством, равным или больше, чем четыре, приводится ниже объяснение примера случая, в котором используются четыре громкоговорителя для вывода звука.

Звуковой образ должен быть установлен на позиции виртуального источника VSP3 звука в центральном положении между четырьмя громкоговорителями с SP1 по SP4, например, как в примере, показанном на фиг. 4.

В соответствии с настоящим изобретением, два или три громкоговорителя выбраны как комбинация в таком случае, и VBAP выполняется по отношению к различным комбинациям громкоговорителей для вычисления коэффициентов усиления звуков, которые выводятся из четырех громкоговорителей с SP1 по SP4.

Соответственно, в соответствии с настоящим изобретением, все четыре громкоговорителя с SP1 по SP4, выводят звук, как показано на фиг. 6, например.

В таком случае, если пользователь U11 перемещается влево от места комфортного прослушивания, как показано на стрелкой А21 на фиг. 6, положение виртуального источника VSP3 звука или позиция локализации звукового образа перемещается только влево, как показано на стрелкой А22 на чертеже. То есть, звуковой образ не перемещается вниз или в направлении, перпендикулярном к направлению движения пользователя U11, как в примере, показанном на фиг. 5, но перемещается только в том же направлении, что и направление перемещения пользователя U11.

Это потому, что, когда пользователь U11 перемещается влево, то пользователь U11 становится ближе к громкоговорителю SP3, но громкоговоритель SP1 также установлен выше громкоговорителя SP3. В этом случае, звук достигает ушей пользователя U11 с верхнего левого угла и нижнего левого по отношению к пользователю U11 и, следовательно, пользователь U11 вряд ли почувствует, что звуковой образ переместился вниз.

Соответственно, позиция локализация звукового образа может быть более стабильной, чем с помощью обычного способа VBAP и в результате, диапазон местоположения комфортного прослушивания может быть шире.

Далее приведено подробное описание процесса управления локализации звука в соответствии с настоящим изобретением.

В настоящем изобретении, вектор, который указывает позицию, в которой звуковой образ должен быть зафиксирован, является вектором P, который имеет свою начальную точку О в начале координат (не показано) трехмерной системы координат, и вектор Р выражается следующим уравнением (3):

Математическая формула 3

Р = g₁ L1 + g₂ L2 + g₃ L3 + g₄ L4 ... (3)

В уравнении (3), векторы с L1 по L4 показывают трехмерные векторы, проходящие в направлении позиций громкоговорителей с SP1 по SP4, которые расположены в непосредственной близости от позиции локализации звукового образа, и расположены так, чтобы окружать позицию локализации звукового образа. Кроме того, в уравнении (3), g₁ по g₄ представляют собой коэффициенты, которые должны быть рассчитаны как коэффициенты усиления звуков соответствующих каналов для вывода из громкоговорителей с SP1 по SP4.

В уравнении (3), вектор Р выражен в виде линейной суммы четырех векторов с L1 по L4. Так как вектор Р является трехмерным вектором, четыре коэффициента с g₁ по g₄ определяются не уникально.

Таким образом, в соответствии с настоящим изобретением, соответствующие коэффициенты с g₁ по g₄ , которые являются коэффициентами усиления, рассчитываются в соответствии со способом, описанной ниже.

Звуковой образ должен быть зафиксирован на центральной позиции четырехугольника на сферической плоскости, окруженной четырьмя громкоговорителями с SP1 по SP4, показанными на фиг. 4, или на позиции виртуального источника VSP3 звука.

Во-первых, выбирается один четырехугольник на сферической плоскости, имеющую громкоговорители с SP1 по SP4 на углах, и виртуальный громкоговоритель (далее как "виртуальный громкоговоритель"), как предполагается, находится на стороне.

Как показано на фиг. 7, в четырехугольнике на сферической плоскости, имеющей громкоговорители с SP1 по SP4 в углах, выбирается сторона, соединяющая громкоговорители SP3 и SP4, расположенные в левом нижнем углу и в нижнем правом углу на чертеже, например. Виртуальный VSP громкоговоритель, как предполагается, находится на позиции точки пересечения между стороной, соединяющей громкоговорители SP3 и SP4, и перпендикуляром, проходящим от позиции виртуального источника VSP3 звука, например.

Трехмерное VBAP затем выполняется по отношению к трем громкоговорителям: виртуальному VSP громкоговорителю и громкоговорителям SP1 и SP2 на верхнем левом углу и верхнем правом углу на чертеже. В частности, вычисление выполняется в соответствии с тем же уравнением, как описано выше, уравнением (2), чтобы определить коэффициент g₁, коэффициент g₂ и коэффициент g^’, которые представляют собой коэффициенты усиления звуков, которые будут выводиться из громкоговорителей SP1, SP2 и виртуального VSP громкоговорителя.

На фиг. 7, вектор P выражен как линейная сумма трех векторов, идущих от начала координат в точке О, или вектора L1, проходящего в направлении громкоговорителя SP1, вектор L2, простирающегося к громкоговорителю SP2, и вектор L', простирающегося к виртуальному VSP громкоговорителю. То есть, вектор Р выражается как P = g₁ L1 + g₂ L2 + g' L^’.

Здесь, при фиксации звукового образа на позиции виртуального источника VSP3 звука, виртуальный VSP^’ громкоговоритель будет выводить звук с коэффициентом усиления g', но виртуальный VSP^’ громкоговоритель фактически не существует. Таким образом, как показано на фиг. 8, два громкоговорителя SP3 и SP4 на двух концах стороны, на которой находится виртуальный VSP^’ громкоговоритель в четырехугольнике, используются для фиксации звукового образа на позиции виртуального VSP^’ громкоговорителя в соответствии с настоящим изобретением. Таким образом, реализуется виртуальный VSP^’ громкоговоритель.

В частности, двумерное VBAP выполняется по отношению к двум громкоговорителям SP3 и SP4, которые расположены на двух концах стороны, на которой расположен виртуальный VSP^’ громкоговоритель на сферической плоскости. То есть, расчет производится в соответствии с тем же уравнением, как описанного выше уравнения (1), для вычисления коэффициента g₃' и коэффициента g₄^’, которые являются коэффициентами усиления звуков, выводимые из громкоговорителя SP3 и громкоговорителя SP4, соответственно.

В примере, показанном на фиг. 8, вектор L', простирающийся по направлению виртуального VSP^’ громкоговорителя, выражается в виде линейной суммы вектора L3, проходящего в направлении громкоговорителя SP3, и вектора L4, проходящего в направлении громкоговорителя SP4. То есть, вектор L 'выражается как L' = g₃' L3 + g₄' L4.

Значение g'g₃', полученное путем умножения рассчитанного коэффициента g₃' на коэффициент g' , устанавливается как коэффициент усиления звука, предназначенных для вывода из громкоговорителя SP3, и значение g'g₄', полученное путем умножения рассчитанного коэффициента g₄' на коэффициент g', устанавливается как коэффициент усиления звука, который будет выводиться из громкоговорителя SP4. Таким образом, виртуальный VSP^’ громкоговоритель, который выводит звук с усилением g', реализуется посредством громкоговорителей SP3 и SP4.

Здесь значение g'g3' является значением коэффициента усиления значения коэффициента g₃ усиления в вышеописанном уравнении (3), и значение g'g4' является значением коэффициента усиления значения коэффициента g₄ усиления в вышеописанном уравнении (3).

Значения g₁, g₂, g'g₃' и g'g₄', которые были получены, как описано выше, и не равны 0, устанавливаются как коэффициенты усиления звуков соответствующих каналов для вывода из громкоговорителей с SP1 по SP4. Таким образом, четыре громкоговорителя предназначены для вывода звука, и звуковой образ может быть установлен на целевую позицию.

Так как звуковой образ фиксируется на позиции, посредством использования четырех громкоговорителей для вывода звука, как указано выше, позиция локализации звукового образа может быть более стабильна, чем звуковой образ, зафиксированный на позиции с помощью обычного способа VBAP. Соответственно, диапазон местоположений для комфортного прослушивания может быть расширен.

Пример структуры устройства обработки звука

Далее будет описан конкретный пример, к которому применяется описанная выше технология. Фиг. 9 представляет собой схему, показывающую пример структуры варианта осуществления устройства обработки звука, к которому применяется настоящее изобретение.

Устройство 11 обработки звука выполняет регулировку коэффициента усиления монофонического звукового сигнала, поставленного извне, для соответствующих каналов. Поступая таким образом, устройство 11 обработки звука генерирует звуковые сигналы N каналов (N ≥ 5) и поставляет звуковые сигналы в громкоговорители с 12-1 по 12-N, соответствующих N каналов.

Громкоговорители с 12-1 по 12-N выводят звуки соответствующих каналов на основании звуковых сигналов, подаваемых из устройства 11 обработки звука. То есть, громкоговорители с 12-1 по 12-N являются блоками вывода звука, выступающей в качестве источников звука, которые выводят звуки соответствующих каналов. Далее, когда нет особой необходимости различать громкоговорители с 12-1 по 12-N друг от друга, громкоговорители с 12-1 по 12-N также будут называться просто как громкоговорители 12. Хотя громкоговорители 12 не включены в состав устройства 11 обработки звука, показанного на фиг. 9, громкоговорители 12 могут быть включены в состав устройства 11 обработки звука. Кроме того, соответствующие компоненты, составляющие устройство 11 обработки звука, и громкоговорители 12 могут быть предусмотрены в нескольких устройствах, формируя систему обработки звука, включающую в себя соответствующие компоненты устройства 11 обработки звука и громкоговорители 12.

Громкоговорители 12 расположены так, чтобы окружать позицию, на которой пользователь, как предполагается, находится при просмотре и прослушивании контента и т.п. (позиция будет в дальнейшем также упоминаться просто как местоположение пользователя). Например, соответствующие громкоговорители 12 размещены на позициях на плоскости сферы, имеющей свой центр в месте расположения пользователя. Другими словами, соответствующие громкоговорители 12 размещены на позициях на одинаковом расстоянии от пользователя. Кроме того, звуковые сигналы могут подаваться от устройства 11 обработки звука в громкоговорители 12 по проводной или беспроводной связи.

Устройство 11 обработки звука включает в себя блок 21 выбора громкоговорителя, блок 22 вычисления коэффициента усиления, блок 23 определения коэффициента усиления, блок 24 коэффициента выходного усиления и блок 25 регулировки коэффициента усиления.

Звуковые сигналы звука, собранные микрофоном, находящийся около объекта, такого как мобильный объект, и информация о положении объекта поставляются в устройство 11 обработки звука.

На основании информации о положении объекта, поставляемой извне, блок 21 выбора громкоговорителя идентифицирует позицию, на которой звуковой образ звука, издаваемый объектом в пространстве, включающую в себя громкоговорители 12, должна быть зафиксирована (позиция, которая должна быть идентифицирована, будет в дальнейшем также упоминаться как целевая позиция звукового образа), и передает результат идентификации в блок 22 вычисления коэффициента усиления.

Основываясь на целевой позиции звукового образа, блок 21 выбора громкоговорителя выбирает четыре громкоговорителя 12 для вывода звука, как громкоговорители 12 целевой обработки из числа N громкоговорителей 12, и поставляет информацию о выборе, указывающую результат отбора, в блок 22 вычисления коэффициента усиления, блок 23 определения коэффициента усиления и блок 24 коэффициента выходного усиления.

Блок 22 вычисления коэффициента усиления вычисляет коэффициенты усиления громкоговорителей 12 целевой обработки на основании информации, предоставленной блоком 21 выбора громкоговорителя, и целевой позиции звукового образа, и поставляет информацию о коэффициентах усиления в блок 24 коэффициента выходного усиления. Блок 23 определения коэффициента усиления определяет коэффициенты усиления громкоговорителей 12 отличных от громкоговорителей целевой обработки в зависимости от информации выбора, предоставленной из блока 21 выбора громкоговорителя, и поставляет информацию о коэффициентах усиления в блок 24 коэффициента выходного усиления. Например, коэффициенты усиления громкоговорителей 12, которые не являются целевыми для обработки, устанавливаются на "0". То есть, громкоговорители 12, не являющиеся объектами обработки, управляются таким образом, чтобы не выводить любой звук объекта.

Блок 24 коэффициента выходного усиления поставляет N коэффициентов усиления, поставляемые из блока 22 вычисления коэффициента усиления и блока 23 определения коэффициента усиления, в блок 25 регулировки коэффициента усиления. В этот момент, блок 24 коэффициента выходного усиления определяет направления поставок N коэффициентов усиления, поставляемых из блока 22 вычисления коэффициента усиления и блока 23 определения коэффициента усиления в блок 25 регулировки коэффициента усиления на основании информации выбора, предоставленной из блока 21 выбора громкоговорителя.

На основании соответствующих коэффициентов усиления, поставленных из блока 24 коэффициента выходного усиления, блок 25 регулировки коэффициента усиления выполняет регулировку коэффициента усиления звукового сигнала объекта, поставленного извне, и поставляет результирующие звуковые сигналы N каналов в громкоговорители 12, так что громкоговорители 12 выводят звук.

Блок 25 регулирования коэффициента усиления включает в себя усилители с 31-1 по 31-N. Основываясь на коэффициенты усиления, поставленные из блока 24 коэффициента выходного усиления, усилители с 31-1 по 31-N выполняют регулировку коэффициентов усиления звукового сигнала, поставленного извне, и поставляет результирующие звуковые сигналы в громкоговорители с 12-1 по 12-N.

Далее, когда нет необходимости различать усилители 31-1 по 31-N друг от друга, усилители с 31-1 по 31-N также будут упоминаться просто как усилители 31.

Пример структуры блока вычисления коэффициента усиления

Блок 22 вычисления коэффициента усиления, показанный на фиг. 9, имеет структуру, показанную на фиг. 10, например.

Блок 22 вычисления коэффициента усиления, показанный на фиг. 10, включает в себя блок 61 определения позиции виртуального громкоговорителя, блок 62 вычисления трехмерного коэффициента усиления, блок 63 вычисления двухмерного коэффициента усиления, умножитель 64 и умножитель 65.

Блок 61 определения позиции виртуального громкоговорителя определяет позицию виртуального громкоговорителя, основываясь на информации, указывающую целевую позицию звукового образа, и информации выбора, поставленную из блока 21 выбора громкоговорителя. Блок 61 определения позиции виртуального громкоговорителя поставляет информацию, указывающую целевую позицию звукового образа, информацию выбора и информацию, указывающую позицию виртуального громкоговорителя в блок 62 вычисления трехмерного коэффициента усиления и поставляет информацию выбора и информацию, указывающую позицию виртуального громкоговорителя в блок 63 вычисления двухмерного коэффициента усиления.

На основании соответствующих частей информации, предоставленной из блока 61 определения позиции виртуального громкоговорителя, блок 62 вычисления трехмерного коэффициента усиления выполняет трехмерное VBAP по отношению к двум громкоговорителям 12 громкоговорителем 12 целевой обработки, и виртуального громкоговорителя. Блок 62 вычисления трехмерного коэффициента усиления затем поставляет коэффициенты усиления двух громкоговорителей 12, полученные с помощью трехмерного VBAP, в блок 24 коэффициента выходного усиления, и поставляет коэффициент усиления виртуального громкоговорителя в умножитель 64 и множитель 65.

На основании соответствующих частей информации, предоставленной из блока 61 определения позиции виртуального громкоговорителя, блок 63 вычисления двухмерного коэффициента усиления выполняет двумерное VBAP относительно двух громкоговорителей 12 громкоговорителей 12 целевой обработки и поставляет результирующее коэффициенты усиления громкоговорителей 12 в умножитель 64 и умножитель 65.

Умножитель 64 получает окончательные значения коэффициентов усиления громкоговорителей 12 путем умножения коэффициентов усиления, поставленные из блока 63 вычисления двухмерного коэффициента усиления, на коэффициенты усиления, поставленные из блока 62 вычисления трехмерного коэффициента усиления, и поставляет окончательные значения коэффициентов усиления в блок 24 коэффициента выходного усиления. Умножитель 65 получает окончательные значения коэффициентов усиления громкоговорителей 12 путем умножения коэффициента усиления, поставленного из блока 63 вычисления двухмерного коэффициента усиления, на коэффициент усиления, поступающий из блока 62 вычисления трехмерного коэффициента усиления, и поставляет окончательные значения коэффициентов усиления в блок 24 коэффициента выходного усиления.

Описание процесса управления локализации звука

Между тем, когда информация о позиции объекта и звукового сигнал объекта поставляются в устройство 11 обработки звука и поступает команда на вывод звука объекта, устройство 11 обработки звука начинает процесс управления локализации звука, обеспечивая вывод звука объекта, и фиксируя звуковой образ на соответствующей позиции.

Обратимся теперь к блок-схеме алгоритма на фиг. 11, где описан процесс управления локализации звука, выполняемый с помощью устройства 11 обработки звука.

На этапе S11, блок 21 выбора громкоговорителя выбирает громкоговорители 12 целевые для обработки на основании информации о положении объекта, подаваемой извне.

В частности, блок 21 выбора громкоговорителя идентифицирует целевую позицию звукового образа, основываясь на информации о положении объекта, например, и выбирает из числа N громкоговорителей 12, громкоговорители 12 целевой обработки, которые представляют собой четыре громкоговорителя 12, расположенные в непосредственной близости от целевой позиции звукового образа, и расположены так, чтобы окружать целевую позицию звукового образа.

В случае, когда позиция виртуального источника VSP3 звука, показанная на фиг. 7, устанавливается в качестве целевой позиции звукового образа, например, громкоговорители 12, эквивалентно четырем громкоговорителям с SP1 по SP4, окружающие виртуальный источник VSP3 звука, выбранные как громкоговорители 12 целевой обработки.

Блок 21 выбора громкоговорителя поставляет информацию, указывающую на целевую позицию звукового образа, в блок 61 определения позиции виртуального громкоговорителя, и поставляет информацию выбора, указывающую четыре громкоговорителя 12 целевой обработки, в блок 61 определения позиции виртуального громкоговорителя, блок 23 определения коэффициента усиления и блок 24 коэффициента выходного усиления.

На этапе S12 блок 61 определения позиции виртуального громкоговорителя определяет позицию виртуального громкоговорителя, основываясь на информации, указывающей целевую позицию звукового образа, и информации выбора, поставленную из блока 21 выбора громкоговорителя. Как в примере, показанном на фиг. 7, например, позиция точки пересечения между стороной, соединяющей громкоговорители 12, расположенные в нижнем левом углу и в нижнем правом углу, по отношению к пользователю, среди громкоговорителей 12 целевой обработки на сферической плоскости, а перпендикулярной линией, простирающейся от целевой позиции звукового образа, направленную к стороне, устанавливается как позиция виртуального громкоговорителя.

После того, как позиция виртуального громкоговорителя определена, блок 61 определения позиции виртуального громкоговорителя поставляет информацию, указывающую целевую позицию звукового образа, информацию выбора и информацию, указывающую позицию виртуального громкоговорителя в блок 62 вычисления трехмерного коэффициента усиления и поставляет информацию выбора и информацию, указывающую позицию виртуального громкоговорителя, в блок 63 вычисления двухмерного коэффициента усиления.

Позиция виртуального громкоговорителя может быть на любой позиции до тех пор, как она расположен на стороне четырехугольника на сферической плоскости, четырехугольника, имеющего четыре громкоговорителя 12 целевой обработки по углам. Даже в случае, когда количество громкоговорителей 12 целевой обработки равно пяти или больше, позиция виртуального громкоговорителя может быть на любой позиции на стороне многоугольника на сферической плоскости, многоугольника, имеющего громкоговорители 12 целевой обработки на углах.

На этапе S13, блок 62 вычисления трехмерного коэффициента усиления вычисляет коэффициенты усиления для виртуального громкоговорителя и двух громкоговорителей 12 целевой обработки на основании информации, указывающей целевую позицию звукового образа, информации выбора и информации о позиции виртуального громкоговорителя, информации, поставленной из блока 61 определения позиции виртуального громкоговорителя.

В частности, блок 62 вычисления трехмерного коэффициента усиления определяет вектор P, который является трехмерным вектором, указывающим целевую позицию звукового образа, и определяет вектор L', который является трехмерным вектором, простирающимся по направлению виртуального громкоговорителя. Блок 62 вычисления трехмерного коэффициента усиления также определяет вектор L1, который является вектором, простирающимся к громкоговорителю 12 в том же позиционном соотношении как громкоговоритель SP1, показанный на фиг. 7, среди громкоговорителей 12 целевой обработки, и вектор L2, который является вектором, простирающимся к громкоговорителю 12 в том же позиционном соотношении как громкоговоритель SP2.

Блок 62 вычисления трехмерного коэффициента усиления затем определяет уравнение, выражающее вектор P как линейную сумму вектора L', вектора L1 и вектора L2, и выполняет вычисление согласно уравнению, чтобы вычислить коэффициенты усиления, которые являются коэффициентом g', коэффициентом g₁ и коэффициентом g₂ вектора L', вектора L1 и вектора L2, соответственно. То есть, выполняется такое же вычисление, как описанное выше согласно уравнению (2).

Блок 62 вычисления трехмерного коэффициента усиления поставляет вычисленные коэффициенты g₁ и g₂ громкоговорителей 12 в тех же позиционных отношений как громкоговорители SP1 и SP2, как коэффициенты усиления звуков для вывода из этих громкоговорителей 12, в блок 24 коэффициента выходного усиления.

Блок 62 вычисления трехмерного коэффициента усиления также поставляет вычисленный коэффициент g^’ виртуального громкоговорителя, как коэффициент усиления звука для вывода из виртуального громкоговорителя, в умножитель 64 и умножитель 65.

На этапе S14, блок 63 вычисления двухмерного коэффициента усиления рассчитывает коэффициенты усиления для двух громкоговорителей 12 целевой обработки на основании информации выбора и информации о позиции виртуального громкоговорителя, информации, поставленной из блока 61 определения позиции виртуального громкоговорителя.

В частности, блок 63 вычисления двухмерного коэффициента усиления определяет вектор L' , который является трехмерным вектором, указывающим на позицию виртуального громкоговорителя. Блок 63 вычисления двухмерного коэффициента усиления также определяет вектор L3, который является вектором, простирающимся по направлению к громкоговорителю 12 в том же позиционном соотношении, как громкоговоритель SP3, показанный на фиг. 8, среди громкоговорителей 12 целевой обработки, и вектор L4, который является вектором, простирающимся по направлению к громкоговорителю 12 в том же позиционном соотношении, как громкоговоритель SP4.

Блок 63 вычисления двухмерного коэффициента усиления затем определяет уравнение, выражающее вектор L', как линейную сумму вектора L3 и вектора L4, и выполняет вычисление по уравнению, чтобы вычислить коэффициенты усиления, которые являются коэффициентом g₃' и коэффициентом g₄' вектора L3 и вектора L4, соответственно. То есть, выполняется такое же вычисление, как описанный выше расчет по уравнению (1).

Блок 63 вычисления двухмерного коэффициента усиления поставляет вычисленные коэффициенты g₃' и g₄' громкоговорителей 12 в тех же позиционных отношениях как громкоговорители SP3 и SP4, как коэффициенты усиления звуков, которые будут выводиться из этих громкоговорителей 12, в умножитель 64 и умножитель 65.

На этапе S15, умножитель 64 и умножитель 65 умножают коэффициенты усиления g₃' и g₄', поставленные из блока 63 вычисления двухмерного коэффициента усиления, на коэффициент усиления g' виртуального громкоговорителя, поставленного из блока 62 вычисления трехмерного коэффициента усиления, и поставляет результирующие коэффициенты усиления в блок 24 коэффициента выходного усиления.

Соответственно, в качестве окончательного коэффициента усиления громкоговорителя 12 в том же позиционном соотношении как громкоговоритель SP3, показанный на фиг. 8, среди четырех громкоговорителей 12 целевой обработки, коэффициент усиления g₃ = g'g₃' поставляется в блок 24 коэффициента выходного усиления. Аналогично, в качестве окончательного коэффициента усиления громкоговорителя 12 в том же позиционном соотношении как громкоговоритель SP4, показанный на фиг. 8, среди четырех громкоговорителей 12 целевой обработки, коэффициент усиления g₄ = g'g₄' поставляется в блок 24 коэффициента выходного усиления.

На этапе S16, блок 23 определения коэффициента усиления определяет коэффициенты усиления громкоговорителей 12, отличных от громкоговорителей целевой обработки в зависимости от информации выбора, поставленной из блока 21 выбора громкоговорителя, и поставляет эти коэффициенты усиления в блок 24 коэффициента выходного усиления. Например, коэффициенты усиления всех громкоговорителей 12, которые не являются целевыми для обработки, устанавливаются на "0".

После того, как будут поставлены коэффициенты усиления g₁, g₂, g'g₃^’ и g'g₄^’ из блока 22 вычисления коэффициента усиления и коэффициент усиления равный "0" из блока 23 определения коэффициента усиления, в блок 24 коэффициента выходного усиления, блок 24 коэффициента выходного усиления поставляет эти коэффициенты усиления в усилители 31 блока 25 регулировки усиления на основании информации выбора, поставленной из блока 21 выбора громкоговорителя.

В частности, прирост блок 24 коэффициента выходного усиления поставляет коэффициенты усиления g₁, g₂, g'g₃^’ и g'g₄^’ в усилители 31, которые поставляют звуковые сигналы в соответствующие громкоговорители 12 целевой обработки, или в соответствующие громкоговорителя 12 эквивалентные громкоговорителям с SP1 по SP4, показанным на фиг. 7. Например, в случае, когда громкоговоритель 12 эквивалентен громкоговорителю SP1, то от является громкоговорителем 12-1, блок 24 коэффициента выходного усиления поставляет коэффициент усиления g₁ в усилитель 31-1.

Блок 24 коэффициента выходного усиления также поставляет коэффициент усиления равный "0", поставленный из блока 23 определения коэффициента усиления, в усилители 31, которые поставляют звуковые сигналы в громкоговорители 12, которые не являются целевыми для обработки.

На этапе S17, усилители 31 блока 25 регулировки коэффициента усиления выполняют регулировку усиления звукового сигнала объекта, подаваемого извне, на основании значений коэффициентов усиления, поступающих из блока 24 коэффициента выходного усиления, и поставляет результирующие звуковые сигналы на громкоговорители 12, так что громкоговорители 12 выводят звук.

Соответствующие громкоговорители 12 выводят звук на основании звуковых сигналов, поставленных из усилителей 31. Более конкретно, только четыре громкоговорителя 12 целевой обработки выводят звук. Соответственно, звуковой образ может быть фиксирован на целевой позиции. Как так звук выводится из громкоговорителей 12, то процесс управления локализации звука завершается.

Как описано выше, устройство 11 обработки звука выбирает четыре громкоговорителя 12 как целевые для обработки сигнала в зависимости от информации о позиции объекта, и выполняет VBAP по отношению к комбинации из двух или трех громкоговорителей среди этих громкоговорителей 12 и виртуального громкоговорителя. Устройство 11 обработки звука затем выполняет регулировку усиления звукового сигнала на основании значений коэффициентов усиления соответствующих громкоговорителей 12 целевой обработки, значения коэффициентов усиления были получены с помощью выполнения VBAP на различных комбинациях.

Соответственно, звук может выводиться из четырех громкоговорителей 12, окружающих целевую позицию звукового образа, и локализация звука может быть более стабильной. В результате, диапазон местоположений для комфортного прослушивания может быть расширен.

Второй вариант осуществления

Вычисление значения коэффициента усиления

В описанном выше примере, два или три громкоговорителя образуют одну комбинацию громкоговорителей, выбранных из пяти громкоговорителей, включающие в себя виртуальный громкоговоритель, и VBAP осуществляется на более, чем одной комбинации, чтобы рассчитать значения коэффициентов усиления громкоговорителей 12 целевой обработки. Согласно настоящему изобретению, однако, также возможно вычислить коэффициенты усиления путем выбора комбинаций из четырех громкоговорителей 12 целевой обработки, и выполняя VBAP на каждой из комбинаций, без определенного какого-либо виртуального громкоговорителя.

В таком случае, количество раз выполнения VBAP зависит от целевой позиции звукового образа, как показано на фиг. 12, например. На фиг. 12, компоненты, эквивалентные тем, которые показаны на фиг. 7, обозначены теми же ссылочными позициями, которые используются на фиг. 7, и объяснение их не будет излишне повторяться.

В случае, когда позиция виртуального источника звука или целевая позиция звукового образа является позицией, обозначенной стрелкой Q11, например, позиция, обозначенная стрелкой Q11, находится в треугольной области, окруженной громкоговорителем SP1, громкоговорителем SP2 и громкоговорителем SP4 на сферической плоскости. Соответственно, если выполняется трехмерное VBAP по отношению к комбинации громкоговорителей, состоящей из громкоговорителей SP1, SP2 и SP4 (эта комбинация будет в дальнейшем также упоминается как первая комбинация), то определяются коэффициенты усиления звуков, которые будут выводиться из трех громкоговорителей SP1, SP2 и SP4.

Между тем, позиция, обозначенная стрелкой Q11, является также позицией в треугольной области, окруженной громкоговорителями SP2, SP3 и громкоговорителем SP4 на сферической плоскости. Соответственно, если выполняется трехмерное VBAP по отношению к комбинации громкоговорителей, состоящей из громкоговорителей SP2, SP3 и SP4 (эта комбинация будет в дальнейшем также упоминается как вторая комбинация), то определяются коэффициенты усиления звуков, которые будут выводиться из трех громкоговорителей SP2, SP3 и SP4.

Здесь, каждый из коэффициентов усиления громкоговорителей, который не используется в первом комбинаций и второй комбинаций установлен на "0", так что два набора значений коэффициентов усиления могут быть получены в качестве соответствующих коэффициентов усиления четырех громкоговорителей с SP1 по SP4 в первой и второй комбинациях.

Для каждого из громкоговорителей, сумма коэффициентов усиления громкоговорителей, полученной в первой и второй комбинациях, получают в виде суммы значений коэффициентов усиления. Например, когда коэффициент усиления громкоговорителя SP1 в первом комбинации равен g₁ (1), и коэффициент усиления громкоговорителя SP1 во втором комбинации равен g₁ (2), то сумма g_s1 коэффициентов усиления громкоговорителя SP1 выражается как сумма g_s1 = g₁ (1) + g₁ (2) коэффициентов усиления.

Поскольку громкоговоритель SP1 не входит в состав второй комбинации, то g₁ (2) равен 0. Поскольку громкоговоритель SP1 входит в состав первой комбинации громкоговорителей, то g₁ (1) не равен 0. В результате, сумма g_s1 коэффициентов усиления громкоговорителя SP1 не равна 0. То же самое относится и к сумме коэффициентов усиления других громкоговорителей с SP2 по SP4.

Так как суммы коэффициентов усиления соответствующих громкоговорителей определяются описанным выше способом, значения, полученные путем нормализации сумм коэффициентов усиления соответствующих громкоговорителей с суммой квадратов этих сумм коэффициентов усиления, устанавливаются в качестве окончательных значений коэффициентов усиления этих громкоговорителей или, более конкретно, как коэффициенты усиления звуков, которые будут выводиться громкоговорителями.

Так как коэффициенты усиления соответствующих громкоговорителей с SP1 по SP4 определяются описанным выше способом, значения коэффициентов усиления, которые не равны 0, в любом случае получаются. Соответственно, каждый из четырех громкоговорителей с SP1 по SP4 может выводить звук, и звуковой образ может быть зафиксирован на желаемой позиции.

В приведенном ниже описании, коэффициент усиления громкоговорителя SPk (1 ≤ k ≤ 4) в mth комбинации (1 ≤ m ≤ 4) представлен g_k (m). Сумма коэффициентов усиления громкоговорителя SPk (1 ≤ k ≤ 4) представлена g_sk.

Дополнительно, в случае, когда целевая позиция звукового образа является позицией, указанной стрелкой Q12, или позицией точки пересечения между линией, соединяющей громкоговоритель SP2 и громкоговоритель SP3, и линией, соединяющей громкоговоритель SP1 и громкоговоритель SP4 на сферической плоскости, рассматриваются четыре комбинации из трех громкоговорителей.

В частности, там, где образована комбинация из громкоговорителя SP1, громкоговорителя SP2 и громкоговорителя SP3 (эта комбинация будет далее называться как первая комбинация), возможная комбинация из громкоговорителя SP1, громкоговорителя SP2 и громкоговорителя SP4 (эта комбинация будет далее обозначаться как вторая комбинация). Кроме того, там, где формируется комбинация из громкоговорителя SP1, громкоговорителя SP3 и громкоговорителя SP4 (эта комбинация будет далее называться как третья комбинация), возможна комбинация из громкоговорителя SP2, громкоговорителя SP3 и громкоговорителя SP4 (эта комбинация будет далее называться четвертой комбинацией).

В этом случае, выполняется трехмерное VBAP на каждой из первой по четвертую комбинацию для определения коэффициентов усиления соответствующих громкоговорителей. Сумма четырех значений коэффициентов усиления, полученных по отношению к тому же громкоговорителю, устанавливается как сумма коэффициентов усиления, и значения, полученные путем нормализации суммы коэффициентов усиления соответствующих громкоговорителей с суммой квадратов четырех сумм коэффициентов усиления, определенных по отношению к соответствующим громкоговорителям, устанавливаются как окончательные коэффициенты усиления этих громкоговорителей.

В случае, когда целевая позиция звукового образа является позицией, обозначенной стрелкой Q12, если образован четырехугольник посредством громкоговорителей с SP1 по SP4 на сферической плоскости, представляет собой прямоугольник или т.п., то такой же результат расчета как трехмерное VBAP, получается из первой комбинации и четвертой комбинации, например. Соответственно, если трехмерное VBAP выполняется по отношению к соответствующим двух комбинациям, таким как первая и вторая комбинации в этом случае, то могут быть получены коэффициенты усиления соответствующих громкоговорителей. Тем не менее, в случае, когда четырехугольник образован громкоговорителями с SP1 по SP4 на сферической плоскости, не является прямоугольником или т.п., но является асимметричным четырехугольником, необходимо выполнить трехмерное VBAP по отношению к каждой из четырех комбинаций.

Пример структуры блока вычисления значения коэффициента усиления

В случае, когда значения коэффициентов усиления рассчитываются путем выбора комбинаций громкоговорителей из четырех громкоговорителей 12 целевой обработки, и посредством выполнения VBAP по отношению к каждой из этих комбинаций, без определения какого-либо виртуального громкоговорителя, блок 22 вычисления значения коэффициента усиления, показанного на фиг. 9, имеет структуру, показанную на фиг. 13, например.

Блок 22 вычисления значения коэффициента усиления, показанный на фиг. 13, включает в себя блок 91 выбора, блок 92-1 вычисления трехмерного коэффициента усиления, блок 92-2 вычисления трехмерного коэффициента усиления, блок 92-3 вычисления трехмерного коэффициента усиления, блок 92-4 вычисления трехмерного коэффициента усиления и сумматор 93.

Основываясь на информации, указывающей целевую позицию звукового образа, и информации, поставленной из блока 21 выбора громкоговорителя, блок 91 выбора определяет комбинации из трех громкоговорителей 12, окружающие целевую позицию звукового образа из четырех громкоговорителей 12, отобранных в качестве целевых для обработки. Блок 91 выбора поставляет информацию, обозначающую комбинации громкоговорителей 12, и информацию, указывающую целевую позицию звукового образа, в блоки с 92-1 по 92-4 вычисления трехмерного коэффициента усиления.

Блоки с 92-1 по 92-4 вычисления трехмерного коэффициента усиления выполняют трехмерное VBAP на основании информации, обозначающей комбинации громкоговорителей 12, и информации, указывающей целевую позицию звукового образа, поставленную из блока 91 выбора, и поставляют результирующие коэффициенты усиления соответствующих громкоговорителей 12 в сумматор 93. В приведенном ниже описании, где нет особой необходимости различать блоки с 92-1 по 92-4 вычисления трехмерного коэффициента усиления друг от друга, блоки с 92-1 по 92-4 вычисления трехмерного коэффициента усиления будет также упоминаться просто как блок 92 вычисления трехмерного коэффициента усиления.

Сумматор 93 определяет суммы значений коэффициентов усиления на основании коэффициентов усиления соответствующих громкоговорителей 12 целевой обработки, поставленных из блоков с 92-1 по 92-4 вычисления трехмерного коэффициента усиления, и вычисляет окончательные значения коэффициентов усиления соответствующих громкоговорителей 12 целевой обработки путем нормализации этих сумм значений коэффициентов усиления. Сумматор 93 затем поставляет окончательные значения коэффициентов усиления в блок 24 коэффициента выходного усиления.

Описание процесса управления локализации звука

Обратимся теперь к блок-схеме алгоритма на фиг. 14, где описывается процесс управления локализации звука, выполняемый в случае, когда блок 22 вычисления коэффициента усиления имеет структуру, показанную на фиг. 13.

Процедура на этапе S41 является такой же, как процедура на этапе S11, показанной на фиг. 11, и поэтому ее описание далее не повторяется.

На этапе S42, то блок 91 выбора определяет комбинации громкоговорителей 12 на основании информации, указывающей целевую позицию звукового образа, и информации выбора, поставленную из блока 21 выбора громкоговорителя, и поставляет информацию, указывающую комбинации громкоговорителей 12, и информацию, указывающую целевую позицию звукового образа, в блок 92 вычисления трехмерного коэффициента усиления.

В случае, когда целевая позиция звукового образа является позицией, обозначенной стрелкой Q11 на фиг. 12, например, то определяется комбинация (первая комбинация) из громкоговорителей 12, включающая в себя три громкоговорителя 12, эквивалентные громкоговорителям SP1, SP2 и SP4. Кроме того, определяется комбинация (вторая комбинация) из громкоговорителей 12, включающая в себя три громкоговорителя 12, эквивалентные громкоговорителям SP2, SP3 и SP4.

В этом случае, блок 91 выбора поставляет информацию, указывающую на первую комбинацию громкоговорителей 12, и информацию, указывающую на целевую позицию звукового образа, в блок 92-1 вычисления трехмерного коэффициента усиления, и поставляет информацию, указывающую на вторую комбинацию громкоговорителей 12 и информацию, указывающую на целевую позицию звукового образа в блок 92-2 вычисления трехмерного коэффициента усиления. В этом случае, информация, указывающая комбинации громкоговорителей 12 и т.п. не поставляется в блоки 92-3 и 92-4 вычисления трехмерного коэффициента усиления, и блоки 92-3 и 92-4 вычисления трехмерного коэффициента усиления не выполняют никаких-либо вычислений трехмерного VBAP.

На этапе S43, на основании информации, обозначающей комбинации громкоговорителей 12, и информации, указывающей целевую позицию звукового образа, поставленную из блока 91 выбора, блоки 92 вычисления трехмерного коэффициента усиления вычисляют значения коэффициентов усиления соответствующих громкоговорителей 12 в комбинации громкоговорителей 12, и поставляют значения коэффициентов усиления в сумматор 93.

В частности, блоки 92 вычисления трехмерного коэффициента усиления определяют коэффициенты усиления соответствующих громкоговорителей 12, выполняя ту же процедуру, что и на этапе S13 на фиг. 11, по отношению к трем громкоговорителям 12, указанной информацией, указывающей на комбинацию громкоговорителей 12. То есть, выполняется такое же вычисление, что описанное выше вычисление по уравнению (2). Коэффициент усиления оставшегося одного громкоговорителя 12, кроме трех громкоговорителей 12, указанных информацией, указывающей комбинацию громкоговорителей 12 среди четырех громкоговорителей 12 целевой обработки, установлен на "0".

В случае, когда две комбинации, первая и вторая комбинации, определяются на этапе S42, например, блок 92-1 вычисления трехмерного коэффициента усиления вычисляет значений коэффициентов усиления соответствующих громкоговорителей 12 посредством трехмерного VBAP по отношению к первой комбинации. Блок 92-2 вычисления трехмерного коэффициента усиления вычисляет значения коэффициентов усиления соответствующих громкоговорителей 12 посредством трехмерного VBAP относительно второй комбинации.

В частности, комбинация громкоговорителей, включающая в себя три громкоговорителя 12, эквивалентные громкоговорителям SP1, SP2 и SP4, как показано на фиг. 12, определяется как первая комбинация. В этом случае, блок 92-1 вычисления трехмерного коэффициента усиления вычисляет коэффициент усиления g₁(1) громкоговорителя 12, эквивалентного громкоговорителю SP1, коэффициент усиления g₂ (1) громкоговорителя 12, эквивалентного громкоговорителю SP2, и коэффициент усиления g₄(1) громкоговорителя 12, эквивалентного громкоговорителю SP4. Между тем, коэффициент усиления g₃(1) громкоговорителя 12, эквивалентного громкоговорителю SP3, установлен на "0".

На этапе S44, сумматор 93 вычисляет окончательные значения коэффициентов усиления громкоговорителей 12 целевой обработки на основании значений коэффициентов усиления соответствующих громкоговорителей 12, поставляемых из блоков 92 вычисления трехмерного коэффициента усиления, и поставляет окончательные значения коэффициентов усиления в блок 24 коэффициента выходного усиления.

Например, сумматор 93 вычисляет сумму g_s1 коэффициентов усиления громкоговорителя 12, эквивалентного громкоговорителю SP1, путем определения суммы коэффициентов усиления g₁(1), g₁(2), g₁(3) и g₁(4) громкоговорителя 12, значения коэффициентов усиления поставляются из блоков 92 вычисления трехмерного коэффициента усиления. Аналогично, сумматор 93 также рассчитывает сумму g_s2 коэффициентов усиления громкоговорителя 12, эквивалентного громкоговорителю SP2, сумму g_s3 коэффициентов усиления громкоговорителя 12, эквивалентного громкоговорителю SP3 и сумму g_s4 коэффициентов усиления громкоговорителя 12, эквивалентного громкоговорителю SP4.

Сумматор 93 затем определяет окончательную коэффициент усиления g₁ (коэффициент g₁) громкоговорителя 12, эквивалентного громкоговорителю SP1, путем нормализации суммы g_s1 коэффициентов усиления громкоговорителя 12, эквивалентного громкоговорителю SP1, суммой квадратов сумм с g_s1 по g_s4 коэффициентов усиления. Сумматор 93 также определяет окончательные значения коэффициентов усиления с g₂ по g₄ громкоговорителей 12, эквивалентных громкоговорителям с SP2 по SP4 посредством того же расчета, как описано выше.

После того, как коэффициенты усиления громкоговорителей 12 целевой обработки определены, описанным выше способом, процедуры на этапах S45 и S46 выполняются, и затем процесс управления локализации звука завершается. Однако эти процедуры являются такими же, как и процедуры на этапах S16 - S17 на фиг. 11, и поэтому их описание далее не повторяется.

Как описано выше, устройство 11 обработки звука выбирает четыре громкоговорителя 12 как цели для обработки в зависимости от информации положения объекта, и выполняет VBAP по отношению к комбинациям громкоговорителей 12, т.е. трем громкоговорителям 12 среди четырех громкоговорителей 12 целевой обработки. Устройство 11 обработки звука затем определяет окончательные значения коэффициентов усиления соответствующих громкоговорителей 12 целевой обработки путем определения суммы коэффициентов усиления каждого громкоговорителя 12, полученного посредством VBAP, выполняемого по отношению к различным комбинациям, и выполняет регулировку усиления звуковых сигналов.

Соответственно, звук может выводиться из четырех громкоговорителей 12, окружающих целевую позицию звукового образа, и локализация звука может быть более стабильной. В результате, диапазон местоположений для комфортного прослушивания может быть расширен.

Хотя в качестве примера рассматривался случай применения четырех громкоговорителей 12 целевой обработки, окружающие целевую позицию звукового образа, в этом варианте осуществления количество громкоговорителей 12, которые могут быть выбраны в качестве целевой обработки, может быть четыре или больше.

Например, в случае, когда используются пять громкоговорителей 12 в качестве громкоговорителей 12 целевой обработки, комбинация громкоговорителей 12, состоящих из трех громкоговорителей 12, окружающие целевую позицию звукового образа, выбрана в качестве одной комбинации среди пяти громкоговорителей 12.

В частности, как показано на фиг. 15, громкоговорители 12, эквивалентные пяти громкоговорителям с SP1 по SP5, выбраны в качестве громкоговорителей 12 целевой обработки, и целевая позиция звукового образа является позиция, указанная стрелкой Q21.

В этом случае, комбинация громкоговорителей SP1, SP2 и SP3 выбрана в качестве первой комбинации, и комбинация громкоговорителей SP1, SP2 и SP4 выбрана в качестве второй комбинации. Кроме того, комбинация громкоговорителей SP1, SP2 и SP5 выбрана в качестве третьей комбинации.

Коэффициенты усиления соответствующих громкоговорителей определяются по отношению с первой по третьей комбинаций, и окончательные значения коэффициентов усиления вычисляются из сумм коэффициентов усиления соответствующих громкоговорителей. То есть, по отношению с первой по третью комбинации, выполняются процедуры на этапе S43 на фиг. 14, и затем выполняются процедуры на этапах с S44 по S46.

Как описано выше, в случае, когда пять или более громкоговорителей 12 выбраны в качестве громкоговорителей 12 целевой обработки, звук также выводится из всех громкоговорителей 12 целевой обработки, так что звуковой образ может быть зафиксирован.

Вышеописанная последовательность выполнения операций процессов может быть выполнена с помощью аппаратных средств или может быть выполнена с помощью программного обеспечения. Когда последовательность операций процессов должна быть выполнена с помощью программного обеспечения, программа, которая формирует программное средство, устанавливается в компьютер. Здесь, компьютер может быть компьютером, встроенным в аппаратные средства специального назначения, или может быть компьютером общего назначения, который может выполнять различные типы функций, так как различные виды программ установлены на него.

Фиг. 16 представляет собой блок-схему, показывающую пример структуры аппаратных средств компьютера, который выполняет вышеописанную последовательность операций процессов в соответствии с программами.

В компьютере, процессор 801, ROM 802 и RAM 803 соединены друг с другом с помощью шины 804.

Интерфейс 805 ввода/вывода дополнительно соединен с шиной 804. Блок 806 ввода, блок 807 вывода, блок 808 записи, блок 809 связи и привод 810 подключены к интерфейсу 805 ввода/вывода.

Блок 806 ввода представляет собой клавиатуру, мышь, микрофон, устройство формирования изображения и тому подобное. Блок 807 вывода представляет собой дисплей, динамик и тому подобное. Блок 808 записи является жестким диском, энергонезависимой памятью или тому подобное. Блок 809 связи образован сетевым интерфейсом или тому подобное. Привод 810 приводит в действие съемный носитель 811 информации, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше структуру, процессор 801 загружает программу, записанную в блоке 808 записи на RAM 803 через интерфейс 805 ввода/вывода и шину 804, например, и выполняет программу, так что выполняется описанный выше процесс.

Программа, выполняемая компьютером (CPU 801), может быть записана на съемном носителе 811, в качестве пакета данных, например. В качестве альтернативы, программа может быть предоставлена с помощью проводной или беспроводной среды передачи, такой как локальная сеть, интернет или цифровое спутниковое вещание.

В компьютере программа может быть установлена на блок 808 записи через интерфейс 805 ввода/вывода, когда съемный носитель 811 установлен в привод 810. Программа также может быть получена с помощью блока 809 связи по проводной или беспроводной среды передачи и установлена в блок 808 записи. Альтернативно, программа может быть установлена заранее в ROM 802 или блоке 808 записи.

Программа, выполняемая с помощью компьютера, может быть программой для выполнения процессов в хронологическом порядке в соответствии с последовательностью, описанной в данном описании, или может представлять собой программу для выполнения процессов параллельно, или выполнения процесса, когда это необходимо, например, по запросу.

Следует отметить, что варианты осуществления настоящего изобретения не ограничиваются описанными выше вариантами осуществления, и различные модификации могут быть сделаны, не отступая от объема настоящего изобретения.

Например, настоящее изобретение может быть реализована с использованием облачной структуры, в которой одна функция используется совместно устройствами через сеть, и обработка осуществляется устройствами, взаимодействующими друг с другом.

Соответствующие этапы, описанные со ссылкой на блок-схемы алгоритма, могут быть осуществлены с помощью одного устройства или могут быть разделены между устройствами.

В случае, когда более чем один процесс выполняется на одном этапе, процессы, выполняемые на этом этапе, могут быть выполнены одним устройством или могут быть разделены между устройствами.

Дополнительно, настоящее изобретение может быть реализовано в следующих формах.

[1] Устройство обработки звука, содержащее:

блок вычисления значения коэффициента усиления для определения коэффициентов выходного усиления звуков, выводимых из четырех или более блоков вывода звука, расположенных близко к позиции локализации звукового образа, в качестве целевой позиции, посредством вычисления значений коэффициентов усиления звуков для вывода из блоков вывода звука на основании взаимного расположения между блоками вывода звука по отношению к каждой из различных комбинаций из комбинации двух или трех из четырех или более блоков вывода звука, при этом коэффициенты выходного усиления используются для фиксации звукового образа на позиции локализации звукового образа; и

блок регулировки усиления для осуществления регулировки величины усиления звуков для вывода из блоков вывода звука, на основании коэффициентов выходного усиления.

[2] Устройство обработки звука по [1], в котором по меньшей мере четыре коэффициента выходного усиления каждый имеет значение, отличное от 0.

[3] Устройство обработки звука по [1] или [2], в котором, блок вычисления значения коэффициента усиления включает в себя:

первый блок вычисления коэффициента усиления для вычисления коэффициентов выходного усиления виртуального блока вывода звука и двух блоков вывода звука, на основании позиционной взаимосвязи между виртуальным блоком вывода звука, двумя блоками вывода звука и позицией локализации звукового образа;

второй блок вычисления коэффициента усиления для вычисления коэффициентов усиления двух других блоков вывода звука, отличных от двух блоков вывода звука, на основании позиционной взаимосвязи между двумя другими блоками вывода звука и виртуальным блоком вывода звука, при этом коэффициенты усиления других двух блоков вывода звука подлежат использованию для фиксации звукового образа на позиции виртуального блока вывода звука; и

вычислительный блок для вычисления коэффициентов выходного усиления двух других блоков вывода звука, на основании коэффициентов усиления двух других блоков вывода звука, и коэффициента выходного усиления виртуального блока вывода звука.

[4] Устройство обработки звука по [3], в котором, вычислительный блок выполнен с возможностью вычисления коэффициентов выходного усиления двух других блоков вывода звука посредством умножения величин коэффициентов усиления двух других блоков вывода звука на коэффициент выходного усиления виртуального блока вывода звука.

[5] Устройство обработки звука по [3] или [4], в котором, позиция виртуального блока вывода звука находится на стороне многоугольника, имеющего четыре или более блоков вывода звука на его углах.

[6] Устройство обработки звука по [1] или [2], в котором, блок вычисления значения коэффициент усиления содержит:

виртуальный блок вычисления коэффициента усиления, выполненный с возможностью вычисления коэффициентов выходного усиления трех блоков вывода звука на основании позиционной взаимосвязи между тремя блоками вывода звука и позицией локализации звукового образа; и

вычислительный блок, выполненный с возможностью окончательных коэффициентов выходного усиления блоков вывода звука на основании коэффициентов выходного усиления, рассчитанных виртуальным блоком вычисления коэффициента усиления, вычисляя коэффициенты выходного усиления в отношении различных комбинаций среди комбинаций.

[7] Устройство обработки звука по [6], в котором, вычислительный блок выполнен с возможностью вычисления окончательного значения коэффициента выходного усиления того же самого одного из блоков вывода звука путем определения суммы значений коэффициентов выходного усиления, определенных по отношению к тому же самому одному из блоков вывода звука.

Список ссылочных позиций

11- устройство обработки звука

12-1 по 12-N, и 12- громкоговоритель

21- блок выбора громкоговорителя

22 блок вычисления значения коэффициента усиления

25 блок регулировки величины усиления

61 блок определения позиции виртуального громкоговорителя

62 блок вычисления трехмерного коэффициента усиления

63 блок вычисления двумерного коэффициента усиления

64 умножитель

65 умножитель

91 блок выбора

92-1 по 92-4 и 92 - блок вычисления трехмерного коэффициента усиления

93 сумматор

Изобретение относится к средствам для обработки звука. Технический результат заключается в обеспечении более стабильной локализации звукового образа. Виртуальный громкоговоритель находится на нижней стороне среди сторон четырехугольника, имеющего по его углам четыре громкоговорителя, окружающие целевую позицию звукового образа на сферической плоскости. Выполняется трехмерное VBAP по отношению к виртуальному громкоговорителю и двум громкоговорителям, расположенным в верхнем правом углу и в левом верхнем углу для выполнения вычисления коэффициентов усиления. Коэффициенты усиления используются для фиксации звукового образа на целевой позиции звукового образа. Дополнительно, выполняется двумерное VBAP по отношению к громкоговорителям, находящиеся в нижнем правом и нижнем левом углах, для вычисления коэффициентов усиления громкоговорителей, находящиеся в нижнем правом и нижнем левом углах, для использования при фиксации звукового образа на позиции виртуального громкоговорителя. Значения, полученные путем умножения этих значений коэффициентов усиления на коэффициент усиления виртуального громкоговорителя, устанавливаются как коэффициенты усиления громкоговорителей, находящиеся в нижнем правом и нижнем левом углах, для фиксации звукового образа на целевой позиции звукового образа. 3 н. и 1 з.п. ф-лы, 16 ил.

1. Устройство обработки звука, содержащее:

блок выбора громкоговорителей для выбора четырех громкоговорителей;

блок определения положения виртуального громкоговорителя для определения положения виртуального громкоговорителя, на основе информации выбора, полученной от блока выбора громкоговорителей; и

блок вычисления усиления для вычисления коэффициенов усиления выбранных громкоговорителей, на основе целевого положения звукового образа и информации, указывающей положение указанного виртуального громкоговорителя.

2. Устройство обработки звука по п. 1, в котором коэффициент усиления каждого из выбранных громкоговорителей имеет значение, отличающееся от 0.

3. Способ обработки звука, содержащий этапы, на которых:

выбирают четыре громкоговорителя;

определяют положения виртуального громкоговорителя, на основе информации выбора, полученной на этапе выбора громкоговорителей; и

вычисляют коэффициенты усиления выбранных громкоговорителей, на основе целевого положения звукового образа и информации, указывающей положение указанного виртуального громкоговорителя.

4. Носитель информации, хранящий программу, вызывающую выполнение компьютером обработки, содержащей этапы на которых:

выбирают четыре громкоговорителя;

определяют положения виртуального громкоговорителя, на основе информации выбора, полученной на этапе выбора громкоговорителей; и

вычисляют коэффициенты усиления выбранных громкоговорителей, на основе целевого положения звукового образа и информации, указывающей положение указанного виртуального громкоговорителя.