Область техники, к которой относится изобретение
Настоящая технология относится к устройству обработки аудиоданных, его способу и его программе, и, более конкретно, к устройству обработки аудиоданных, его способу и его программе, позволяющим достичь более гибкого воспроизведения звука.
Уровень техники
Аудиосодержание, такое как содержится на компакт-дисках (CD) и цифровых универсальных дисках (DVD), а также распределяемое через сети, обычно состоит из аудиоданных на основе канала.
Аудиосодержание на основе канала получают таким образом, что разработчик содержания соответствующим образом смешивает множество источников звука, таких как певческие голоса и звуки инструментов в два канала или каналы 5.1 (ниже также называются ch). Пользователь воспроизводит содержание, используя систему громкоговорителей 2ch или 5.1ch или используя наушники.
Существует, однако, бесконечное множество компоновок громкоговорителей пользователей и т.п., и локализация звука, предполагаемая разработчиком содержания, не обязательно может воспроизводиться.
Кроме того, в последнее время привлекают внимание аудиотехнологии на основе объектов. В аудиоданных на основе объектов, сигналы, получаемые для системы воспроизведения, воспроизводятся на основе звуковых аналоговых сигналов объектов и метаданных, представляющих информацию о локализации объектов, обозначенную положениями объектов относительно точки прослушивания, которая представляет собой, например, опорную точку. Аудиоданные на основе объектов, таким образом, имеют характеристику, состоящую в том, что локализация звука воспроизводится относительно в соответствии с намерениями разработчика содержания.
Например, аудиоданные на основе объектов, такие как технология векторного амплитудного панорамирования (VBAP), используются для генерирования сигналов воспроизведения по каналам, ассоциированным с соответствующими громкоговорителями на стороне воспроизведения из сигналов формы колебаний объектов (см., например, непатентный документ 1).
В VBAP положение локализации целевого звукового изображения выражено линейной суммой векторов, продолжающихся в направлении двух или трех громкоговорителей вокруг положения локализации. Коэффициенты, на которые умножают соответствующие векторы в линейной сумме, используются, как коэффициенты усиления для аналоговых сигналов, предназначенных для вывода из соответствующих громкоговорителей, для регулирования усиления таким образом, что звуковое изображение локализуется в целевом положении.
Список литературы
Непатентный документ
Непатентный документ 1: Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol. 45, no. 6, pp. 456-466, 1997
Сущность изобретения
Задачи, решаемые изобретением
Как в аудиоданных на основе канала, так и в аудиоданных на основе объектов, описанных выше, однако, локализация звука определяется разработчиком содержания, и пользователи могут только слышать звук содержания в том виде, как он предоставлен. Например, на стороне воспроизведения содержания не может быть предусмотрено такое воспроизведение, при котором звуки слышны, когда точка прослушивания движется от заднего сиденья до переднего сиденья в клубе с живой музыкой.
При использовании упомянутых выше технологий, как описано выше, нельзя сказать, что воспроизведение звука может быть достигнуто с достаточно высокой гибкостью.
Настоящая технология достигается с учетом упомянутых выше обстоятельств, и обеспечивает воспроизведение звука с улучшенной гибкостью.
Решения задач
Устройство обработки аудиоданных, в соответствии с одним аспектом настоящей технологии, включает в себя: модуль коррекции информации положения, выполненный с возможностью расчета скорректированной информации положения, обозначающей положение источника звука относительно положения прослушивания, в котором слушают звук из источника звука, расчет основан на информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания; и модуль генерирования, выполненный с возможностью генерирования звука, воспроизведения сигнала, воспроизведения из источника звука, который должно быть слышно в положении прослушивания, на основе сигнала формы колебаний источника звука и скорректированной информации положения.
Модуль коррекции информации положения может быть выполнен с возможностью расчета скорректированной информации положения на основе модифицированной информации положения, обозначающей модифицированное положение источника, звука и информации положения прослушивания.
В устройстве обработки аудиоданных может дополнительно быть предусмотрен модуль коррекции, выполненный с возможностью выполнения, по меньшей мере, одной из коррекции усиления и коррекции частотной характеристики для аналогового сигнала, в зависимости от расстояния от источника звука до положения прослушивания.
В устройстве обработки аудиоданных может быть дополнительно предусмотрен модуль добавления пространственной акустической характеристики, выполненный с возможностью добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания и модифицированной информации положения.
Модуль добавления пространственной акустической характеристики может быть выполнен с возможностью добавления к аналоговому сигналу, по меньшей мере, одно из раннего отражения и характеристики реверберации, в качестве пространственной акустической характеристики.
В устройстве обработки аудиоданных может быть дополнительно предусмотрен модуль добавления пространственной акустической характеристики, выполненный с возможностью добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания и информации положения.
В устройстве обработки аудиоданных может быть дополнительно предусмотрен процессор свертки, выполненный с возможностью выполнения обработки свертки для сигналов воспроизведения по двум или больше каналам, генерируемых модулем генерирования, для генерирования сигналов воспроизведения по двум каналам.
Способ или программа обработки аудиоданных, в соответствии с одним аспектом настоящей технологии, включает в себя следующие этапы: рассчитывают информацию о скорректированном положении, обозначающую положение источника звука относительно положения прослушивания, в котором слышен звук из источника звука, расчет основан на информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания; и генерируют звук сигнала воспроизведения, сигнал воспроизведения из источника звука который должен быть слышен в положении прослушивания, на основе аналогового сигнала источника звука и скорректированной информации положения.
В одном аспекте настоящей технологии скорректированную информацию положения, обозначающую положение источника звука относительно положения прослушивания, в котором можно слышать звук из источника звука, рассчитывают на основе информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания, и звук воспроизведения сигнала воспроизведения из источника звука, который должен быть слышен из положении прослушивания, генерируют на основе аналогового сигнала источника звука и скорректированной информации положения. Эффекты изобретения
В соответствии с одним аспектом настоящей технологии, достигается воспроизведение звука с улучшенной гибкостью.
Эффекты, упомянутые здесь, не обязательно ограничены упомянутыми здесь, но могут представлять собой любые эффекты, упомянутые в настоящем раскрытии.
Краткое описание чертежей
На фиг. 1 представлена схема, иллюстрирующая конфигурацию устройства обработки аудиоданных.
На фиг. 2 показан график, поясняющий принятое положение для прослушивания и скорректированную информацию положения.
На фиг. 3 показан график, представляющий частотную характеристику при коррекции частотной характеристики.
На фиг. 4 показана схема, поясняющая VBAP.
На фиг. 5 представлена блок-схема последовательности операций, поясняющая обработку генерирования сигнала воспроизведения.
На фиг. 6 представлена схема, иллюстрирующая конфигурацию устройства обработки аудиоданных.
На фиг. 7 представлена блок-схема последовательности операций, поясняющая обработку генерирования сигнала воспроизведения.
На фиг. 8 представлена схема, иллюстрирующая пример конфигурации компьютера.
Подробное описание изобретения
Варианты осуществления, в которых применяется настоящая технология, будут описаны ниже со ссылкой на чертежи.
Первый вариант осуществления
Пример конфигурации устройства обработки аудиоданных
Настоящая технология относится к технологии для воспроизведения звука, так, чтобы его можно было слышать в некотором положении прослушивания, из аналогового сигнала звука объекта, который представляет собой источник звука на стороне воспроизведения.
На фиг. 1 показана схема, иллюстрирующая пример конфигурации в соответствии с вариантом осуществления устройства обработки аудиоданных, в котором применяется настоящая технология.
Устройство 11 обработки аудиоданных включает в себя модуль 21 ввода, модуль 22 коррекции информации положения, модуль 23 усиления/коррекции частотной характеристики, модуль 24 добавления пространственной акустической характеристики, процессор 25 визуализации и процессор 26 свертки.
Аналоговые сигналы множества объектов и метаданные аналоговых сигналов, которые представляют собой аудиоинформацию о содержании, предназначенную для воспроизведения, поступают в устройство 11 обработки аудиоданных.
Следует отметить, что аналоговый сигнал объекта относится к аудиосигналу для воспроизведения звука, излучаемого объектом, который представляет собой источник звука.
Кроме того, метаданные аналогового сигнала объекта относятся к положению объекта, то есть, к информации положения, обозначающей положение локализации звука объекта. Информация положения представляет собой информацию, обозначающую положение объекта относительно стандартного положения прослушивания, которое представляет собой заданную опорную точку.
Информация положения объекта может быть выражена сферическими координатами, то есть, углом азимута, углом возвышения и радиусом относительно положения на сферической поверхности, центр которой находится в стандартном положении прослушивания, или может быть выражена координатами ортогональной системы координат, имеющей начало, например, в стандартном положении прослушивания.
Пример, в котором информация положения соответствующих объектов выражена сферическими координатами, будет описан ниже. В частности, информация положения n-ого (где n=1, 2, 3…) объекта OBn выражена углом An азимута, углом En возвышения и радиусом Rn относительно объекта OBn на сферической поверхности, центр которой находится в стандартном положении для прослушивания. Следует отметить, что единица угла An азимута и угла En возвышения представляет собой, например, градус, и единица Rn радиуса представляет собой, например, метр.
Далее информация положения объекта OBn также будет выражена как (An, En, Rn). Кроме того, аналоговый сигнал n-ого объекта OBn также будет выражен аналоговым сигналом Wn [t].
Таким образом, аналоговый сигнал и положение первого объекта OB1 будут выражены, например, с помощью cW1[t] и (A1, Е1, R1), соответственно, и аналоговый сигнал, и информация положения второго объекта ОВ2, будут выражены с помощью W2[t] и (А2, Е2, R2), соответственно. Далее, для простоты пояснения, описание будет продолжено на основе предположения, что аналоговые сигналы и информация положения двух объектов, которые представляют собой объект OB1 и объект ОВ2, поступает в устройство 11 обработки аудиоданных.
Модуль 21 ввода состоит из мыши, кнопок, сенсорной панели и т.п., и после выполнения операций пользователем, выводит сигнал, ассоциированный с операцией. Например, модуль 21 ввода принимает принятое положение для прослушивания, введенное пользователем, и подает информацию о принятом положении для прослушивания, обозначающую принятое положение для прослушивания, введенную пользователем, в модуль 22 коррекции информации положения и в модуль 24 добавления пространственной акустической характеристики.
Следует отметить, что принятое положение для прослушивания представляет собой положение прослушивания звука, составляющего содержание в виртуальном звуковом поле, предназначенное для воспроизведения. Таким образом, принятое положение для прослушивания, можно сказать, обозначает положение заданного стандартного положения для прослушивания, получаемого в результате модификации (коррекции).
Модуль 22 коррекции информации положения корректирует переданную извне информацию положения соответствующих объектов на основе принятой информации положения для прослушивания, переданной из модуля 21 ввода, и передает полученную в результате скорректированную информацию положения в модуль 23 усиления/коррекции частотной характеристики и в процессор 25 визуализации. Скорректированная информация положения представляет собой информацию, обозначающую положение объекта относительно принятого положения для прослушивания, то есть, положение локализации звука объекта.
Модуль 23 усиления/коррекции частотной характеристики выполняет коррекцию усиления и коррекцию частотной характеристики переданных извне аналоговых сигналов объектов на основе скорректированной информации положения, переданной из модуля 22 коррекции информации положения и информации положения, переданной извне, и передает полученные в результате аналоговые сигналы в модуль 24 добавления пространственной акустической характеристики
Модуль 24 добавления пространственной акустической характеристики добавляет пространственную акустическую характеристику к аналоговым сигналам, передаваемым из модуля 23 усиления/коррекции частотной характеристики на основе принятой информации положения для прослушивания, передаваемой из модуля 21 ввода, и передаваемой извне информации положения объектов, и передает полученные в результате аналоговые сигналы в процессор 25 визуализации.
Процессор 25 визуализации выполняет отображение для аналоговых сигналов, передаваемых из модуля 24 добавления пространственной акустической характеристики на основе скорректированной информации положения, переданной из модуля 22 коррекции информации положения, для генерирования сигналов воспроизведения по М каналам, М равняется 2 или больше. Таким образом, сигналы воспроизведения по М каналам генерируют из аналоговых сигналов соответствующих объектов. Процессор 25 визуализации передает сгенерированные сигналы воспроизведения по М каналам в процессор 26 свертки.
Полученные таким образом сигналы воспроизведения по М каналам представляют собой аудиосигналы для воспроизведения звуков, выводимых из соответствующих объектов, которые должны быть воспроизведены М виртуальными громкоговорителями (громкоговорителями по М каналам) и которые можно слышать в принятом положении для прослушивания в виртуальном звуковом поле, предназначенном для воспроизведения.
Процессор 26 свертки выполняет обработку свертки сигналов воспроизведения по М каналам, передаваемым из процессора 25 визуализации, для генерирования сигналов воспроизведения по 2 каналам, и выводит сгенерированные сигналы воспроизведения. В частности, в этом примере, количество громкоговорителей на стороне воспроизведения равно двум, и процессор 26 свертки генерирует и выводит сигналы воспроизведения, предназначенные для воспроизведения через громкоговорители.
Генерирование сигналов воспроизведения
Далее будут более подробно описаны, сигналы воспроизведения, генерируемые устройством 11 обработки аудиоданных, представленным на фиг. 1.
Как упомянуто выше, здесь будет описан пример, в котором аналоговые сигналы и информацию положения двух объектов, которые представляют собой объект OB1 и объект ОВ2, подают в устройство 11 обработки аудиоданных.
Для воспроизведения содержания пользователь выполняет операции с модулем 21 ввода для ввода принятого положения для прослушивания, которое представляет собой опорную точку для локализации звуков из соответствующих объектов при визуализации.
Здесь расстояние X перемещения в направлении влево-вправо и расстояние Y перемещения в направлении вперед-назад от стандартного положения для прослушивания вводят, как принятое положение для прослушивания, и принятую информацию положения для прослушивания выражают с использованием (X, Y). Единица расстояния X перемещения и расстояния Y перемещения представляет собой, например, метр.
В частности, в системе координат xyz с началом О в стандартном положении для прослушивания, направление по оси x и направление по оси y в горизонтальных направлениях, и направление по оси z в направлении высоты, расстояние X в направлении оси x от стандартного положения для прослушивания до принятого положения для прослушивания и расстояние Y в направлении оси y от стандартного положения для прослушивания до принятого положения для прослушивания вводятся пользователем. Таким образом, информация, обозначающая положение, выраженное введенными расстояниями X и Y относительно стандартного положения для прослушивания, представляет собой информацию о принятом положении для прослушивания (X, Y). Следует отметить, что система координат xyz представляет собой ортогональную систему координат.
Хотя пример, в котором принятое положение для прослушивания находится на плоскости xy, будет описан здесь для простоты пояснения, пользователю, в качестве альтернативы, может быть разрешено устанавливать высоту в направлении оси z принятого положения для прослушивания. В таком случае расстояние X в направлении оси x, расстояние Y в направлении оси y и расстояние Z в направлении оси z от стандартного положения для прослушивания до принятого положения для прослушивания устанавливает пользователь, что составляет информацию о принятом положении для прослушивания (X, Y, Z). Кроме того, хотя выше пояснялось, что принятое положение для прослушивания вводит пользователь, информация о принятом положении для прослушивания может быть получена извне или может быть предварительно установлена пользователем и т.п.
Когда информацию принятого положения для прослушивания (X, Y) получают таким образом, модуль 22 коррекции информации положения затем рассчитывает скорректированную информацию положения, обозначающую положения соответствующих объектов на основе принятого положения о прослушивании.
Как показано на фиг. 2, например, предположим, что аналоговый сигнал и информация положения заданного объекта OB11 поступают от пользователя, и принятое положение LP11 для прослушивания устанавливает пользователь. На фиг. 2 поперечное направление, направление глубины и вертикальное направление представляют направление оси x, направление оси y и направление оси z, соответственно.
В этом примере начало О координат системы координат xyz представляет собой стандартное положение для прослушивания. Здесь, когда объект OB11 представляет собой n-ый объект, информация положения, обозначающая положение объекта OB11 относительно стандартного положения для прослушивания, представляет собой (En, Rn).
В частности, угол An азимута информации (An, En, Rn) положения представляет угол между линией, соединяющей начало координат О и объект OB11, и осью y на плоскости xy. Угол En возвышения информации (An, En, Rn) положения представляет угол между линией, соединяющей начало О координат и объект OB11 и плоскость xy, и радиус Rn информации (An, En, Rn) положения представляет расстояние от начало координат О до объекта ОВ 11.
Теперь предположим, что расстояние X в направлении оси x и расстояние Y в направлении оси y от начало 0 координат до принятого положения LP11 для прослушивания вводят, как информацию о принятом положении для прослушивания, обозначающую принятое положение LP11 для прослушивания.
В таком случае модуль 22 коррекции информации положения рассчитывает скорректированную информацию (An', En', Rn') положения, обозначающую положение объекта ОВ11 относительно принятого положения LP11 для прослушивания, то есть, положение объекта ОВ11 на основе принятого положения LP11 для прослушивания на основе информации (X, Y) о принятом положении для прослушивания и информации (An, En, Rn) положения.
Следует отметить, что An', En', и Rn' в скорректированной информации (An', En', Rn') положения представляют угол азимута, угол возвышения и радиус, соответствующие An, En и Rn информации (An, En, Rn) положения, соответственно.
В частности, для первого объекта ОВ1, модуль 22 коррекции информации положения рассчитывает следующие выражения (1)-(3) на основе информации (A1, Е1, R1) положения объекта OB1 и информации (X, Y) о принятом положении для прослушивания для получения скорректированной информации (А1', Е1', R1') положения.
Математическая формула 1
Математическая формула 2
Математическая формула 3
В частности, угол A1' азимута получают с помощью выражения (1), угол E1' возвышения получают с помощью выражения (2), и радиус R1' получают с помощью выражения (3).
Аналогично, для второго объекта OB2, модуль 22 коррекции информации положения рассчитывает следующие выражения (4)-(6) на основе информации (А2, Е2, R2) положения объекта OB2 и информации (X, Y) о принятом положении для прослушивания для получения скорректированной информации (А2', Е2', R2') положения.
Математическая формула 4
Математическая формула 5
Математическая формула 6
В частности, угол А2' азимута получают с помощью выражения (4), угол Е2' возвышения получают с помощью выражения (5), и радиус R2' получают с помощью выражения (6).
Затем модуль 23 усиления/коррекции частотной характеристики выполняет коррекцию усиления и коррекцию частотной характеристики для аналоговых сигналов объектов по скорректированной информации положения, обозначающей положения соответствующих объектов относительно принятого положения для прослушания и информации положения, обозначающей положения соответствующих объектов относительно стандартного положения для прослушивания.
Например, модуль 23 усиления/коррекции частотной характеристики рассчитывает следующие выражения (7) и (8) для объекта OB1 и объекта OB2, используя радиус R1' и радиус R2' скорректированной информации положения и радиус R1, и радиус R2 информации положения для определения величины G1 коррекции усиления и величины G2 коррекции усиления соответствующих объектов.
Математическая формула 7
Математическая формула 8
В частности, величину G1 коррекции усиления аналогового сигнала W1 [t] объекта OB1 получают с помощью выражения (7), и величину G2 коррекции усиления аналогового сигнала W2 [t] объекта OB 2 получают с помощью выражения (8). В этом примере отношение радиуса, обозначенного информацией скорректированного положения к радиусу, обозначенному информацией положения, представляет собой величину коррекции усиления, и коррекцию громкости в зависимости от расстояния от объекта до установленного положения для прослушивания выполняют, используя величину коррекции усиления.
Модуль 23 усиления/коррекции частотной характеристики дополнительно рассчитывает следующие выражения (9) и (10) для выполнения коррекции частотной характеристики, в зависимости от радиуса, обозначенного скорректированной информацией положения, и коррекции усиления, в соответствии с величиной коррекции усиления для аналоговых сигналах соответствующих объектов.
Математическая формула 9
Математическая формула 10
В частности, коррекция частотной характеристики и коррекция усиления выполняются для аналогового сигнала W1 [t] объекта OB1, используя расчеты по выражению (9), и, таким образом, получают аналоговый сигнал W1' [t]. Аналогично, коррекцию частотной характеристики и коррекцию усиления выполняют для аналогового сигнала W2 [t] объекта OB2, используя расчеты по выражению (10), и, таким образом, получают аналоговый сигнал W2' [t]. В этом примере коррекцию частотный характеристик аналоговых сигналов выполняют, используя фильтрацию.
В выражениях (9) и (10) h1 (где l=0, 1 …, L) представляет коэффициент, на который каждый раз умножают аналоговый сигнал Wn [t-1] (где n=1,2) для фильтрации.
Когда, например, L=2, и коэффициенты h0, h1 и h2 представляют собой такие, как выражены следующими выражениями (11)-(13), может быть воспроизведена характеристика, в соответствии с которой высокочастотные компоненты звуков от объектов ослабляются стенками и потолком виртуального звукового поля (виртуальное пространство воспроизведения звука), для воспроизведения в зависимости от расстояний от объектов до принятого положения для прослушания.
Математическая формула 11
Математическая формула 12
Математическая формула 13
В выражении (12) Rn представляет радиус Rn, обозначенный информацией (An, En, Rn) положения объекта OBn (где n=1, 2), и Rn' представляет радиус Rn', обозначенный скорректированной информацией (An', En', Rn') положения объекта OBn (где n=1, 2).
В результате расчетов выражений (9) и (10), используя коэффициенты, выраженные выражениями (11)-(13) таким образом, выполняют фильтрацию частотных характеристик, показанных на фиг. 3. На фиг. 3, на горизонтальной оси представлена нормированная частота, и на вертикальной оси представлена амплитуда, то есть, величина затухания аналоговых сигналов.
На фиг. 3 линия С11 представляет частотную характеристику, где Rn'≤Rn. В этом случае расстояние от объекта до принятого положения для прослушивания равно или меньше, чем расстояние от объекта до стандартного положения для прослушивания. В частности, принятое положение для прослушивания представляет собой положение ближе к объекту, чем стандартное положение для прослушивания, или стандартное положение для прослушивания и принятое положение для прослушивания находятся на одинаковом расстоянии от объекта. В этом случае частотные компоненты аналогового сигнала, таким образом, в частности, не ослабляются.
Кривая С12 представляет частотную характеристику, где Rn'=Rn+5. В этом случае, поскольку принятое положение для прослушивания находится несколько дальше от объекта, чем стандартное положение для прослушивания, высокочастотный компонент аналогового сигнала несколько ослабляется.
Кривая С13 представляет частотную характеристику, где Rn'≥Rn+10. В этом случае, поскольку принятое положение для прослушивания находится намного дальше от объекта, чем стандартное положение для прослушивания, высокочастотный компонент аналогового сигнала в значительной степени ослабляется.
В результате выполнения коррекции усиления и коррекции частотной характеристики, в зависимости от расстояния от объекта до принятого положения для прослушивания и ослабления высокочастотного компонента аналогового сигнала объекта, как описано выше, могут быть воспроизведены изменения в частотных характеристиках и в уровне громкости из-за изменения положения для прослушивания пользователя.
После того, как коррекция усиления и коррекция частотной характеристики будут выполнены с помощью модуля 23 усиления/коррекции частотной характеристики и, таким образом, будут получены аналоговые сигналы Wn' [t] соответствующих объектов, пространственные акустические характеристики затем добавляют к аналоговым сигналам Wn' [t] с помощью модуля 24 добавления пространственных акустических характеристик. Например, ранние отражения, характеристики реверберации и т.п. добавляют, как пространственные акустические характеристики к аналоговым сигналам.
В частности, для добавления ранних отражений и характеристик реверберации к аналоговым сигналам, обработку задержки с множеством отводов, обработку фильтрации гребенчатым фильтром и обработку всечастотной фильтрации комбинируют для получения добавления характеристик ранних отражений и реверберации.
В частности, модуль 24 добавления пространственной акустической характеристики выполняет обработку задержки с множеством отводов для каждого аналогового сигнала на основе величины задержки и коэффициента усиления, определенных из информации положения объекта и принятой информации положения для прослушивания, и добавляет полученный в результате сигнал к исходному аналоговому сигналу для добавления раннего отражения к аналоговому сигналу.
Кроме того, модуль 24 добавления пространственной акустической характеристики выполняет обработку фильтрации гребенчатым фильтром для аналогового сигнала на основе величины задержки и коэффициента усиления, определенных по информации положения объекта и принятой информации положения для прослушивания. Модуль 24 добавления пространственной акустической характеристики дополнительно выполняет обработку фильтрации по всем частотам для аналогового сигнала, полученного в результате обработки гребенчатым фильтром на основе величины задержки и коэффициента усиления, определенных из информации положения объекта и принятой информации положения для прослушивания, для получения сигнала, для добавления характеристики реверберации.
В конечном итоге, модуль 24 добавления пространственной акустической характеристики добавляет аналоговый сигнал, полученный в результате добавления раннего отражения и сигнала для добавления характеристики реверберации, для получения аналогового сигнала, к которому были добавлены раннее отражение и характеристика реверберации, и выводит полученный аналоговый сигнал в процессор 25 визуализации.
Добавление пространственных акустических характеристик к аналоговым сигналам, используя параметры, определенные в соответствии с информацией положения каждого объекта и принятой информации положения для прослушивания, как описано выше, позволяет воспроизводить изменения в пространственной акустике в результате изменения положения прослушивания пользователя.
Параметры, такие как величина задержки и величина усиления, используемые при обработке задержки с множеством отводов, при обработке фильтрации гребенчатым фильтром, и при обработке фильтрации на всех частотах и т.п. можно заранее сохранять в таблице для каждой комбинации информации положения объекта и принятой информации положения для прослушивания.
В таком случае модуль 24 добавления пространственной акустической характеристики заранее содержит таблицу, в которой, например, каждое положение, обозначенное информацией положения, ассоциировано с набором параметров, таких как величина задержки для каждого принятого положения для прослушивания. Модуль 24 добавления пространственной акустической характеристики затем считывает набор параметров, определенных из информации положения объекта и принятой информации положения для прослушания из таблицы, и использует эти параметры для добавления пространственных акустических характеристик к аналоговым сигналам.
Следует отметить, что набор параметров, используемых для добавления пространственных акустических характеристик, может содержаться в форме таблицы или может содержаться в форме функции и т.п. В случае, когда функция используется для получения параметров, например, модуль 24 добавления пространственной акустической характеристики выполняет замену информации положения и информации о принятом положении для прослушивания в функции, заранее содержащейся для расчета параметров, предназначенных для использования, для добавления пространственных акустических характеристик.
После получения аналоговых сигналов, для которых добавляют пространственные акустические характеристики для соответствующих объектов, как описано выше, процессор 25 визуализации выполняет отображение аналоговых сигналов для М соответствующих каналов, для генерирования сигналов воспроизведения по М каналам. Другими словами, выполняется визуализация.
В частности, процессор 25 визуализации получает коэффициент усиления аналогового сигнала каждого из объектов по каждому из М каналов через VBAP на основе, например, скорректированной информации положения. Процессор 25 визуализации затем выполняет обработку для добавления аналогового сигнала к каждому объекту, умноженного на коэффициент усиления, полученный VBAP для каждого канала, для генерирования сигналов воспроизведения соответствующих каналов.
Здесь VBAP будет описано со ссылкой на фиг. 4.
Как представлено на фиг. 4, например, предположим, что пользователь U11 слушает звук по трем каналам, выводимым из трех громкоговорителей от SP1 по SP3. В этом примере положение головы пользователя U11 представляет собой положение LP21, соответствующее принятому положению прослушивания.
Треугольник TR11 на сферической поверхности, окруженной громкоговорителями от SP1 до SP3, называется ячейкой, и VBAP позволяет локализовать изображение звука в определенном положении в пределах этой ячейки.
Теперь предположим, что информация, обозначающая положения трех громкоговорителей от SP1 до SP3, которые выводят звук по соответствующим каналам, используется для локализации изображения звука в положении VSP1 изображения звука. Следует отметить, что положение VSP1 изображения звука соответствует положению одного объекта OBn, более конкретно, положению объекта OBn, обозначенному информацией (An', En', Rn') скорректированного положения.
Например, в трехмерной системе координат, имеющей начало координат в положении головы пользователя U11, то есть, в положении LP21, положение VSP1 изображения звука выражено, используя трехмерный вектор р, начинающийся из положения LP21 (начало координат).
Кроме того, когда трехмерные векторы, начинающиеся из положения LP21 (начало координат) и продолжающиеся в направлении положений соответствующих громкоговорителей от SP1 до SP3, представлены векторами от l1 до l3, вектор р может быть выражен линейной суммой векторов от l1 до l3, как выражено следующим выражением (14).
Математическая формула 14
Коэффициенты от g1 по g3, на которые умножают векторы от l1 по l3 в выражении (14), рассчитывают и устанавливают, как величины усиления звука, который должен быть выведен из громкоговорителей от SP1 по SP3, соответственно, то есть, величины усиления аналоговых сигналов, которые позволяют локализовать изображение звука в положении VSP1 изображения звука.
В частности, от коэффициента g1 по коэффициент g3, которые представляют собой величины усиления, могут быть получены путем расчета следующего выражения (15) на основе обратной матрицы L123-1 треугольной ячейки, составленной из трех громкоговорителей от SP1 по SP3, и вектора р, обозначающего положение объекта OBn.
Математическая формула 15
В выражении (15), Rn'sinAn' cosEn', Rn'cosAn' cosEn' и Rn'sinEn', которые представляют собой элементы вектора р, представляют положение VSP1 изображения звука, то есть, координату х', координату y' и координату z', соответственно, в системе координат x'y'z', обозначающей положение объекта ОВ„.
Система координат x'y'z' представляет собой ортогональную систему координат, имеющую ось х', ось y' и ось z', параллельные оси x, оси y и оси z, соответственно, для системы координат xyz, показанной на фиг. 2 и имеющей начало координат в положении, соответствующем, например, принятому положению прослушивания. Элементы вектора р могут быть получены из скорректированной информации (An', En', Rn') положения, обозначающей положения объекта OBn.
Кроме того, l11, l12 и l13 в выражении (15) представляют собой значения компонента х', компонента y' и компонента z', полученные в результате разложения вектора l1 в направлении первого громкоговорителя ячейки на компоненты оси x', оси y' и оси z', соответственно, и соответствуют координате х', координате y' и координате z' первого громкоговорителя.
Аналогично, l21, l22 и l23 представляют собой значения компонента х', компонента y' и компонента z', полученные в результате разложения вектора l2 в направлении второго громкоговорителя ячейки на компоненты оси x', оси y' и оси z', соответственно. Кроме того, l31, l32 и l33 представляют собой значения компонента х', компонента y' и компонента z', полученные путем разложения вектора l3 в направлении третьего громкоговорителя ячейки на компоненты оси x', оси y' и оси z', соответственно.
Технология получения коэффициентов от g1 по g3, используя относительные положения трех громкоговорителей от SP1 по SP3 таким образом, для управления положением локализации изображения звука, в частности, называется трехмерным VBAP. В этом случае количество М каналов сигналов воспроизведения равно трем или больше.
Поскольку сигналы воспроизведения по М каналам генерирует процессор 25 визуализации, количество виртуальных громкоговорителей, ассоциированных с соответствующими каналами, равно М. В этом случае, для каждого из объектов OBn, коэффициент усиления аналогового сигнала рассчитывают для каждого из М каналов, соответственно, в ассоциации с М громкоговорителями.
В этом примере множество ячеек, каждая из которых состоит из М виртуальных громкоговорителей, помещают в виртуальном пространстве воспроизведения звука. Величина усиления трех каналов, ассоциированных с тремя громкоговорителями, составляющими ячейку, в которую включен объект OBn, представляет собой значение, получаемое в соответствии с упомянутым выше выражением (15). В отличие от этого, величина усиления М-3 каналов, ассоциированных с М-3 оставшимися громкоговорителями, равна 0.
После генерирования сигнала воспроизведения по М каналам, как описано выше, процессор 25 визуализации подает полученные в результате сигналы воспроизведения в процессор 26 свертки.
С использованием сигналов воспроизведения по М каналам, полученным таким образом, способ, в соответствии с которым звуки из объектов слышны в требуемом принятом положении для прослушивания, могут быть воспроизведены более реалистично. Хотя здесь был описан пример, в котором сигналы воспроизведения по М каналам генерируют, используя VBAP, сигналы воспроизведения по М каналам могут быть сгенерированы, используя любую другую технологию.
Сигналы воспроизведения по М каналам представляют собой сигналы для воспроизведения звука с помощью М-канальной системы громкоговорителей, и устройство 11 обработки аудиоданных дополнительно преобразует сигналы воспроизведения по М каналам в сигналы воспроизведения по двум каналам и выводит полученные в результате сигналы воспроизведения. Другими словами, для сигналов воспроизведения по М каналам выполняют понижающее микширование до сигналов воспроизведения по двум каналам.
Например, процессор 26 свертки выполняет обработку BRIR (бинауральный импульсный отклик помещения), как обработку свертки по сигналам воспроизведения по М каналам, подаваемым из процессора 25 визуализации, для генерирования сигналов воспроизведения по двум каналам, и выводит полученные в результате сигналы воспроизведения.
Следует отметить, что обработка свертки по сигналам воспроизведения не ограничена обработкой BRIR, но может представлять собой любую обработку, которая позволяет получать сигналы воспроизведения по двум каналам.
Когда сигналы воспроизведения по двум каналам должны быть выведены в наушники, может быть заранее предусмотрена таблица, в которой содержаться значения импульсных откликов от различных положений объектов до принятого положения для прослушивания. В таком случае импульсный отклик, ассоциированный с положением объекта до принятого положения для прослушивания, используется для комбинирования аналоговых сигналов соответствующих объектов посредством обработки BRIR, что позволяет выполнять подход, в котором звуки, выводимые из соответствующих объектов, слышны в требуемом принятом положении для прослушивания при воспроизведении.
Для такого способа, однако, требуется содержать импульсные характеристики, ассоциированные с достаточно большим количеством точек (положений). Кроме того, поскольку количество объектов велико, обработка BRIR должна быть выполнена множество раз, которое соответствует количеству объектов, что увеличивает нагрузку, связанную с обработкой.
Таким образом, в устройстве 11 обработки аудиоданных, сигналы воспроизведения (аналоговые сигналы), отображаемые на громкоговорители М виртуальных каналов с помощью процессора 25 визуализации, обрабатывают путем понижающего микширования с сигналами воспроизведения по двум каналам через обработку BRIR, используя импульсные отклики для ушей пользователя (слушателя) из М виртуальных каналов. В этом случае требуется содержать только импульсные отклики от соответствующих громкоговорителей М каналов в отношении ушей слушателя, и количество раз выполнения обработки BRIR, выполняемой для М каналов, даже когда присутствует большое количество объектов, что уменьшает нагрузку на обработку.
Пояснение обработки генерирования сигнала воспроизведения
Далее поясняется поток обработки устройства 11 обработки аудиоданных, описанного выше. В частности, обработка генерирования сигнала воспроизведения, выполняемая устройством 11 обработки аудиоданных, поясняется со ссылкой на блок-схему последовательности операций, на фиг. 5.
На этапе S11, модуль 21 ввода принимает ввод принятого положения для прослушивания. Когда пользователь выполнил операции с модулем 21 ввода для ввода принятого положения для прослушивания, модуль 21 ввода подает информацию о принятом положении для прослушивания, обозначающую принятое положение для прослушивания, в модуль 22 коррекции информации положения и в модуль 24 добавления пространственной акустической характеристики.
На этапе S12, модуль 22 коррекции информации положения рассчитывает скорректированную информацию (An', En', Rn') положения на основе принятой информации положения для прослушивания, передаваемой из модуля 21 ввода, и передаваемой извне информации положения соответствующих объектов, и подает полученную в результате скорректированную информацию положения в модуль 23 усиления/коррекции частотной характеристики и в процессор 25 визуализации. Например, упомянутые выше выражения от (1) до (3) или от (4) до (6) рассчитывают таким образом, что получают скорректированную информацию положения соответствующих объектов.
На этапе S13 модуль 23 усиления/коррекции частотной характеристики выполняет коррекцию усиления и коррекцию частотной характеристики переданных извне аналоговых сигналов объектов на основе скорректированной информации положения, передаваемой из модуля 22 коррекции информации положения и информации положения, переданной извне.
Например, упомянутые выше выражения (9) и (10) рассчитывают таким образом, что получают аналоговые сигналы Wn' [t] соответствующих объектов. Модуль 23 усиления/коррекции частотной характеристики передает полученные аналоговые сигналы Wn'[t] соответствующих объектов в модуль 24 добавления пространственной акустической характеристики.
На этапе S14, модуль 24 добавления пространственной акустической характеристики добавляет пространственную акустическую характеристику к аналоговым сигналам, передаваемым из модуля 23 усиления/коррекции частотной характеристики на основе принятой информации положения прослушивания, передаваемой из модуля 21 ввода, и переданной извне информации положения объектов и передает полученные в результате аналоговые сигналы в процессор 25 визуализации. Например, ранние отражения, характеристики реверберации и т.п. добавляют, как пространственные акустические характеристики к аналоговым сигналам.
На этапе S15, процессор 25 визуализации выполняет отображение для аналоговых сигналов, передаваемых из модуля 24 добавления пространственной акустической характеристики на основе скорректированной информации положения, передаваемой из модуля 22 коррекции информации положения, для генерирования сигналов воспроизведения по М каналам, и передает сгенерированные сигналы воспроизведения в процессор 26 свертки. Хотя сигналы воспроизведения генерируют через VBAP при обработке на этапе S15, например, сигналы воспроизведения по М каналам могут быть сгенерированы с использованием любой другой технологии.
На этапе S16, процессор 26 свертки выполняет обработку свертки для сигналов воспроизведения по М каналам, передаваемым из процессора 25 визуализации, для генерирования сигналов воспроизведения по 2 каналам, и выводит сгенерированные сигналы воспроизведения. Например, упомянутую выше обработку BRIR выполняют, как обработку свертки.
Когда генерируют и выводят сигналы воспроизведения по двум каналам, прекращается обработка генерирования сигнала воспроизведения.
Как описано выше, устройство 11 обработки аудиоданных рассчитывает скорректированную информацию положения на основе информации о принятом положении для прослушивания и выполняет коррекцию усиления и коррекцию частотной характеристики для аналоговых сигналов соответствующих объектов, и добавляет пространственные акустические характеристики на основе полученной скорректированной информации положения и информации о принятом положении для прослушивания.
В результате, способ, в котором звуки, выводимые из соответствующих положений объектов, слышны в любом принятом положении для прослушивания, могут быть реалистично воспроизведены. Это позволяет пользователю свободно устанавливать положение для прослушивания звука в соответствии с предпочтениями пользователя при воспроизведении содержания, что позволяет достичь более гибкого воспроизведения звука.
Второй вариант осуществления
Пример конфигурации устройства обработки аудиоданных
Хотя пример, в котором пользователь может устанавливать любое принятое положение для прослушивания, пояснялся выше, не только положение для прослушивания, но также и положения соответствующих объектов может быть разрешено изменять (модифицировать) на любые положения.
В таком случае устройство 11 обработки аудиоданных выполнено, например, так, как показано на фиг. 6. На фиг. 6 части, соответствующие представленным на фиг. 1, обозначены теми же номерами ссылочных позиций, и их описание здесь не повторяется соответственно.
Устройство 11 обработки аудиоданных, представленное на фиг. 6, включает в себя модуль 21 ввода, модуль 22 коррекции информации положения, модуль 23 усиления/коррекции частотной характеристики, модуль 24 добавления пространственной акустической характеристики, процессор 25 визуализации и процессор 26 свертки, аналогично представленным на фиг. 1.
В устройстве 11 обработки аудиоданных, представленном на фиг. 6, однако, модулем 21 ввода управляет пользователь, и модифицированные положения, обозначающие положения соответствующих объектов, получаемые в результате модификации (изменения), также вводят в дополнение к принятому положению для прослушивания. Модуль 21 ввода подает информацию о модифицированном положении, обозначающую модифицированное положение каждого объекта, так, как оно было введено пользователем, в модуль 22 коррекции информации положения и в модуль 24 добавления пространственной акустической характеристики.
Например, информация о модифицированном положении представляет собой информацию, включающую в себя угол An азимута, угол En возвышения и радиус Rn объекта OBn, модифицированные в соответствии со стандартным положением для прослушивания аналогично информации положения. Следует отметить, что модифицированная информация положения может представлять собой информацию, обозначающую модифицированное (измененное) положение объекта относительно положения объекта перед модификацией (изменением).
Модуль 22 коррекции информации положения также рассчитывает скорректированную информацию положения на основе принятой информации положения для прослушивания и модифицированной информации положения, передаваемой из модуля 21 ввода, и передает полученную в результате скорректированную информацию положения в модуль 23 усиления/коррекции частотной характеристики и в процессор 25 визуализации. В случае, когда модифицированная информация положения представляет собой информацию, обозначающую положение относительно исходного положения объекта, например, скорректированную информацию положения рассчитывают на основе принятой информации положения для прослушивания, информации положения и модифицированной информации положения.
Модуль 24 добавления пространственной акустической характеристики добавляет пространственную акустическую характеристику к аналоговым сигналам, подаваемым из модуля 23 усиления/коррекции частотной характеристики на основе принятой информации положения для прослушивания и модифицированной информации положения, переданной из модуля 21 ввода, и передает полученные в результате аналоговые сигналы в процессор 25 визуализации.
Выше было описано, что модуль 24 добавления пространственной акустической характеристики устройства 11 обработки аудиоданных, представленного на фиг. 1, заранее содержит таблицу, в которой каждое положение, обозначенное информацией положения, ассоциировано, например, с набором параметров для каждой части принятой информации положения для прослушивания.
В отличие от этого, модуль 24 добавления пространственной акустической характеристики устройства 11 обработки аудиоданных, представленного на фиг. 6, заранее содержит таблицу, в которой каждое положение, обозначенное модифицированной информацией положения, ассоциировано с набором параметров для каждой части принятой информации положения для прослушивания. Модуль 24 добавления пространственной акустической характеристики затем считывает набор параметров, определенных из принятой информации положения для прослушивания и модифицированной информации положения, подаваемой из модуля 21 ввода из таблицы для каждого из объектов, и использует эти параметры для выполнения обработки задержки с множеством отводов, обработки гребенчатой фильтрации, обработки фильтрации по всем частотам и т.п., и добавляет пространственные акустические характеристики к аналоговым сигналам.
Пояснение обработки генерирования сигнала воспроизведения
Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 7, поясняется обработка генерирования сигнала воспроизведения, выполняемая устройством 11 обработки аудиоданных, представленным фиг. 6. Поскольку обработка на этапе S41 является такой же, как и на этапе S11 на фиг. 5, пояснение ее здесь не повторяется.
На этапе S42 модуль 21 ввода принимает ввод модифицированных положений соответствующих объектов. После того как пользователь выполнит операции с модулем 21 ввода для ввода модифицированных положений соответствующих объектов, модуль 21 ввода передает информацию о модифицированных положениях, обозначающую модифицированные положения, в модуль 22 коррекции информации положения и в модуль 24 добавления пространственной акустической характеристики.
На этапе S43, модуль 22 коррекции информации положения рассчитывает скорректированную информацию (An', En', Rn') положения на основе принятой информации положения для прослушивания и модифицированной информации положения, подаваемой из модуля 21 ввода, и подает полученную в результате скорректированную информацию положения в модуль 23 усиления/коррекции частотной характеристики и в процессор 25 визуализации.
В этом случае, угол азимута, угол возвышения и радиус информации положения заменяют углом азимута, углом возвышения и радиусом модифицированной информации положения при расчете, например, упомянутых выше выражений (1)-(3), и получают скорректированную информацию положения. Кроме того, информация положения заменяется модифицированной информацией положения при расчете выражений (4)-(6).
Обработка на этапе S44 выполняется после получения модифицированной информации положения, которая является такой же, как и обработка на этапе S13, на фиг. 5, и ее пояснение здесь, таким образом, не повторяется.
На этапе S45 модуль 24 добавления пространственной акустической характеристики добавляет пространственную акустическую характеристику к аналоговым сигналам, подаваемым из модуля 23 усиления/коррекции частотной характеристики на основе принятой информации положения для прослушивания и модифицированной информации положения, передаваемой из модуля 21 ввода, и подает полученные в результате аналоговые сигналы в процессор 25 визуализации.
Обработка на этапах S46 и S47 выполняется, и обработка генерирования сигнала воспроизведения прекращается после того, как пространственные акустические характеристики будут добавлены к аналоговым сигналам, что представляет собой то же самое, что и на этапах S15 и S16, на фиг. 5, и их пояснение здесь, таким образом, не повторяется.
Как описано выше, устройство 11 обработки аудиоданных рассчитывает скорректированную информацию положения на основе принятой информации положения для прослушивания и модифицированной информации положения, и выполняет коррекцию усиления и коррекцию частотной характеристики для аналоговых сигналов соответствующих объектов, и добавляет пространственные акустические характеристики на основе полученной скорректированной информации положения, принятой информации положения для прослушивания и модифицированной информации положения.
В результате, способ, в соответствии с которым можно слышать звук, выводимый из любого положения объекта, в любом принятом положении прослушивания, может быть реалистично выполнен. Это позволяет пользователю не только свободно устанавливать положение для прослушивания звука, но также и свободно устанавливать положения соответствующих объектов, в соответствии с предпочтением пользователя при воспроизведении содержания, что обеспечивает более гибкое воспроизведение звука.
Например, устройство 11 обработки аудиоданных позволяет выполнять воспроизведение, в соответствии со способом, при котором звук можно слышать, когда пользователь изменил компоненты, такие как певческий голос, звук инструмента и т.п. или его аранжировку. Пользователь может, поэтому, свободно перемещать компоненты, такие как инструменты и певческие голоса, ассоциированные с соответствующими объектами и их компоновкой, для наслаждения музыкой и звуком в аранжировке и с компонентами источников звука, соответствующих его/ее предпочтениям.
Кроме того, в устройстве 11 обработки аудиоданных, представленном на фиг. 6, также аналогично устройству 11 обработки аудиоданных, представленному на фиг. 1, сигналы воспроизведения по М каналам генерируют один раз и затем преобразуют (выполняют понижающее микширование) в сигналы воспроизведения по двум каналам, таким образом, что нагрузка на обработку может быть уменьшена.
Последовательность обработки, описанная выше, может быть выполнена либо с использованием аппаратных средств, или программного обеспечения. Когда последовательность обработки, описанная выше, выполняется с использованием программного обеспечения, программы, составляющие программное обеспечение, устанавливают в компьютер. Следует отметить, что примеры компьютера включают в себя компьютер, воплощенный в специализированных аппаратных средствах, и компьютер общего назначения, выполненный с возможностью выполнения различных функций, путем установки в нем различных программ.
На фиг. 8 показана блок-схема, представляющая пример структуры аппаратных средств компьютера, который выполняет описанную выше последовательность обработки в соответствии с программами.
В компьютере центральное процессорное устройство (CPU) 501, постоянное запоминающее устройство (ROM) 502 и оперативное запоминающее устройство (RAM) 503 соединены друг с другом через шину 504.
Интерфейс 505 ввода/вывода дополнительно соединен с шиной 504. Модуль 506 ввода, модуль 507 вывода, модуль 508 записи, модуль 509 передачи данных и привод 510 соединены с интерфейсом 505 ввода/вывода.
Модуль 506 ввода включает в себя клавиатуру, мышь, микрофон, датчик изображения и т.п. Модуль 507 вывода включает в себя дисплей, громкоговоритель и т.п. Модуль 508 записи представляет собой жесткий диск, энергонезависимое запоминающее устройство и т.п. Модуль 509 передачи данных представляет собой сетевой интерфейс и т.п. Привод 510 выполняет привод съемного носителя 511, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.
В компьютере, имеющем описанную выше структуру, CPU 501 загружает программу, записанную в модуле 508 записи, в RAM 503 через интерфейс 505 ввода/вывода и шину 504 и выполняет программу, например, таким образом, что выполняются описанные выше последовательности обработки.
Программы, предназначенные для выполнения компьютером (CPU 501), могут быть записаны на съемный носитель 511 записи, который представляет собой пакетный носитель и т.п., и могут быть предоставлены, например, с него. В качестве альтернативы, программы могут быть предоставлены через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.
В компьютере программы могут быть установлены в модуль 508 записи через интерфейс 505 ввода/вывода путем установки съемного носителя 511 записи в привод 510. В качестве альтернативы, программы могут быть приняты модулем 509 передачи данных через проводную или беспроводную среду передачи данных и установлены в модуле 508 записи. В качестве альтернативы, программы могут быть заранее установлены в ROM 502 или в модуле 508 записи.
Программы, предназначенные для выполнения в компьютере, могут представлять собой программы для выполнения обработки в хронологическом порядке, в соответствии с последовательностью, описанной в данном описании, или программы для выполнения обработки параллельно или в необходимые моменты времени, такие как в ответ на вызов.
Кроме того, варианты осуществления настоящей технологии не ограничены вариантами осуществления, описанными выше, но различные модификации могут быть выполнены в отношении них, без выхода за пределы объема технологии.
Например, настоящая технология может быть сконфигурирована, как "облачные" вычисления, в которых одна функция распределяется по множеству устройств через сеть и обрабатывается во взаимодействии.
Кроме того, этапы, пояснявшиеся со ссылкой на описанные выше блок-схемы последовательности операций, могут быть выполнены одним устройством и также могут быть распределены среди множества устройств.
Кроме того, когда множество обработок включено в один этап, обработки, включенные в этот этап, могут быть выполнены одним устройством и также могут быть распределены среди множества устройств.
Эффекты, упомянутые здесь, являются просто примерными и не являются ограничительными, и другие эффекты также могут быть получены.
Кроме того, настоящая технология может иметь следующие конфигурации.
(1) Устройство обработки аудиоданных, включающее в себя: модуль коррекции информации положения, выполненный с возможностью расчета скорректированной информации положения, обозначающей положение источника звука относительно положения прослушивания, в котором слушают звук из источника звука, расчет основан на информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания; и модуль генерирования, выполненный с возможностью генерирования звука воспроизведения сигнала воспроизведения из источника звука, который должно быть слышно в положении прослушивания, на основе сигнала формы колебаний источника звука и скорректированной информации положения.
(2) Устройство обработки аудиоданных, описанное в (1), в котором модуль коррекции информации положения рассчитывает скорректированную информацию положения на основе модифицированной информации положения, обозначающей модифицированное положение источника, звука и информации положения прослушивания.
(3) Устройство обработки аудиоданных, описанное в (1) или (2), дополнительно включающее в себя модуль коррекции, выполненный с возможностью выполнения, по меньшей мере, одной из коррекции усиления и коррекции частотной характеристики для аналогового сигнала, в зависимости от расстояния от источника звука до положения прослушивания.
(4) Устройство обработки аудиоданных, описанное в (2), дополнительно включающее в себя модуль добавления пространственной акустической характеристики, выполненный с возможностью добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания и модифицированной информации положения.
(5) Устройство обработки аудиоданных, описанное в (4), в котором модуль добавления пространственной акустической характеристики добавляет к аналоговому сигналу, по меньшей мере, одно из раннего отражения и характеристики реверберации, в качестве пространственной акустической характеристики.
(6) Устройство обработки аудиоданных, описанное в (1), дополнительно включающее в себя модуль добавления пространственной акустической характеристики, выполненный с возможностью добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания и информации положения.
(7) Устройство обработки аудиоданных, описанное в любом из (1)-(6), дополнительно включающее в себя процессор свертки, выполненный с возможностью выполнения обработки свертки для сигналов воспроизведения по двум или больше каналам, генерируемых модулем генерирования, для генерирования сигналов воспроизведения по двум каналам.
(8) Способ обработки аудиоданных, включающий в себя этапы: рассчитывают информацию о скорректированном положении, обозначающую положение источника звука относительно положения прослушивания, в котором слышен звук из источника звука, расчет основан на информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания; и генерируют звук сигнала воспроизведения, сигнал воспроизведения из источника звука который должен быть слышен в положении прослушивания, на основе аналогового сигнала источника звука и скорректированной информации положения.
(9) Программа, обеспечивающая выполнение компьютером обработки, включающей в себя этапы: рассчитывают информацию о скорректированном положении, обозначающую положение источника звука относительно положения прослушивания, в котором слышен звук из источника звука, расчет основан на информации положения, обозначающей положение источника звука, и информации положения прослушивания, обозначающей положение прослушивания; и генерируют звук сигнала воспроизведения, сигнал воспроизведения из источника звука который должен быть слышен в положении прослушивания, на основе аналогового сигнала источника звука и скорректированной информации положения.
Список номеров ссылочных позиций
11 Устройство обработки аудиоданных
21 Модуль ввода
22 Модуль коррекции информации положения
23 Модуль усиления/коррекции частотной характеристики
24 Модуль добавления пространственных акустических характеристик
25 Процессор визуализации
26 Процессор свертки.
| название | год | авторы | номер документа |
|---|---|---|---|
| Аудиоустройство и способ для него | 2020 |
|
RU2804014C2 |
| ФИЛЬТР ВИРТУАЛЬНОЙ ВЫСОТЫ ДЛЯ ПРЕДСТАВЛЕНИЯ ОТРАЖЕННОГО ЗВУКА С ПОМОЩЬЮ НАПРАВЛЕННЫХ ВВЕРХ ДИНАМИКОВ | 2014 |
|
RU2613042C2 |
| СХЕМА КОНТРОЛЛЕРА ПРЕДВАРИТЕЛЬНОЙ КОРРЕКЦИИ АУДИО С ИСПОЛЬЗОВАНИЕМ ПЕРЕМЕННОГО НАБОРА ПОДДЕРЖИВАЮЩИХ ГРОМКОГОВОРИТЕЛЕЙ | 2012 |
|
RU2595896C2 |
| ВОСПРОИЗВЕДЕНИЕ НА НИЖНЕМ УРОВНЕ | 2020 |
|
RU2804680C2 |
| РЕНДЕРИНГ ОТРАЖЕННОГО ЗВУКА ДЛЯ ОБЪЕКТНО-ОРИЕНТИРОВАННОЙ АУДИОИНФОРМАЦИИ | 2013 |
|
RU2602346C2 |
| АУДИОУСТРОЙСТВО И СПОСОБ ЕГО РАБОТЫ | 2019 |
|
RU2797362C2 |
| АУДИОУСТРОЙСТВО И СПОСОБ ДЛЯ НЕГО | 2014 |
|
RU2671627C2 |
| ОБРАБОТКА ПРОСТРАНСТВЕННОГО АУДИО | 2017 |
|
RU2735652C2 |
| УПРАВЛЕНИЕ АКУСТИЧЕСКОЙ ЭХОКОМПЕНСАЦИЕЙ ДЛЯ РАСПРЕДЕЛЕННЫХ АУДИОУСТРОЙСТВ | 2020 |
|
RU2818982C2 |
| СИСТЕМА, СПОСОБ И ПОСТОЯННЫЙ МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ДАННЫХ ДЛЯ ГЕНЕРИРОВАНИЯ, КОДИРОВАНИЯ И ПРЕДСТАВЛЕНИЯ ДАННЫХ АДАПТИВНОГО ЗВУКОВОГО СИГНАЛА | 2020 |
|
RU2820838C2 |
Изобретение относится к средствам обработки аудиоданных. Технический результат заключается в повышении качества воспроизведения звука. Получают информацию положения прослушивания пользователя, которая обозначает положение прослушивания пользователя, в котором слушают звук из источника звука. Получают информацию первого положения источника звука, которая обозначает первое положение источника звука относительно стандартного положения прослушивания. Рассчитывают, на основании первого положения источника звука и положения прослушивания пользователя, информацию второго положения источника звука, которая обозначает второе положение источника звука относительно положения прослушивания пользователя. Информация первого положения и информация второго положения источника звука выражены сферическими координатами. Корректируют частотную характеристику аналогового сигнала источника звука на основании первого расстояния, которое больше второго расстояния, при этом первое расстояние представляет собой расстояние между вторым положением источника звука и положением прослушивания пользователя, и второе расстояние представляет собой расстояние между первым положением источника звука и стандартным положением прослушивания. 3 н. и 9 з.п. ф-лы, 8 ил.
1. Устройство обработки аудиоданных, содержащее:
центральное процессорное устройство (CPU), конфигурированное для:
получения информации положения прослушивания пользователя, при этом информация положения прослушивания пользователя обозначает положение прослушивания пользователя, в котором слушают звук из источника звука;
получения информации первого положения источника звука, при этом информация первого положения обозначает первое положение источника звука относительно стандартного положения прослушивания;
расчета, на основании первого положения источника звука и положения прослушивания пользователя, информации второго положения источника звука, в котором информация второго положения обозначает второе положение источника звука относительно положения прослушивания пользователя, и в котором информация первого положения и информация второго положения источника звука выражена сферическими координатами;
коррекции частотной характеристики аналогового сигнала источника звука на основании первого расстояния, которое больше второго расстояния, при этом первое расстояние представляет собой расстояние между вторым положением источника звука и положением прослушивания пользователя, и второе расстояние представляет собой расстояние между первым положением источника звука и стандартным положением прослушивания;
генерирования сигнала воспроизведения на основании скорректированной частотной характеристики аналогового сигнала; и
управления источником звука для воспроизведения сигнала воспроизведения.
2. Устройство обработки аудиоданных по п. 1, в котором CPU дополнительно конфигурировано для выполнения коррекции усиления аналогового сигнала на основании первого расстояния.
3. Устройство обработки аудиоданных по п. 1, в котором CPU дополнительно конфигурировано для добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания пользователя и информации второго положения.
4. Устройство обработки аудиоданных по п. 3, в котором CPU дополнительно конфигурировано для добавления пространственной акустической характеристики, добавляет к аналоговому сигналу, по меньшей мере, одно из раннего отражения и характеристики реверберации, в качестве пространственной акустической характеристики.
5. Устройство обработки аудиоданных по п. 1, в котором CPU дополнительно конфигурировано для добавления пространственной акустической характеристики к аналоговому сигналу на основе информации положения прослушивания пользователя и информации первого положения.
6. Устройство обработки аудиоданных по п. 5, в котором CPU дополнительно конфигурировано для отображения информации второго положения на аналоговый сигнал.
7. Устройство обработки аудиоданных по п. 1, в котором CPU дополнительно конфигурировано для:
генерирования множества сигналов воспроизведения, по меньшей мере, по двум каналам источника звука; и
выполнения обработки свертки для множества сигналов воспроизведения.
7. Устройство обработки аудиоданных по п. 1, в котором сферические координаты соответствуют по меньшей мере одному из угла азимута, угла возвышения или радиуса относительно второго положения на сферической поверхности, при этом сферическая поверхность имеет центр, который находится в стандартном положении прослушивания.
8. Устройство обработки аудиоданных по п. 1, в котором информация первого положения источника звука дополнительно выражена координатами ортогональной системы координат, при этом ортогональная система координат имеет начало в стандартном положении прослушивания
10. Устройство обработки аудиоданных по п. 1, в котором первое положение источника звука представляет собой одно из исходного положения или предыдущего положения источника звука, и в котором CPU дополнительно конфигурировано для получения информации третьего положения относительно информации первого положения источника звука на основании ввода пользователя.
11. Способ обработки аудиоданных, содержащий:
получение информации положения прослушивания пользователя, при этом информация положения прослушивания пользователя обозначает положение прослушивания пользователя, в котором слушают звук из источника звука;
получение информации первого положения источника звука, при этом информация первого положения обозначает первое положение источника звука относительно стандартного положения прослушивания;
расчет, на основании первого положения источника звука и положения прослушивания пользователя, информации второго положения источника звука, в котором информация второго положения обозначает второе положение источника звука относительно положения прослушивания пользователя, и в котором информация первого положения и информация второго положения источника звука выражена сферическими координатами;
коррекция частотной характеристики аналогового сигнала источника звука на основании первого расстояния, которое больше второго расстояния, при этом первое расстояние представляет собой расстояние между вторым положением источника звука и положением прослушивания пользователя, и второе расстояние представляет собой расстояние между первым положением источника звука и стандартным положением прослушивания;
генерирование сигнала воспроизведения на основании скорректированной частотной характеристики аналогового сигнала; и
управление источником звука для воспроизведения сигнала воспроизведения.
12. Считываемый компьютером носитель записи, на котором записаны выполняемые компьютером инструкции, обеспечивающие выполнение компьютером обработки следующих операций:
получение информации положения прослушивания пользователя, при этом информация положения прослушивания пользователя обозначает положение прослушивания пользователя, в котором слушают звук из источника звука;
получение информации первого положения источника звука, при этом информация первого положения обозначает первое положение источника звука относительно стандартного положения прослушивания;
расчет, на основании первого положения источника звука и положения прослушивания пользователя, информации второго положения источника звука, в котором информация второго положения обозначает второе положение источника звука относительно положения прослушивания пользователя, и в котором информация первого положения и информация второго положения источника звука выражена сферическими координатами;
коррекция частотной характеристики аналогового сигнала источника звука на основании первого расстояния, которое больше второго расстояния, при этом первое расстояние представляет собой расстояние между вторым положением источника звука и положением прослушивания пользователя, и второе расстояние представляет собой расстояние между первым положением источника звука и стандартным положением прослушивания;
генерирование сигнала воспроизведения на основании скорректированной частотной характеристики аналогового сигнала; и
управление источником звука для воспроизведения сигнала воспроизведения.
| JP 2004032726 A, 29.01.2004 | |||
| Способ прессования металлических порошков и устройство для его осуществления | 1980 |
|
SU946800A1 |
| EP 1843636 B1, 13.10.2010 | |||
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| US 6361439 B1, 26.03.2002 | |||
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| RU 2011154337 A, 20.07.2013. | |||
