ДИФРАКЦИОННОЕ МОДЕЛИРОВАНИЕ, ОСНОВАННОЕ НА НАХОЖДЕНИИ ПУТИ ПО СЕТКЕ Российский патент 2024 года по МПК H04S7/00 A63F13/54 G06T15/10 G10K15/08 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка заявляет приоритет следующих приоритетных заявок: предварительной заявки США 63/004539 (ссылка: D20016USP1), поданной 3 апреля 2020 г., и европейской заявки 20167907.3 (ссылка: D20016EP), поданной 3 апреля 2020 г., которые включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение в целом относится к способу обработки аудиоконтента для формирования звука в трехмерной аудиосцене, принимая во внимание эффекты дифракции, вызванные элементами трехмерной аудиосцены. В частности, настоящее изобретение относится к способу (акустического) дифракционного моделирования, основанного на нахождении пути по сетке. Настоящее изобретение дополнительно относится к соответствующим устройству и компьютерным программным продуктам.

Хотя некоторые варианты осуществления будут описаны в настоящем документе с конкретной ссылкой на настоящее изобретение, следует понимать, что настоящее изобретение не ограничено такой областью использования и применимо в более широких контекстах.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Любое обсуждение текущего уровня техники во всем настоящем описании никоим образом не следует рассматривать как допущение того, что данный уровень широко известен или образует часть общедоступных знаний в данной области техники.

Акустическая дифракция относится к различным явлениям, которые возникают, когда волна сталкивается с препятствием или отверстием в окклюдере. Психоакустическое восприятие акустической дифракции представляет собой «огибание» звука вокруг препятствия или «распространение» через небольшое отверстие в звуковом барьере. Это объясняет, почему внутри концертного зала все еще можно хорошо воспринимать звук, несмотря на то, что ему мешает колонна или столб; или почему, находясь в коридоре, можно услышать звук, доносящийся из комнаты с приоткрытой дверью.

Акустическая дифракция представляет собой явление естественного происхождения, которое играет важную роль в обеспечении правильной интерпретации акустической среды. Особенно это важно для восприятия при наличии преграждающих звуковых барьеров и/или небольших отверстий в них. Отсутствие имитационного моделирования эффекта акустической дифракции, безусловно, снижает реалистичное воспроизведение звуковых сцен.

Несмотря на важность акустической дифракции в физическом мире, дифракционному моделированию часто не уделяется должного внимания в виртуальных средах (например, виртуальной реальности или игровых мирах). Моделирование эффектов акустической дифракции часто полностью отбрасывают или заменяют подходом прямого распространения сигнала. Даже передовые современные решения для формирования звука все еще не достигают состояния, при котором реалистичные акустические эффекты могут быть точно воспроизведены в трехмерных виртуальных средах в режиме реального времени. Одна из причин заключается в том, что физически правильное моделирование эффектов дифракции является задачей, требующей больших вычислительных затрат. Это связано со сложностью представления геометрии объекта, относящейся к преграждению/дифракции (например, стен и отверстий), размерностью пространства для формирования звука (например, трехмерная виртуальная реальность) и требованиями к реалистичности и намерениям создателя контента для моделируемых эффектов (например, диапазона слышимости).

Соответственно, существует потребность в реалистичном, но выполнимом с точки зрения вычислений моделировании акустической дифракции. Другими словами, существует потребность в усовершенствованном способе и устройстве для обработки аудиоконтента для формирования в (виртуальной) трехмерной аудиосцене.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно первому аспекту настоящего изобретения предоставляется способ обработки аудиоконтента для формирования в (виртуальной) трехмерной аудиосцене. Трехмерная аудиосцена может быть виртуальной аудиосценой. Аудиоконтент может включать источник звука в положении источника. Способ может включать получение вокселизированного представления трехмерной аудиосцены. Вокселизированное представление может указывать объемные элементы (например, воксели), в которых может распространяться звук, и объемные элементы (например, воксели), которые преграждают звук. Таким образом, можно сказать, что вокселизированное представление включает описание преграждающей геометрии трехмерной аудиосцены. В некоторых вариантах осуществления объемные элементы (например, воксели) в вокселизированном представлении могут быть кубами с предварительно определенной длиной края, например, приблизительно 10 сантиметров. В других вариантах осуществления объемные элементы (например, воксели) могут иметь адаптивный размер, т.е. адаптивную длину края. Объемные элементы, в которых может распространяться (например, свободно распространяться) звук, могут рассматриваться как заполненные воздухом. В некоторых вариантах реализации объемные элементы могут иметь соответствующие коэффициенты преграждения в диапазоне от значения коэффициента, указывающего свободное распространение звука (например, 0), до полного преграждения (например, 1). Способ может дополнительно включать получение двумерной проекционной карты для аудиосцены. Двумерная проекционная карта может быть связана с вокселизированным представлением посредством операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость. Данная проекционная карта может содержать сетку, где каждый элемент сетки представляет горизонтальное положение в аудиосцене и указывает, является ли по меньшей мере один объемный элемент в (например, выше или ниже) этом горизонтальном положении в вокселизированном представлении объемным элементом, в котором может распространяться звук. Проекционная карта также может называться картой преграждения или картой распространения. Способ может дополнительно включать определение параметров, указывающих положение виртуального источника, относящееся к виртуальному источнику звука, на основании положения источника, положения слушателя и проекционной карты для имитационного моделирования путем формирования сигнала виртуального источника из положения виртуального источника воздействия в виде акустической дифракции трехмерной аудиосценой на сигнал источника, относящийся к источнику звука, в положении источника.

С учетом вокселизированного представления трехмерной аудиосцены сложность представления может быть значительно снижена. Для соответствующего выбора размера вокселя (например, длина края приблизительно 10 сантиметров или длина края в несколько сантиметров) этого можно достичь без ощутимого ухудшения впечатления от прослушивания. Путем дальнейшего проецирования на двумерную проекционную карту сложность может быть дополнительно снижена, что позволяет использовать двумерные алгоритмы нахождения пути. Путь, выводимый алгоритмом нахождения пути, содержит достаточную информацию для генерирования виртуального источника звука в положении виртуального источника, который реалистично осуществляет имитационное моделирование влияния дифракции звука в исходной трехмерной аудиосцене. Благодаря снижению сложности, достигаемому за счет предложенного способа, это позволяет предоставить реалистичное впечатление от прослушивания в трехмерной аудиосцене при разумных вычислительных затратах. В частности, это обеспечивает реалистичное формирование звука в трехмерных аудиосценах даже для приложений в реальном времени, таких как приложения виртуальной реальности или компьютерные/консольные игры.

В некоторых вариантах осуществления получение двумерной проекционной карты может включать генерирование двумерной проекционной карты на основании вокселизированного представления путем применения операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость, к вокселизированному представлению. Если объемные элементы имеют связанные коэффициенты преграждения, генерирование проекционной карты может включать этап усечения, который отображает любое из этих значений коэффициентов на одно из двух экстремальных значений (например, на 0 или 1). В зависимости от обстоятельств (например, как часто ожидается изменение геометрии) вокселизированное представление и двумерная проекционная карта могут быть предварительно вычислены (например, для множества размеров объемных элементов) и могут быть доступны при необходимости. Например, предварительное вычисление может быть выполнено на стороне кодера, и вокселизированное (вокселизированные) представление (представления) и двумерная (двумерные) проекционная (проекционные) карта (карты) могут быть предоставлены стороне декодера как часть битового потока. Это может дополнительно снизить вычислительную нагрузку на стороне декодера.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может включать применение алгоритма нахождения пути к проекционной карте для определения пути в проекционной карте между двумерной проекцией положения источника (например, элементом сетки, содержащим положение источника) и двумерной проекцией положения слушателя (например, элементом сетки, содержащим положение слушателя) вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук. Данные элементы сетки могут называться непреграждающими элементами сетки.

Широкий спектр надежных и эффективных алгоритмов нахождения пути легко доступен и может быть выбран в зависимости от конкретных требований среды формирования. Тем самым предложенный способ может быть специально приспособлен к вычислительным возможностям, которые присутствуют на стороне формирования, путем соответствующего выбора алгоритма нахождения пути.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может включать расчет линии видимости между положением источника и положением слушателя в трехмерной аудиосцене. Указанное определение может дополнительно включать, если рассчитанная линия видимости пересекает объемный элемент в вокселизированном представлении, который преграждает звук, и, если двумерная проекция линии видимости на горизонтальную плоскость пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук, применение алгоритма нахождения пути для определения пути в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук. При вышеуказанных условиях указанное определение может дополнительно включать определение параметров, указывающих положение виртуального источника, на основании определенного пути. Понятно, что вышеуказанные подэтапы указанного этапа определения могут подразумевать соответствующие этапы определения того, существует ли пересечение в вокселизированном представлении и/или в проекционной карте.

Путем выполнения проверки того, пересекает ли прямая линия видимости преграждающие воксели в вокселизированном представлении или преграждающие элементы сетки в проекционной карте, можно определить особые случаи, с которыми легко обращаться, для специальной обработки, тем самым дополнительно снижая общую вычислительную нагрузку.

В некоторых вариантах осуществления способ может дополнительно включать этап получения уточненного вокселизированного представления и уточненной двумерной проекционной карты, если алгоритм нахождения пути не может идентифицировать путь в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя. При вышеуказанных условиях способ может дополнительно включать применение алгоритма нахождения пути для определения пути в уточненной проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в уточненном вокселизированном представлении является объемным элементом, в котором может распространяться звук. Уточненная двумерная проекционная карта может быть связана с уточненным вокселизированным представлением посредством операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость. Кроме того, объемные элементы уточненного вокселизированного представления могут иметь меньшую длину края, чем объемные элементы вокселизированного представления. Например, длина края объемных элементов уточненного вокселизированного представления может иметь половину длины края объемных элементов (начального/предыдущего) вокселизированного представления. Будут ли получены уточненное вокселизированное представление и уточненная двумерная проекционная карта, может зависеть от того, есть ли еще время (например, время CPU) в текущем цикле (например, периоде времени) процедуры формирования. Например, длина цикла может относиться к желаемой (например, предварительно определенной) скорости обновления (скорости актуализации) формирования звука. Если доступно время CPU, представление может быть уточнено, в противном случае звук из источника звука может не быть сформирован вообще, если путь не найден.

Тем самым точность представления может быть последовательно повышена. Если «грубое» представление дает приемлемые результаты в том смысле, что найден путь и возможно определение положения виртуального источника звука, грубое представление может поддерживаться. С другой стороны, если такой путь не найден (и доступно время CPU), то уточняют детализацию вокселизированного представления для проверки того, есть ли отверстие в преграждающей геометрии, которое не было идентифицировано при более грубой детализации, но которое позволило бы воспринимать звук из источника звука в положении слушателя. Следовательно, предложенное условное уточнение позволяет достичь оптимального компромисса между точностью представления и снижением вычислительной нагрузки.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может включать определение расстояния и азимутального угла между положением слушателя и положением виртуального источника на основании определенного пути. При этом расстояние может быть определено на основании длины пути определенного пути. Например, расстояние может быть определено как длина пути (например, фактическая длина пути или ее оценка/аппроксимация, такая как «манхэттенское» расстояние или взвешенное число вокселей, пересекаемых путем) (полного) определенного пути. В качестве альтернативы длина пути определенного пути может быть скорректирована на основании разности вертикальных координат положения слушателя и положения источника или на основании экстраполяции в вокселизированное представление. Определение азимутального угла может включать идентификацию, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути. Определение азимутального угла может дополнительно включать определение азимутального угла как азимутального угла между двумерной проекцией положения слушателя и идентифицированным ближайшим изменением направления. В настоящем документе понятно, что (ближайшее) изменение направления вызвано объемным элементом, который преграждает звук.

Тем самым используется тот факт, что определенный путь в проекционной карте содержит достаточную информацию для эффективного определения расстояния и азимутального угла для положения виртуального источника, что обеспечит реалистичное впечатление от прослушивания при формировании.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может включать определение угла возвышения между положением слушателя и положением виртуального источника на основании определенного пути и вокселизированного представления. При этом определение угла возвышения может включать идентификацию, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути. Определение угла возвышения может дополнительно включать определение в горизонтальном положении идентифицированного изменения направления объемного элемента, в котором звук может распространяться в вокселизированном представлении. В настоящем документе может быть определен тот объемный элемент, в котором звук может распространяться в горизонтальном положении определенного изменения направления, который имеет вертикальную координату, ближайшую к координате положения слушателя, которая имеет наименьшее расстояние до прямой линии видимости между положением слушателя и положением источника звука, или которая находится в пределах наибольшего смежного поднабора вокселей, в которых может распространяться звук. Определение угла возвышения может дополнительно включать определение угла возвышения как угла возвышения между положением слушателя и определенным объемным элементом.

Тем самым используется тот факт, что определенный путь в проекционной карте вместе с вокселизированным представлением содержит достаточную информацию для эффективного определения угла возвышения для положения виртуального источника, что обеспечит реалистичное впечатление от прослушивания при формировании.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может включать расчет линии видимости между положением источника и положением слушателя в трехмерной аудиосцене. Определение параметров, указывающих положение виртуального источника, может дополнительно включать, если рассчитанная линия видимости пересекает объемный элемент в вокселизированном представлении, который преграждает звук, и, если двумерная проекция линии видимости на горизонтальную плоскость не пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук, определение расстояния и азимутального угла между положением слушателя и положением виртуального источника на основании двумерной проекции линии видимости на горизонтальную плоскость. Понятно, что нет необходимости определять положение виртуального источника, если рассчитанная линия видимости не пересекает объемный элемент в вокселизированном представлении, который преграждает звук (в этом случае можно использовать исходное положение источника), или, если не найден путь в проекционной карте (в этом случае вообще не нужно будет формировать звук).

Таким образом конкретный тривиальный случай может быть идентифицирован и обработан простым способом, чтобы дополнительно уменьшить общую вычислительную нагрузку, связанную с предлагаемым способом, при этом все еще обеспечивая реалистичное впечатление от прослушивания.

В некоторых вариантах осуществления определение параметров, указывающих положение виртуального источника, может дополнительно включать определение угла возвышения между положением слушателя и положением виртуального источника на основании линии видимости и вокселизированного представления. При этом определение угла возвышения может включать идентификацию, начиная с положения слушателя, ближайшего объемного элемента, который пересекается с рассчитанной линией видимости и который преграждает звук. Определение угла возвышения может дополнительно включать определение объемного элемента, в котором звук может распространяться в вокселизированном представлении, в горизонтальном положении идентифицированного объемного элемента. Определение угла возвышения может еще дополнительно включать определение угла возвышения как угла возвышения между положением слушателя и определенным объемным элементом.

Тем самым используется тот факт, что в идентифицированном особом случае прямая линия видимости вместе с вокселизированным представлением содержит достаточную информацию для эффективного определения угла возвышения для положения виртуального источника, что обеспечивает реалистичное впечатление от прослушивания.

В соответствии с другим аспектом настоящего изобретения предусмотрено устройство обработки аудиоконтента для формирования звука в трехмерной аудиосцене, содержащее процессор, подключенный к запоминающему устройству, в котором хранятся команды для процессора. Процессор может быть приспособлен для того, чтобы заставлять устройство выполнять способ согласно вышеуказанному аспекту и любому из его вариантов осуществления.

В соответствии с еще одним аспектом настоящего изобретения предусмотрен машиночитаемый носитель данных, в котором хранится компьютерная программа, содержащая команды для обеспечения выполнения процессором, который исполняет команды, способа согласно вышеупомянутому первому аспекту и любому из его вариантов осуществления.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Ниже будут описаны только в качестве примера примерные варианты осуществления изобретения со ссылкой на прилагаемые графические материалы, на которых:

На фиг. 1A и фиг. 1B проиллюстрирован пример сценария акустической дифракции, вызванного преграждающими элементами в трехмерной аудиосцене и ее двумерной горизонтальной проекции на двумерную сетку вокселизации соответственно.

На фиг. 2 проиллюстрирована блок-схема примера способа обработки аудиоконтента для формирования в трехмерной аудиосцене.

На фиг. 3A и фиг. 3B проиллюстрированы примеры путей в двумерных проекционных картах.

На фиг. 4 проиллюстрирована блок-схема другого примера способа обработки аудиоконтента для формирования в трехмерной аудиосцене.

На фиг. 5 схематически проиллюстрирован пример устройства, реализующего способ обработки аудиоконтента для формирования в трехмерной аудиосцене.

ОПИСАНИЕ ПРИМЕРОВ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фиг. 1А представлен пример трехмерной аудиосцены 100, и на фиг. 1B изображена ее горизонтальная проекция на двумерную плоскость проекции. Данная аудиосцена иллюстрирует эффект акустической дифракции звука, излучаемого в положении 110 источника (местоположении источника), при восприятии в положении 120 слушателя (местоположении слушателя). Прямой путь 130 между положением 110 источника и положением 120 слушателя блокируется преграждающими элементами 140 в аудиосцене, такими как стены или другие протяженные элементы между положением 110 источника и положением 120 слушателя. Тем не менее, звук, издаваемый в положении 110 источника, будет восприниматься в положении 120 слушателя. Это происходит из-за акустической дифракции, которая позволяет звуку достигать положения 120 слушателя также вдоль всех путей вокруг преграждающих элементов 140. Кратчайший «изогнутый» путь 150 может считаться доминирующим путем с психоакустической точки зрения. Данный эффект необходимо соответствующим образом смоделировать для обеспечения реалистичного формирования звука в (виртуальных) трехмерных аудиосценах, включая преграждающие элементы.

Если говорить в общих чертах, в настоящем изобретении предлагается эффективный с вычислительной точки зрения способ акустического дифракционного моделирования, основанный на алгоритмах нахождения пути для равноудаленных сеток, представляющих вокселизированную преграждающую геометрию трехмерной (аудио) сцены. Для достижения этой цели в настоящем изобретении используется упрощенное (но достаточно точное) геометрическое представление с использованием способа вокселизации (например, адаптивного способа вокселизации). Кроме того, в настоящем изобретении используется двумерное пространство для дифракционного моделирования путем сжатия соответствующего геометрического представления, возможно, вместе со средствами для управления звуковыми эффектами, аппроксимирующими явления акустического преграждения/дифракции для создателей контента и операторов кодера.

Соответственно, способы и устройство согласно настоящему изобретению обеспечивают реалистичное с точки зрения восприятия имитационное моделирование эффекта акустического преграждения/дифракции для динамических и интерактивных трехмерных виртуальных сред и направлены на улучшение общего пользовательского опыта и содействие более широкому развертыванию приложений виртуальной реальности (VR). Здесь и далее «имитационное моделирование преграждения/дифракции» можно понимать в смысле моделирования эффекта восприятия преграждения/дифракции и не обязательно может подразумевать точное имитационное моделирование физических эффектов.

В качестве начальной точки в настоящем изобретении предполагается (виртуальное) трехмерное пространство (например, трехмерная аудиосцена), содержащее описание преграждающей геометрии (т.е. информацию о преграждающих элементах в аудиосцене, например, представленных в терминах сеток или геометрических примитивов, и, возможно, коэффициентов преграждения, полученных для их поверхностей или присвоенных им). В настоящем изобретении дополнительно предполагается положение (местоположение) слушателя (слушателей)/пользователя (пользователей) и источника (источников) звука, а также аудиосигнала (аудиосигналов) (например, форм волны), излучаемого (излучаемых) источником (источниками) звука. Данные элементы можно рассматривать как входные данные для способов, предложенных в вариантах осуществления изобретения. Однако следует отметить, что в этих способах аналогичным образом может быть принята обработанная версия описания преграждающей геометрии. Например, в способах может быть принято в качестве входных данных вокселизированное представление трехмерного пространства (например, трехмерная аудиосцена).

На основании вышеуказанных предположений (т.е. вышеуказанных входных данных) способы и устройство согласно вариантам осуществления настоящего изобретения направлены на имитационное моделирование воспринимаемого эффекта акустического преграждения/дифракции путем обеспечения (например, определения или генерирования) виртуального аудиоисточника (виртуального источника звука) в положении виртуального источника, возможно, вместе с сигналом виртуального источника. При этом положение виртуального источника определяется его координатами, включая расстояние (например, радиус) и направление (например, азимут (угол) и возвышение (угол наклона)). Однако следует отметить, что положение виртуального источника может быть аналогичным образом определено с использованием других координатных представлений (например, в декартовой системе координат) и что настоящее изобретение не должно быть ограничено сферическими координатами. В случае, когда положения/местоположения выражены в системе координат, которая отличается от системы координат, используемой для формирования звука, то может быть выполнен соответствующий этап преобразования между системами координат, например, во время формирования звука. Сигнал виртуального источника может быть определен на основании исходной формы волны сигнала источника, возможно, с наложенными на него изменениями (например, коэффициентами усиления, фильтрами и т.д.).

На фиг. 2 проиллюстрирована блок-схема примера способа 200 обработки аудиоконтента для формирования в трехмерной аудиосцене. Аудиоконтент содержит источник звука в положении источника, который излучает сигнал источника (звука), т.е. который издает звук (например, форму волны источника) на основании сигнала источника.

На этапе 202 геометрию сцены принимают в качестве входных данных. Геометрия сцены может относиться к сетчатому представлению трехмерной аудиосцены (трехмерной аудиосреды). Сетчатое представление содержит сетку или набор сеток, которые представляют поверхности объектов (элементов сцены), таких как локальные окклюдеры (например, препятствия) или глобальные окклюдеры (например, стены), например, в трехмерной аудиосцене. В некоторых вариантах реализации каждая сетка или поверхность сетки могут иметь соответствующий коэффициент преграждения.

На этапе 204 определяют, произошло ли обновление геометрии сцены и/или соответствующих свойств преграждения. Если это так (Да), то способ переходит к этапу 206 для определения вокселизированного представления трехмерной аудиосцены или по меньшей мере для обновления подчасти вокселизированного представления на основании обновленной подчасти геометрии сцены (например, в случае, когда вокселизированное представление уже доступно и изменение геометрии сцены является сравнительно небольшим) с последующим генерированием двумерной проекционной карты вокселизированного представления на этапе 208. В противном случае (Нет) способ переходит к этапу 214.

На этапе 206 выполняют выбор акустически значимой геометрии. Соответственно, подмножество акустически значимых данных, представляющих объекты (с размерами и типами, которые могут/должны вызывать эффекты преграждения/дифракции), выбирают из всей доступной информации о геометрии сцены. Этот этап может быть необязательным.

На этапе 208 вокселизацию (т.е. способ/алгоритм вокселизации) применяют к геометрии сцены или акустически значимой геометрии (например, геометрии, относящейся к преграждению/дифракции) для генерирования вокселизированного представления трехмерной аудиосцены. Вокселизированное представление содержит множество вокселей (объемных элементов) обычного размера, расположенных в обычной трехмерной сетке. Таким образом, воксели могут представлять собой кубы с предварительно определенной длиной края, например, приблизительно 10 сантиметров.

В одном примере реализации алгоритм вокселизации может быть применен к сетчатому представлению трехмерной аудиосцены для генерирования вокселизированного представления. Этот этап включает уменьшение сложности представления геометрии с помощью способа/алгоритма 3D-вокселизации (например, адаптивного способа/алгоритма 3D-вокселизации), который разбивает трехмерное пространство на два (абстрактных) класса вокселей (объемных элементов), а именно вокселей материала объекта (OM) окклюдера, такого как бетон или дерево, и вокселей среды распространения звука (SM), такой как воздух или вода. Соответственно, полный набор вокселей VOX задается наборами вокселей OM и вокселей SM,

(1)

На этапе 210 извлекают/выбирают воксели для дифракционного моделирования. С этой целью воксели OM разделяют на две группы вокселей, а именно локально преграждающие (LO) воксели (соответствующие локально преграждающим препятствиям, таким как мебель, например) и глобально преграждающие (GO) воксели (соответствующие глобально преграждающим барьерам, таким как стены, например). Предполагается, что локально преграждающие препятствия не оказывают влияния на крупномасштабную направленность распространения звука, так что звук из источника звука за локально преграждающим препятствием распространяется, возможно, в несколько ослабленном виде, в том же направлении, что и исходный звук, по меньшей мере на достаточные расстояния от локально преграждающего препятствия. Соответственно, набор вокселей OM разделяют с помощью

(2)

На последующих этапах способа 200 могут затем учитываться только воксели GO. Таким образом, иными словами, этап 210 включает удаление из сгенерированного вокселизированного представления любых вокселей, которые соответствуют локальным окклюдерам, при этом локальные окклюдеры представляют объекты в трехмерной аудиосцене, которые, как ожидается, не будут оказывать влияния на крупномасштабную направленность распространения звука. Например, границы трехмерной аудиосцены (например, стен) являются глобальными окклюдерами, которые следует сохранить на этом этапе. Локальные окклюдеры могут быть идентифицированы путем применения методов обработки изображений (например, включая фильтрацию) к сгенерированному вокселизированному представлению, предполагая, например, что локальные окклюдеры будут удалены соответствующей пространственной фильтрацией. Локальные окклюдеры также могут быть идентифицированы на основании пространственных свойств вокселей OM (например, числа и/или размера вокселей, представляющих преграждающее препятствие) и/или их отношения с окружающими вокселями SM (например, свободным объемом для распространения звука). Аналогично, локальные окклюдеры могут быть непосредственно указаны соответствующими метаданными и отражать намерение создателя аудиосцены. В частности, этап 210 может быть необязательным.

Можно сказать, что этапы 206, 208 и 210 направлены на контролируемое уменьшение сложности геометрического представления трехмерной аудиосцены путем определения значимости геометрических элементов в отношении силы эффектов преграждения/дифракции, вызываемых ими.

В некоторых вариантах реализации этапы 206, 208 и 210 могут быть заменены получением вокселизированного представления трехмерной аудиосцены другим способом, например, путем приема вокселизированного представления из внешнего источника. Например, вокселизированное представление может быть считано из запоминающего устройства или может быть извлечено (например, декодировано) из битового потока. В этих случаях этап 202 также опускается. В целом, можно сказать, что способ 200 включает этап получения вокселизированного представления трехмерной аудиосцены, при этом вокселизированное представление указывает объемные элементы, в которых может распространяться звук (например, воксели SM), и объемные элементы, которые преграждают звук (например, воксели OM). Воксели, в которых может распространяться (например, свободно распространяться) звук, могут рассматриваться как заполненные воздухом. В некоторых вариантах реализации, как описано выше, данный этап может быть реализован с помощью этапов 206, 208 и 210. Получение вокселизированного представления трехмерной аудиосцены может зависеть от того, произошло ли обновление трехмерной аудиосцены.

Воздействие любых вокселей, которые удалены из вокселизированного представления на этапе 210, может быть учтено на необязательном этапе 236 путем применения моделирования с локальным ослаблением для имитационного моделирования ослабления звука удаленными вокселями, соответствующими локальным окклюдерам, в зависимости от положения слушателя. Любой коэффициент усиления, ослабления или фильтр, определенные на этом этапе, могут быть применены к сигналу виртуального источника, определенному на этапе 230 и описанному ниже.

На этапе 212 двумерную проекционную карту (или проекционную матрицу) для дифракционного моделирования генерируют (например, рассчитывают) из вокселизированного представления (например, из вокселей GO). Например, двумерная проекционная карта для аудиосцены может быть сгенерирована на основании вокселизированного представления путем применения операции проецирования к вокселизированному представлению. С помощью операции проецирования осуществляют проецирование на горизонтальную (например, горизонтальную с точки зрения слушателя) плоскость. Следовательно, проекционная карта содержит сетку, где каждый элемент сетки представляет горизонтальное положение в аудиосцене и указывает, является ли по меньшей мере один воксель (объемный элемент) в этом горизонтальном положении (например, выше, в или ниже горизонтальной плоскости) в вокселизированном представлении вокселем, в котором может распространяться звук (например, является ли вокселем SM или, что эквивалентно, не является ли вокселем GO). Таким образом, проекционная карта также может называться картой распространения или картой преграждения.

В некоторых вариантах реализации двумерная проекционная карта (проекционная матрица) может быть получена из трехмерного вокселизированного представления (трехмерной матрицы воксельной группы) или его части, которая представляет глобально преграждающие барьеры, используя следующий способ сжатия:

(3)

В настоящем документе значенияимогут принадлежать диапазону между экстремальными значениями, указывающими свободное распространение звука (отсутствие преграждения; например, значение 0) и полное преграждение (например, значение 1) соответственно. Например, значения PM и GO могут принадлежать диапазону [0, 1] и соответствовать

0 – отсутствие преграждения

1 – полное преграждение.

Разумеется, также возможно обратное присвоение значений, и в этом случае уравнение (3) должно быть адаптировано путем замены на .

Для значений PM и GO в диапазоне [0, 1] необязательный этап усечения может быть выполнен в контексте генерирования проекционной карты для преобразования записей проекционной карты в логический тип данных следующим образом:

(4)

где представляет собой порог преграждения. В целом, генерирование проекционной карты может включать этап усечения, который отображает любое из значений коэффициента преграждения вокселей вокселизированного представления на одно из двух экстремальных значений (например, на 0 или 1). Иными словами, генерирование двумерной проекционной карты может включать операцию усечения, так что элементы сетки проекционной карты указывают либо на свободное распространение звука (отсутствие преграждения), либо на полное преграждение (преграждение).

С другой стороны, также возможен случай, когда значения коэффициента преграждения вокселей вокселизированного представления (например, значения GO) уже относятся к логическому типу данных. В этом случае матрица PM может быть получена следующим образом:

Можно сказать, что этап 212 направлен на уменьшение размерности пространства для дифракционного моделирования путем введения матрицы для представления концепции «стен и отверстий». Фактически, если распространение звука возможно для любого из вокселей в заданном горизонтальном положении (т.е. в «столбце» вокселей в этом горизонтальном положении), проекционная карта укажет, что распространение звука возможно для этого горизонтального положения (т.е. для этого элемента сетки), и, таким образом, укажет по меньшей мере на «отверстие» в этом горизонтальном положении.

Генерирование двумерной проекционной карты может зависеть от того, произошло ли обновление трехмерной аудиосцены.

В некоторых вариантах реализации этап 212 может быть заменен получением двумерной проекционной карты другим способом, например, путем приема двумерной проекционной карты из внешнего источника. Например, двумерная проекционная карта может быть считана из запоминающего устройства или может быть извлечена (например, декодирована) из битового потока. В целом, можно сказать, что способ 200 включает этап получения двумерной проекционной карты для аудиосцены, при этом двумерную проекционную карту связывают с вокселизированным представлением посредством операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость. Проекционная карта содержит сетку, где каждый элемент сетки представляет горизонтальное положение в аудиосцене и указывает, является ли по меньшей мере один объемный элемент в этом горизонтальном положении в вокселизированном представлении объемным элементом, в котором может распространяться звук. В некоторых вариантах реализации, как описано выше, данный этап может быть реализован с помощью этапа 212, например, в том смысле, что получение двумерной проекционной карты включает применение операции проецирования к вокселизированному представлению. Тем не менее, получение двумерной проекционной карты может зависеть от того, произошло ли обновление трехмерной аудиосцены.

На этапе 214 определяют, произошло ли обновление положения слушателя и/или положения источника. Если это так (Да), то способ переходит к этапу 216 для определения параметров, указывающих положение виртуального источника, относящееся к виртуальному источнику звука. В противном случае (Нет) способ переходит к этапу 230, используя ранее определенное положение виртуального источника.

В целом, определение параметров, указывающих положение виртуального источника, относящееся к виртуальному источнику звука, выполняют на основании (исходного) положения источника, положения слушателя и проекционной карты. В некоторых случаях определение может быть дополнительно основано на вокселизированном представлении. Целью определения положения виртуального источника звука является имитационное моделирование путем формирования сигнала виртуального источника из положения виртуального источника воздействия в виде акустической дифракции трехмерной аудиосценой на сигнал источника, относящийся к источнику звука, в (исходном) положении источника.

Определение параметров, указывающих положение виртуального источника, может быть реализовано с помощью некоторых или всех этапов 216, 218, 220, 222, 224, 226, 228 и 234, рассмотренных ниже. В целом, можно сказать, что этот этап включает применение алгоритма нахождения пути к проекционной карте для определения пути в проекционной карте между двумерной проекцией положения источника (например, элементом сетки, включающим это положение) и двумерной проекцией положения слушателя (например, элементом сетки, включающим это положение) вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук (например, непреграждающими элементами сетки).

Как отмечалось выше, определение параметров, указывающих положение виртуального источника, относящееся к виртуальному источнику звука, может зависеть от того, произошло ли обновление положения слушателя и/или положения источника.

На этапе 216 рассчитывают линию видимости между положением источника и положением слушателя в трехмерной аудиосцене. Данная линия видимости может также называться линией прямого обзора от слушателя к источнику (от пользователя к источнику). Ее расчет может включать обычные геометрические расчеты. В некоторых вариантах реализации положение слушателя и/или положение источника могут быть квантованы в центр соответствующего вокселя, в котором они расположены. Линия видимости может быть линией видимости в трехмерном пространстве.

На этапе 218 проверяют, пересекает ли рассчитанная линия видимости воксель в вокселизированном представлении, который преграждает звук (например, воксель GO). Если это так (Да), то способ переходит к этапу 220. В противном случае (Нет) способ переходит к этапу 238. В последнем случае дифракционное моделирование не требуется, поскольку между источником звука и слушателем существует прямая линия видимости.

На этапе 220 проверяют, пересекает ли двумерная проекция линии видимости на горизонтальной плоскости (проекционной карты) элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук (например, элементом PM, указывающим на преграждение, такое как . Если это так (Да), то способ переходит к этапу 222. В противном случае (Нет) способ переходит к этапу 234. В последнем случае нахождение пути в проекционной карте не является необходимым, так как существует прямая (прямая) линия между 2D-проекциями положений источника и слушателя.

Этапы 218 и 220 направлены на уменьшение объема вычислений, который необходим для определения параметров, указывающих положение виртуального источника. Это достигается путем специальной обработки простых или тривиальных случаев. Этапы 218 и 220 могут быть необязательными в некоторых вариантах реализации, учитывая, что общая обработка дает разумные результаты также для простых или тривиальных случаев.

На этапе 222 алгоритм нахождения пути применяют для определения пути в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук (например, непреграждающими элементами сетки). В некоторых вариантах реализации положение слушателя и/или положение источника могут быть квантованы в центр проекции (например, элемента сетки) вокселя, в котором они соответственно расположены. Любой алгоритм нахождения пути может быть применен на этом этапе, включая, например, A* и JPS. В этом смысле предлагаемая модель является модульной по отношению к алгоритму нахождения пути.

В одном примере варианта реализации этап 222 может включать следующие подэтапы:

• расчет индексов вокселей (вокселей), соответствующих положениям слушателя (пользователя) и источника (объекта): и ;

• необязательно проверку того, является ли SM, SM (т.е. находятся ли слушатель и положение источника в пределах материала, распространяющего звук), (в этом случае формирование пространственного звука может быть пропущено), (в этом случае формирование пространственного звука может быть также пропущено, предполагая, что источник находится слишком далеко от слушателя, чтобы быть воспринятым), и т.д., и применение соответствующих правил;

• запуск алгоритма нахождения пути (например, A*, JPS и т.д.) для получения пути (например, аппроксимация кратчайшей траектории от источника к слушателю). Следующие параметры могут быть применены для управления им (например, ускорение и завершение цикла поиска):

- эвристические параметры для алгоритма нахождения пути

- ранее обнаруженный путь (например, для динамического сценария)

- порог (пороги) по времени расчета и/или по количеству ресурсов

- порог для максимальной длины пути, выраженный, например, в виде количества 2D-элементов сетки (2D-проекций вокселей), единиц расстояния, ослабления звука, результирующего уровня звука объекта источника и т.д.

Как описано выше, этап 222 выполняют, если рассчитанная линия видимости пересекает объемный элемент в вокселизированном представлении, который преграждает звук, и, если двумерная проекция линии видимости на горизонтальную плоскость пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук (например, преграждающим элементом сетки).

На этапе 224 проверяют, был ли найден путь на этапе 222. Если путь был найден (Да), то способ переходит к этапу 226. Если путь не был найден (Нет), то способ переходит к этапу 238 и может не определять параметры, указывающие положение виртуального источника, относящееся к виртуальному источнику звука. Затем способ может полностью пропустить дифракционное моделирование и/или формирование звука для текущего положения слушателя и текущего положения источника. Альтернативная обработка случая, в котором путь не найден, будет описана ниже со ссылкой на фиг. 4.

Этапы 226 и 228 обычно относятся к определению параметров, указывающих положение виртуального источника, на основании пути, определенного на этапе 222.

Более подробно, на этапе 226 расстояние (т.е. радиус) и азимутальный угол (т.е. горизонтальный направленный компонент) между положением слушателя и положением виртуального источника определяют на основании определенного пути.

Расстояние может быть определено на основании длины пути определенного пути. Например, расстояние может быть определено как

- длина полного пути в проекционной карте, как определено на этапе 222;

- длина полного пути в проекционной карте, скорректированная согласно разнице положений слушателя и источника в их вертикальной координате (например, z-измерении) (т.е. их высоты относительно горизонтальной плоскости); или

- длина полного пути между слушателем и источником, экстраполированная в вокселизированное представление трехмерной аудиосцены (например, вокселей GO).

В этой связи, если определенное расстояние между положением виртуального источника и положением слушателя превышает максимальное расстояние устройства формирования, предназначенного для использования, положение виртуального источника может быть установлено на максимальное расстояние устройства формирования, и любое избыточное расстояние, еще не учтенное, может быть инкапсулировано в дополнительный коэффициент усиления ослабления для виртуального источника звука.

Азимутальный угол может быть определен путем первой идентификации, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути. Затем азимутальный угол может быть определен как азимутальный угол между двумерной проекцией положения слушателя (на проекционную карту) и идентифицированным ближайшим изменением направления. Например, азимутальный угол может быть определен на основании относительного положения соответствующих элементов сетки проекционной карты, в которую попадает двумерная проекция положения слушателя и идентифицированного ближайшего изменения направления. Иными словами, азимутальный угол может быть определен на основании направления определенного пути, начиная с положения слушателя. Говоря еще иначе, азимутальный угол может быть определен на основании направления в проекционной карте от положения слушателя до первого преграждающего элемента сетки для определенного пути, после чего путь меняет свое направление. Понятно, что азимутальный угол может быть определен со ссылкой на предварительно определенное исходное направление, такое как x-измерение или y-измерение в системе координат трехмерной аудиосцены, например.

На фиг. 3А схематически проиллюстрирован пример определения азимутального угла для положения виртуального источника. Проекционная карта 30, показанная на ней, содержит преграждающие элементы 50 сетки (заштрихованные; т.е. элементы сетки, представляющие соответствующие горизонтальные положения в аудиосцене и указывающие, что ни один из вокселей в этом горизонтальном положении в вокселизированном представлении не является вокселем, в котором может распространяться звук), а также непреграждающие элементы 40 сетки (т.е. элементы сетки, представляющие соответствующие горизонтальные положения в аудиосцене и указывающие, что по меньшей мере один из вокселей в этом горизонтальном положении в вокселизированном представлении является вокселем, в котором может распространяться звук). В целях иллюстрации показаны также горизонтальные проекции преграждающих элементов 140 аудиосцены, хотя эти проекции не являются частью проекционной карты 30. Двумерная проекция 60 линии видимости между (двумерной проекцией) положения 10 источника и (двумерной проекцией) положения 20 слушателя на проекционную карту 30 преграждается по меньшей мере одним из преграждающих элементов 50 сетки проекционной карты 30. Соответственно, путь 70 между положением 10 источника и положением 20 слушателя определяется посредством алгоритма нахождения пути. Данный путь 70 изменяет свое направление за преграждающим элементом 90 сетки. Соответственно, определяется положение ближайшего изменения 80 направления пути 70. Затем определяют азимутальный угол для указания направления 95 к идентифицированному ближайшему изменению 80 направления пути 70. Данное направление 95 обычно отличается от направления 60 (двумерной проекции) прямой линии видимости.

На этапе 228 угол возвышения (т.е. вертикальный направленный компонент) между положением 120 слушателя и положением виртуального источника определяют на основании определенного пути и вокселизированного представления. В частности, угол возвышения может быть определен сначала путем идентификации, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути. Это может быть выполнено по аналогии с этапом 226, или может быть повторно использовано ближайшее изменение направления, идентифицированное на этапе 226. Затем объемный элемент в вокселизированном представлении, в котором может распространяться звук, определяют в горизонтальном положении идентифицированного изменения направления. Например, такой (непреграждающий) воксель может быть определен в столбце вокселей в горизонтальном положении элемента сетки, включая идентифицированное ближайшее изменение направления. В частности, этот (непреграждающий) воксель может быть определен в горизонтальном положении идентифицированного ближайшего изменения направления, которое имеет вертикальную координату, ближайшую к координате положения слушателя. Наконец, угол возвышения может быть определен как угол возвышения между положением слушателя и определенным вокселем. Иными словами, угол возвышения может быть определен на основании направления определенного пути, начиная с положения слушателя при экстраполяции в вокселизированное представление на трехмерную аудиосцену. Понятно, что угол возвышения может быть определен со ссылкой на предварительно определенную исходную плоскость, такую как горизонтальная плоскость, на которую проецируется вокселизированное представление для генерирования проекционной карты, например.

На фиг. 3B схематически проиллюстрирован пример определения угла возвышения для положения виртуального источника. В частности, на фиг. 3B проиллюстрировано (вертикальное) сечение через вокселизированное представление вдоль плоскости вертикального сечения, которая выровнена с любым из двух направлений, определенных сеткой двумерной проекционной карты, и которая пересекает местоположение (например, воксель) ближайшего изменения 80 направления (ближайшего к двумерной проекции положения 20 слушателя) определенного пути 70 между положением 20 слушателя и положением 10 источника. Если положение 10 источника и положение слушателя не имеют общего горизонтального воксельного индекса (т.е. расположены в одном и том же горизонтальном ряду вокселизированного представления), то любой выбор направления, определенный сеткой двумерной проекционной карты, является удовлетворительным. Если два положения имеют общий горизонтальный индекс, плоскость вертикального сечения следует выбирать таким образом, чтобы она пересекала прямую линию видимости между положением 10 источника и положением 20 слушателя. Вертикальное сечение содержит вертикальные преграждающие элементы 55 сетки и вертикальные непреграждающие элементы 45 сетки.

В настоящем примере плоскость вертикального сечения представляет собой плоскость, ортогональную двумерной проекционной карте по фиг. 3A и содержащую нижний горизонтальный ряд вокселей по фиг. 3A (т.е. горизонтальный ряд вокселей, включающий воксель ближайшего изменения 80 направления). Положение 10 источника, положение 20 слушателя и прямая линия видимости проецируются на плоскость вертикального сечения в их соответствующие вертикальные проекции 15, 25 и 85. В настоящем примере вертикальное сечение содержит четыре вертикальных преграждающих элемента 55 сетки, которые расположены в вертикальном столбце и которые соответствуют вокселям, представляющим смещение преграждающего элемента 140 вправо на фиг. 1A.

Для определения угла возвышения идентифицируют непреграждающий вертикальный элемент 45 сетки в вертикальном сечении, который находится в том же горизонтальном положении, что и ближайшее изменение 80 направления. В настоящем примере идентифицирован непреграждающий вертикальный элемент сетки непосредственно под столбцом вертикальных преграждающих элементов 55 сетки. В целом, может быть идентифицирован этот непреграждающий вертикальный элемент сетки, который находится в горизонтальном положении ближайшего изменения 80 направления и который, например, a) находится ближе всего к вертикальной проекции 85 линии видимости, b) находится ближе всего к вертикальной координате положения 20 слушателя или c) соответствует вокселю, который является частью наибольшего смежного поднабора непреграждающих вокселей. Идентифицированный непреграждающий вертикальный элемент сетки используют для определения угла возвышения. Например, вертикальная проекция угла возвышения между вертикальной проекцией 5 положения виртуального источника и вертикальной проекцией 25 положения слушателя может быть определена на основании горизонтального и вертикального расстояний между идентифицированным вертикальным непреграждающим элементом сетки (например, его центром) и вертикальной проекцией 25 положения слушателя. Затем фактический угол возвышения может быть определен на основании азимутального угла и вертикальной проекции угла возвышения, например, путем применения тригонометрического преобразования на основании разности угла между направлением азимута и направлением плоскости вертикального сечения к вертикальной проекции угла возвышения.

Следует отметить, что при определении угла возвышения, как проиллюстрировано на фиг. 3B, могут быть использованы фактические координаты положения вертикальных проекций 15, 25 положения источника и положения слушателя (как проиллюстрировано штриховыми и пунктирными кругами), тогда как нахождение пути, как проиллюстрировано на фиг. 3A, может относиться только к соответствующим вокселям (индексам вокселей), включающим эти положения.

Также следует отметить, что на фиг. 3B показана вертикальная проекция 5 положения виртуального источника на большем расстоянии от вертикальной проекции 25 положения слушателя, чем вертикальная проекция 15 положения источника, что может быть связано с тем фактом, что длина определенного пути 70 превышает длину прямой линии 60 видимости.

Таким образом, непреграждающий (т.е. не являющийся GO) воксель идентифицируют в горизонтальном положении идентифицированного ближайшего изменения 80 направления. Данный непреграждающий воксель может быть, например, непреграждающим вокселем, который ближе всего по вертикальной координате (например, высоте) к положению 20 слушателя, или непреграждающим вокселем, который ближе всего к прямой линии видимости, или непреграждающим вокселем, который является частью наибольшего смежного поднабора непреграждающих вокселей (например, который принадлежит самому большому отверстию в стене). Затем угол возвышения определяют на основании идентифицированного непреграждающего вокселя в горизонтальном положении идентифицированного ближайшего изменения 80 направления.

Важно отметить, что вышеуказанное определение азимутального угла и угла возвышения требует знания только последнего сегмента определенного пути между ближайшим изменением 80 направления и положением 20 слушателя. Знание каких-либо дополнительных сечений пути не требуется (и не имеет значения) для определения этих углов. Если таковые присутствуют, на эти дополнительные сечения ссылаются для определения радиуса (или расстояния) до положения виртуального источника.

Как отмечалось выше, если рассчитанная линия видимости пересекает воксель в вокселизированном представлении, который преграждает звук (например, воксель GO), но двумерная проекция линии видимости на горизонтальную плоскость не пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук, то способ переходит к этапу 234. На этапе 234 расстояние (т.е. радиус) и азимутальный угол (т.е. горизонтальный направленный компонент) между положением слушателя и положением виртуального источника определяют на основании двумерной проекции линии видимости на горизонтальную плоскость. Расстояние может быть определено таким же образом, как на этапе 226, однако заменяя определенный путь двумерной проекцией линии видимости. Азимутальный угол может быть определен на основании направления двумерной проекции линии видимости, если смотреть с положения слушателя. После этого способ переходит к этапу 228, на котором определяют угол возвышения. В это время угол возвышения определяют на основании рассчитанной линии видимости и вокселизированного представления. Это может быть выполнено следующим образом. Сначала идентифицируют преграждающий воксель (например, воксель GO) вокселизированного представления, который пересек линию видимости. Если существует более одного пересекающего преграждающего вокселя, то выбирают тот, который находится ближе всего к положению слушателя. Иными словами, это сводится к идентификации, начиная с положения слушателя, ближайшего вокселя (объемного элемента), который пересекается рассчитанной линией видимости и который преграждает звук. Затем для этого преграждающего вокселя определяют ближайший непреграждающий воксель в том же горизонтальном положении (например, выше или ниже преграждающего вокселя). Это может сводиться к определению в горизонтальном положении идентифицированного вокселя объемного элемента в вокселизированном представлении, в котором может распространяться звук. Наконец, угол возвышения определяют как угол возвышения между положением слушателя и определенным непреграждающим объемным элементом.

На этапе 230 сигнал виртуального источника (например, форму волны) для виртуального источника в определенном положении виртуального источника определяют на основании сигнала источника (например, формы волны) источника звука. Например, сигнал виртуального источника может быть исходной формой волны (т.е. сигналом источника) с наложенными изменениями (например, коэффициентами усиления, фильтрами и т.д.). Эти изменения могут быть выбраны из следующих вариантов:

- нет

- коэффициенты усиления/фильтры, на которые влияет локальная среда виртуального источника (например, поздняя реверберация)

- коэффициенты усиления/фильтры, на которые влияют все среды.

Иными словами, исходный сигнал источника может быть использован в качестве сигнала виртуального источника, или сигнал виртуального источника может быть сгенерирован путем применения коэффициентов усиления и/или фильтров к сигналу источника. Применение фильтров к сигналу источника может включать, например, применение реверберации, соответствующей области (исходного) положения источника, применение реверберации, соответствующей области положения виртуального источника, или в целом применение реверберации, соответствующей одной или нескольким областям вдоль определенного пути.

На этапе 232 формирование (например, формирование с 3DoF) применяют к виртуальному источнику в положении виртуального источника. В целом, можно сказать, что данный этап включает формирование сигнала виртуального источника из положения виртуального источника в положение слушателя. Кроме того, в этот момент могут быть выполнены любые традиционные этапы обработки для аудиоисточников, включая любые этапы последующей обработки.

На этапе 238, который выполняют, если рассчитанная линия видимости не пересекает воксель в вокселизированном представлении, который преграждает звук (например, воксель GO), или если в проекционной карте не найден путь, то дифракционное моделирование пропускают. Если между положением источника и положением слушателя существует прямая линия видимости, которая не преграждена никакими преграждающими вокселями (например, вокселями GO), дифракцию звука трехмерной аудиосценой не нужно принимать во внимание при попытке обеспечить реалистичное впечатление от прослушивания и реалистичное восприятие распространения звука в трехмерной аудиосцене. Если путь не найден, то звук из источника звука может быть вообще не сформирован.

Понятно, что последовательность операций процесса этапов 214–232 вместе с этапами 234, 236 и 238 способа 200 может быть выполнена для каждого из множества положений источника и/или положений слушателя (например, для каждой из множества пар положения источника и положения слушателя).

В способе 200, описанном выше, параметры, указывающие положение виртуального источника, относящееся к виртуальному источнику звука, могут быть не определены, если путь не найден (Нет на этапе 224). Затем способ 200 может полностью пропустить дифракционное моделирование и/или формирование звука для текущего положения слушателя и текущего положения источника. Способ 400, предусматривающий альтернативную обработку случая, когда путь не найден, будет описан ниже со ссылкой на фиг. 4.

Этапы 402, 404, 406, 408, 410, 412, 414, 416, 418, 420, 422 и 434 способа 400 могут быть выполнены таким же образом, как этапы 202, 204, 206, 208, 210, 212, 214, 216, 218, 220, 222 и 234 соответственно способа 200, описанного выше, и соответствующие утверждения, сделанные выше, могут также применяться здесь.

На этапе 424 проверяют, был ли найден путь на этапе 422. Если путь был найден (Да), то способ переходит к этапу 426. Если путь не был найден (Нет), то способ переходит к этапу 440.

Затем этапы 426, 428, 430 и 432 способа 400 могут быть выполнены таким же образом, как этапы 226, 228, 230 и 232 соответственно способа 200, описанного выше, и соответствующие утверждения, сделанные выше, могут также применяться здесь. Аналогично, этап 436 может быть выполнен таким же образом, как вышеописанный этап 236.

На этапе 440 проверяют, доступно ли время CPU. Данный этап может быть выполнен приложением для управления ресурсами в реальном времени (администратором ресурсов в реальном времени), например. Можно предположить, что для определения положения виртуального источника и выполнения фактического формирования доступен определенный цикл (период времени). Данный цикл или период времени может относиться к (например, может быть выводимым из) скорости актуализации или скорости обновления формирования. Затем в каждом цикле может быть проверено, доступно ли в этом цикле достаточное время (время CPU) для выполнения другого повторения вокселизации и последующих этапов. Это может быть основано на оценке времени, которое потребуется для такого повторения, например, на основе характеристик трехмерной аудиосцены и/или предыдущих количеств времени, необходимых при заданной детализации вокселизации. Если обнаружено, что время CPU недоступно (Нет), то способ переходит к этапу 438, который может быть выполнен таким же образом, как этап 238, описанный выше. Если обнаружено, что время CPU доступно (Да), то способ переходит к этапу 442.

На этапе 442 уточняют детализацию вокселизации. Это соответствует уменьшению размера (например, длины края) вокселей. Например, длина края вокселей может быть уменьшена вдвое в этот момент, так что каждый воксель разделяется на восемь меньших вокселей для следующего повторения. В целом, размер (например, длина края) может быть уменьшен в соответствии с предварительно определенным соотношением. После этого способ возвращается к этапу 408 для выполнения вокселизации трехмерной аудиосцены с уточненной детализацией. По аналогии с вышеуказанным этот этап может быть заменен получением вокселизированного представления трехмерной аудиосцены с уточненной детализацией. Например, такое уточненное вокселизированное представление может быть считано с запоминающего устройства, или оно может быть извлечено из битового потока (возможно, после запроса уточненного вокселизированного представления с применимой уточненной детализацией от аппарата источника, такого как кодер, например).

Остальные этапы затем выполняют, как описано выше. При этом понятно, что также может быть получена уточненная двумерная проекционная карта, например, путем считывания ее с запоминающего устройства или извлечения ее из битового потока (возможно, после запроса уточненной двумерной проекционной карты с применимой уточненной детализацией от аппарата источника, такого как кодер, например).

В частности, уточнение детализации вокселизации может быть повторено (возможно, множество раз) при условии, что определено, что на этапе 424 не найден путь, а на этапе 440 обнаружено, что доступно время CPU. Дополнительным критерием, который может быть применен на этом этапе, является проверка того, достигнута ли предварительно определенная минимальная детализация вокселизации. Если достигнута минимальная детализация, то способ может быть выполнен так, как если бы на этапе 440 было обнаружено, что время CPU недоступно.

В еще одном варианте реализации уточнение детализации вокселизированного представления может быть повторено (т.е. выполнено итеративно) при условии, что доступно время CPU, независимо от того, был ли найден путь. Это может быть реализовано путем изменения порядка этапов 440 и 424, т.е. сначала проверяют, доступно ли время CPU на этапе 440, и только после того, как обнаружено, что время CPU недоступно (Да), то проверяют, был ли найден путь на этапе 424. Понятно, что в этом случае, если на этапе 440 не обнаружено доступное время CPU (Нет), то способ перейдет к этапу 424. Затем на этапе 424, если путь не был найден (Нет), способ перейдет к этапу 438. Дополнительным критерием, который может быть применен на этапе 440, является проверка того, достигнута ли предварительно определенная минимальная детализация вокселизации.

В дополнение к уточнению детализации вокселизации на этапе 442, настоящий вариант реализации может изменять параметры (например, начальные и/или целевые положения) алгоритма нахождения пути на основании путей, которые были обнаружены ранее при более грубой детализации вокселизации.

Детализация вокселизации (например, размер или длина края вокселей) может быть сброшена до предварительного определенного (например, по умолчанию) значения в вышеуказанных вариантах реализации всякий раз, когда на этапе 404 обнаруживают обновление геометрии. В некоторых вариантах реализации это может быть единственным случаем, когда детализация вокселизации сбрасывается (или, как правило, огрубляется).

В то время как способ обработки аудиоконтента был описан выше, понятно, что настоящее изобретение также относится к устройству и аппаратам, приспособленным для выполнения описанного способа, (например, кодерам, декодерам, средствам формирования, устройствам воспроизведения и т.д.), к компьютерным программам, содержащим команды, подходящие для того, чтобы заставлять аппарат с возможностью обработки выполнять описанный способ, и к машиночитаемым носителям данных, хранящим такие компьютерные программы.

На фиг. 5 показан пример устройства 500, приспособленного для выполнения описанного способа. Устройство 500 содержит процессор 510 и запоминающее устройство 520, которое соединено с процессором 510 и которое хранит команды для процессора 510. Процессор 510 приспособлен для выполнения способа (способов), описанного (описанных) выше. Устройство 500 может принимать входные данные 530, содержащие, например, аудиоконтент (включая указатели сигнала источника и положения источника) и указатель трехмерной аудиосцены, и может генерировать выходные данные 540, содержащие, например, указатели сигнала виртуального источника и положения виртуального источника или сформированного аудиосигнала. Следует отметить, что предложенный способ может быть выполнен кодером или декодером, или может быть распределен между кодером и декодером. В первом случае кодер может генерировать представление сформированного (виртуального) звукового сигнала в качестве выходных данных. Во втором случае декодер может самостоятельно генерировать вокселизированное представление и двумерную проекционную карту, если позволяют его вычислительные возможности. В качестве альтернативы в третьем случае вокселизированное представление и двумерная проекционная карта могут быть сгенерированы кодером (возможно, с разной детализацией вокселизации) и могут быть предоставлены декодеру, например, как часть битового потока. Затем декодер получает вокселизированное представление и двумерную проекционную карту, например, путем извлечения их из битового потока и приступает к дальнейшим этапам способа (способов), описанного (описанных) выше. Также возможны смешанные случаи, в которых получают вокселизированное представление (например, со стороны кодера), а двумерную проекционную карту генерируют посредством декодера на основании полученного вокселизированного представления.

Интерпретация

Если конкретно не указано иное, как очевидно из следующих обсуждений, следует понимать, что во всех обсуждениях настоящего изобретения, в которых используются такие термины, как «обработка», «вычисление», «расчет», «определение», «анализ» или т.п., относятся к действию и/или процессам компьютера, или вычислительной системы, или аналогичных электронных вычислительных устройств, которые совершают манипуляции и/или преобразование данных, представленных в виде физических, например электронных, величин, в другие данные, аналогично представленные в виде физических величин.

Аналогичным образом, термин «процессор» может относиться к любому аппарату или части аппарата, которая обрабатывает электронные данные, например, из регистров и/или запоминающего устройства для преобразования этих электронных данных в другие электронные данные, которые, например, могут храниться в регистрах и/или запоминающем устройстве. «Компьютер», или «вычислительная машина», или «вычислительная платформа» может содержать один или несколько процессоров.

Один примерный вариант осуществления каждого из способов, описанных в настоящем документе, имеет форму машиночитаемого носителя данных, содержащего набор команд, например компьютерную программу, которая предназначена для исполнения на одном или нескольких процессорах, например одном или нескольких процессорах, которые составляют часть компоновки веб-сервера. Таким образом, как будет понятно специалистам в данной области техники, примерные варианты осуществления настоящего изобретения могут быть осуществлены как способ, устройство, такое как устройство специального назначения, устройство, такое как система обработки данных, или машиночитаемый носитель данных, например компьютерный программный продукт. Машиночитаемый носитель данных содержит машиночитаемый код, содержащий набор команд, которые при исполнении на одном или нескольких процессорах предписывает процессору или процессорам реализовать способ. Соответственно, аспекты настоящего изобретения могут принимать форму способа, полностью аппаратного примерного варианта осуществления, полностью программного примерного варианта осуществления или примерного варианта осуществления, сочетающего аспекты программного и аппаратного обеспечения. Кроме того, настоящее изобретение может принимать форму носителя данных (например, компьютерного программного продукта на машиночитаемом носителе данных), содержащего машиночитаемый программный код, реализованный на носителе.

Отсылка во всем настоящем описании к «одному примерному варианту осуществления», «некоторым примерным вариантам осуществления» или «примерному варианту осуществления» означает, что конкретные признак, конструкция или характеристика, описанные в связи с примерным вариантом осуществления, включены в по меньшей мере один примерный вариант осуществления настоящего изобретения. Таким образом, появления фраз «в одном примерном варианте осуществления», «в некоторых примерных вариантах осуществления» или «в примерном варианте осуществления» в различных местах по всему настоящему изобретению не обязательно относятся к одному и тому же примерному варианту осуществления. Кроме того, конкретные признаки, конструкции или характеристики могут комбинироваться в одном или нескольких примерных вариантах осуществления любым подходящим образом, что должно быть очевидно из настоящего изобретения для специалиста в данной области техники.

Следует понимать, что в приведенном выше описании примерных вариантов осуществления настоящего изобретения различные признаки настоящего изобретения иногда группируются вместе в один примерный вариант осуществления, фигуру или их описание с целью упрощения изобретения и содействия в понимании одного или нескольких различных аспектов изобретения. Такой способ раскрытия изобретения, однако, не следует интерпретировать как отражающий намерение того, что формула изобретения требует большего количества признаков, чем те, которые явно перечислены в каждом пункте формулы изобретения. Вместо этого, как отражает нижеследующая формула изобретения, аспекты настоящего изобретения заключаются менее чем во всех признаках одного вышеописанного примерного варианта осуществления. Таким образом, формула изобретения, следующая за разделом «описание», настоящим явно включена в этот раздел «описание», причем каждый пункт формулы изобретения самостоятельно представляет собой отдельный примерный вариант осуществления настоящего изобретения.

Кроме того, несмотря на то, что некоторые примерные варианты осуществления, описанные в настоящем документе, включают одни, а не другие признаки, включенные в другие примерные варианты осуществления, комбинации признаков из разных примерных вариантов осуществления подразумеваются как находящиеся в пределах объема настоящего изобретения и образующие разные примерные варианты осуществления, как должно быть понятно специалистам в данной области техники. Например, в нижеследующей формуле изобретения любые заявленные примерные варианты осуществления могут применяться в любой комбинации.

В то время как здесь описано то, что рассматривается как лучшие варианты осуществления настоящего изобретения, специалистам в данной области техники будет понятно, что в них могут вноситься другие и дополнительные модификации без отступления от сущности настоящего изобретения, и предполагается, что все такие изменения и модификации заявляются как входящие в объем настоящего изобретения. Например, любые приведенные выше формулы являются только примерами процедур, которые могут использоваться. Функциональные возможности могут добавляться в структурные схемы или удаляться из них, и операции могут взаимозаменяться между функциональными блоками. Этапы могут добавляться в способы, описанные в пределах объема настоящего изобретения, или удаляться из них.

Изобретение относится к способу обработки аудиоконтента для формирования звука в трехмерной аудиосцене, принимая во внимание эффекты дифракции, вызванные элементами трехмерной аудиосцены. В частности, настоящее изобретение относится к способу акустического дифракционного моделирования, основанного на нахождении пути по сетке. Настоящее изобретение дополнительно относится к соответствующим устройству и машиночитаемому носителю данных. Техническим результатом является создание способа и устройства обработки аудиоконтента для обеспечения реалистичного формирования звука в виртуальных трехмерных аудиосценах, включая преграждающие элементы. В заявленном способе обработки аудиоконтента для формирования в трехмерной аудиосцене аудиоконтент содержит источник звука в положении источника. Способ включает получение вокселизированного представления трехмерной аудиосцены, при этом вокселизированное представление указывает объемные элементы, в которых может распространяться звук, и объемные элементы, которые преграждают звук, генерирование двумерной проекционной карты для аудиосцены на основании вокселизированного представления путем применения операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость, к вокселизированному представлению, и определение параметров, указывающих положение виртуального источника на основании положения источника, положения слушателя и проекционной карты для имитационного моделирования путем формирования сигнала виртуального источника из положения виртуального источника воздействия в виде акустической дифракции трехмерной аудиосценой на сигнал источника, относящийся к источнику звука, в положении источника. 3 н. и 15 з.п. ф-лы, 7 ил.

1. Способ обработки аудиоконтента для формирования в трехмерной аудиосцене, при этом аудиоконтент содержит источник звука в положении источника, причем способ включает:

получение вокселизированного представления трехмерной аудиосцены, при этом вокселизированное представление указывает объемные элементы, в которых может распространяться звук, и объемные элементы, которые преграждают звук;

получение двумерной проекционной карты для аудиосцены, при этом двумерную проекционную карту связывают с вокселизированным представлением посредством операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость; и

определение параметров, указывающих положение виртуального источника, относящееся к виртуальному источнику звука, на основании положения источника, положения слушателя и проекционной карты для имитационного моделирования путем формирования сигнала виртуального источника из положения виртуального источника воздействия в виде акустической дифракции трехмерной аудиосценой на сигнал источника, относящийся к источнику звука, в положении источника.

2. Способ по п. 1, отличающийся тем, что получение двумерной проекционной карты включает применение операции проецирования к вокселизированному представлению.

3. Способ по п. 1 или 2, отличающийся тем, что проекционная карта содержит сетку, где каждый элемент сетки представляет горизонтальное положение в аудиосцене и указывает, является ли по меньшей мере один объемный элемент в этом горизонтальном положении в вокселизированном представлении объемным элементом, в котором может распространяться звук.

4. Способ по п. 3, отличающийся тем, что определение параметров, указывающих положение виртуального источника, включает:

применение алгоритма нахождения пути к проекционной карте для определения пути в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук.

5. Способ по п. 3, отличающийся тем, что определение параметров, указывающих положение виртуального источника, включает:

расчет линии видимости между положением источника и положением слушателя в трехмерной аудиосцене;

если рассчитанная линия видимости пересекает объемный элемент в вокселизированном представлении, который преграждает звук, и если двумерная проекция линии видимости на горизонтальную плоскость пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук:

применение алгоритма нахождения пути для определения пути в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в вокселизированном представлении является объемным элементом, в котором может распространяться звук; и

определение параметров, указывающих положение виртуального источника, на основании определенного пути.

6. Способ по п. 4 или 5, отличающийся тем, что, если алгоритм нахождения пути не идентифицировал путь в проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя, дополнительно включает:

получение уточненного вокселизированного представления и уточненной двумерной проекционной карты; и

применение алгоритма нахождения пути для определения пути в уточненной проекционной карте между двумерной проекцией положения источника и двумерной проекцией положения слушателя вдоль элементов сетки, указывающих, что по меньшей мере один объемный элемент в соответствующем горизонтальном положении в уточненном вокселизированном представлении является объемным элементом, в котором может распространяться звук,

при этом уточненную двумерную проекционную карту связывают с уточненным вокселизированным представлением посредством операции проецирования, с помощью которой осуществляется проецирование на горизонтальную плоскость; и

при этом объемные элементы уточненного вокселизированного представления имеют меньшую длину края, чем объемные элементы вокселизированного представления.

7. Способ по любому из пп. 4-6, отличающийся тем, что определение параметров, указывающих положение виртуального источника, включает:

определение расстояния и азимутального угла между положением слушателя и положением виртуального источника на основании определенного пути.

8. Способ по п. 7, отличающийся тем, что расстояние определяют на основании длины пути определенного пути; и/или

при этом определение азимутального угла включает:

идентификацию, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути; и

определение азимутального угла как азимутального угла между двумерной проекцией положения слушателя и идентифицированным ближайшим изменением направления.

9. Способ по любому из пп. 4-8, отличающийся тем, что определение параметров, указывающих положение виртуального источника, включает:

определение угла возвышения между положением слушателя и положением виртуального источника на основании определенного пути и вокселизированного представления.

10. Способ по п. 9, отличающийся тем, что определение угла возвышения включает:

идентификацию, начиная с двумерной проекции положения слушателя, ближайшего изменения направления на определенном пути;

определение в горизонтальном положении идентифицированного изменения направления объемного элемента, в котором звук может распространяться в вокселизированном представлении; и

определение угла возвышения как угла возвышения между положением слушателя и определенным объемным элементом.

11. Способ по п. 3, отличающийся тем, что определение параметров, указывающих положение виртуального источника, включает:

расчет линии видимости между положением источника и положением слушателя в трехмерной аудиосцене;

если рассчитанная линия видимости пересекает объемный элемент в вокселизированном представлении, который преграждает звук, и если двумерная проекция линии видимости на горизонтальную плоскость не пересекает элемент сетки в проекционной карте, указывающий, что ни один из объемных элементов в этом горизонтальном положении в вокселизированном представлении не является объемным элементом, в котором может распространяться звук:

определение расстояния и азимутального угла между положением слушателя и положением виртуального источника на основании двумерной проекции линии видимости на горизонтальную плоскость.

12. Способ по п. 11, отличающийся тем, что определение параметров, указывающих положение виртуального источника, дополнительно включает:

определение угла возвышения между положением слушателя и положением виртуального источника на основании линии видимости и вокселизированного представления; и

при этом определение угла возвышения включает:

идентификацию, начиная с положения слушателя, ближайшего объемного элемента, который пересекается рассчитанной линией видимости и который преграждает звук;

определение объемного элемента, в котором звук может распространяться в вокселизированном представлении, в горизонтальном положении идентифицированного объемного элемента; и

определение угла возвышения как угла возвышения между положением слушателя и определенным объемным элементом.

13. Способ по любому из предыдущих пунктов, отличающийся тем, что получение вокселизированного представления трехмерной аудиосцены включает:

прием сетчатого представления трехмерной аудиосцены; и

применение алгоритма вокселизации к сетчатому представлению трехмерной аудиосцены для генерирования вокселизированного представления; и

при этом получение вокселизированного представления трехмерной аудиосцены дополнительно включает:

удаление из сгенерированного вокселизированного представления любых вокселей, которые соответствуют локальным окклюдерам, при этом локальные окклюдеры представляют объекты в трехмерной аудиосцене, которые не будут оказывать влияния на крупномасштабную направленность распространения звука.

14. Способ по любому из предыдущих пунктов, отличающийся тем, что дополнительно включает:

определение сигнала виртуального источника из сигнала источника, относящегося к источнику звука; и

формирование сигнала виртуального источника из положения виртуального источника в положение слушателя; и

при этом определение сигнала виртуального источника включает одно из:

использования сигнала источника в качестве сигнала виртуального источника; или

применения фильтра к сигналу источника для генерирования сигнала виртуального источника.

15. Способ по любому из предыдущих пунктов, отличающийся тем, что объемные элементы вокселизированного представления указывают коэффициенты преграждения со значениями между первым значением, указывающим свободное распространение звука, и вторым значением, указывающим полное преграждение; и

генерирование двумерной проекционной карты включает операцию усечения, так что элементы сетки проекционной карты указывают либо свободное распространение звука, либо полное преграждение.

16. Способ по любому из предыдущих пунктов, отличающийся тем, что получение вокселизированного представления с последующим получением проекционной карты выполняют всякий раз, когда происходит обновление трехмерной аудиосцены; и/или

при этом определение параметров, указывающих положение виртуального источника, выполняют всякий раз, когда происходит обновление положения источника или положения слушателя.

17. Устройство обработки аудиоконтента для формирования звука в трехмерной аудиосцене, содержащее процессор, соединенный с запоминающим устройством, в котором хранятся команды для процессора, при этом процессор приспособлен для обеспечения выполнения устройством способа по любому из предыдущих пунктов.

18. Машиночитаемый носитель данных, на котором хранится компьютерная программа, содержащая команды для обеспечения выполнения процессором, который исполняет команды, способа по любому из пп. 1-16.