УСТРОЙСТВО И СПОСОБ РЕНДЕРИНГА АУДИОСЦЕНЫ С ИСПОЛЬЗОВАНИЕМ ДОПУСТИМЫХ ПРОМЕЖУТОЧНЫХ ДИФРАКЦИОННЫХ ТРАКТОВ Российский патент 2023 года по МПК H04S7/00 H04R1/34 

Настоящее изобретение относится к обработке аудиосигналов, и в частности относится к обработке аудиосигналов в контексте геометрической акустики, которая может использоваться, например, в вариантах применения в стиле виртуальной реальности или дополненной реальности.

Термин «виртуальная акустика» зачастую применяется, когда звуковой сигнал обрабатывается таким образом, что он содержит признаки моделированного акустического пространства, и звук пространственно воспроизводится с помощью бинауральных или многоканальных технологий. Следовательно, виртуальная акустика состоит из воспроизведения пространственного звука и моделирования акустики помещений [1].

С точки зрения технологий моделирования помещений, наиболее точные способы моделирования распространения заключаются в решении теоретического волнового уравнения с соблюдением набора граничных условий. Тем не менее, большинство подходов на основе численных решателей ограничено предварительным вычислением релевантных акустических признаков, к примеру, параметрических моделей для аппроксимации импульсных откликов вследствие вычислительной сложности: это становится действительно непросто, если повышается интересующая частота и/или размер пространства (объема/поверхности) сцены и присутствует даже динамически перемещающийся объект. Учитывая тот факт, что недавние виртуальные сцены становятся более крупными и более сложными, для обеспечения очень детализированного и чувствительного взаимодействия между игроком и объектом либо между игроками внутри сцены, современные численные подходы не являются адекватными для обработки интерактивных, динамических и крупномасштабных виртуальных сцен. Множество алгоритмов демонстрируют свои возможности рендеринга посредством предварительного вычисления релевантных акустических признаков за счет использования параметрического направленного кодирования для предварительно вычисленного распространения звука [2, 3] и эффективного решателя во временной области на основе GPU для акустического волнового уравнения [4]. Тем не менее, эти подходы требуют высококачественные системные ресурсы, такие как видеокарта, многоядерная вычислительная система.

Технология на основе геометрической акустики (GA) представляет собой надежный применимый на практике подход для интерактивных окружений распространения звука. Повсеместно используемые технологии GA включают в себя способ на основе источников изображений (ISM) и способ на основе трассировки лучей (RTM) [5, 6], и модифицированные подходы с использованием трассировки пучка и трассировки усеченных частей разработаны для интерактивных окружений [7, 8]. Для дифракционного звукового моделирования, в работе автора Kouryoumjian [9] предлагается однородная теория дифракции (UTD), а в работе автора Svensson [10] предлагается модель Био-Толстого-Медвина (BTM) для лучшей аппроксимации дифрагированного звука в численном смысле. Тем не менее, современные интерактивные алгоритмы ограничены статическими сценами [11] или дифракцией первого порядка в динамических сценах [12].

Возможны гибридные подходы посредством объединения этих двух категорий: численные способы для нижних частот и способы GA для верхних частот [13].

В частности, в комплексных звуковых сценах с несколькими дифрагирующими объектами, требования по обработке для моделирования дифракции звука вокруг краев становятся высокими. Следовательно, для адекватного моделирования дифракционных эффектов звука в аудиосценах с множеством дифрагирующих объектов требуются очень мощные вычислительные ресурсы.

Задача настоящего изобретения состоит в создании усовершенствованного принципа рендеринга аудиосцены.

Данная задача решается устройством для рендеринга аудиосцены по пункту 1 формулы или способом рендеринга аудиосцены по пункту 19 формулы, или компьютерной программой по пункту 20 формулы.

Настоящее изобретение основано на понимании того, что обработка дифракции звука может значительно улучшаться посредством использования промежуточных дифракционных трактов между начальным или входным краем и конечным или выходным краем звуковой сцены, которые уже имеют ассоциированную информацию фильтра. Эта ассоциированная информация фильтра уже покрывает целый тракт между начальным краем и конечным краем независимо от того, имеется ли одна или более дифракций между начальным краем и конечным краем. Процедура базируется на том факте, что путь между начальным краем и конечным краем, т.е. маршрут, по которому звуковые волны должны проходить вследствие дифракционного эффекта, не зависит от обычно переменного положения слушателя и также не зависит от положения аудиоисточника. Даже если аудиоисточник также имеет переменное положение, только переменное положение источника или переменное положение слушателя время от времени изменяется, но любой промежуточный дифракционный тракт между начальным краем и конечным краем дифрагирующих объектов не зависит ни от чего, кроме геометрии. Этот дифракционный тракт является постоянным, поскольку он определяется только дифрагирующими объектами, предусмотренными геометрией аудиосцены. Такие тракты только являются переменными во времени, когда один из множества дифрагирующих объектов изменяет свою форму, и что подразумевает то, что такие тракты не должны изменяться для геометрии перемещаемых твердых тел. Помимо этого, множество объектов в аудиосцене являются статическими, т.е. не являются перемещаемыми. Обеспечение полной информации фильтра для всего промежуточного дифракционного тракта повышает эффективность обработки, в частности, во время выполнения. Даже если информация фильтра для промежуточного дифракционного тракта, который в итоге не используется, поскольку он не прошел проверку допустимости, также должна вычисляться, это вычисление может выполняться на этапе инициализации/кодирования и не должно выполняться во время выполнения. Другими словами, любая обработка во время выполнения относительно информации фильтра или относительно промежуточных дифракционных трактов должна осуществляться только для типично редко возникающих динамических объектов, но для нормально возникающих статических объектов, информация фильтра, ассоциированная с определенным промежуточным дифракционным трактом, всегда остается одинаковой независимо от любого перемещающегося аудиоисточника любого перемещающегося слушателя.

Устройство для рендеринга аудиосцены, содержащей аудиоисточник в положении аудиоисточника и множество дифрагирующих объектов, содержит модуль обеспечения дифракционных трактов для обеспечения множества промежуточных дифракционных трактов через множество дифрагирующих объектов, причем промежуточный дифракционный тракт имеет начальную точку или начальный край и выходной край или конечный край множества дифрагирующих объектов и ассоциированную информацию фильтра для промежуточного дифракционного тракта, описывающую общее распространение звука вследствие дифракции из начальной точки или начального края до выходного края или выходной или конечной точки. Обычно множество промежуточных дифракционных трактов обеспечивается препроцессором на этапе инициализации или на этапе предварительного вычисления, возникающем перед фактической обработкой во время выполнения, например, в окружении в стиле виртуальной реальности. Модуль обеспечения дифракционных трактов не должен вычислять всю эту информацию во время выполнения, но, например, может обеспечивать эту информацию в качестве списка промежуточных дифракционных трактов, по которым модуль рендеринга может осуществлять доступ в ходе обработки во время выполнения.

Модуль рендеринга выполнен с возможностью рендеринга аудиоисточника в положении слушателя, причем модуль рендеринга выполнен с возможностью определения, на основе выходных краев промежуточных дифракционных трактов и положения слушателя, одного или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. Модуль рендеринга выполнен с возможностью определения, для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представления фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующую допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта или из конечного края в положение слушателя. Выходные аудиосигналы для аудиосцены могут вычисляться с использованием аудиосигнала, ассоциированного с аудиоисточником, и полного представления фильтра для каждого полного дифракционного тракта.

В зависимости от варианта применения, положение аудиоисточника является фиксированным, и затем модуль обеспечения дифракционных трактов определяет каждый допустимый промежуточный дифракционный тракт таким образом, что начальная точка каждого допустимого промежуточного дифракционного тракта соответствует фиксированному положению аудиоисточника. В качестве альтернативы, когда положение аудиоисточника является переменным, то модуль обеспечения дифракционных трактов определяет, в качестве начальной точки промежуточного дифракционного тракта, входной или начальной край множества дифрагирующих объектов. Модуль рендеринга выполнен с возможностью определения, дополнительно на основе входного края одного или более промежуточных дифракционных трактов и положения аудиоисточника для аудиоисточника, одного или более допустимых промежуточных дифракционных трактов, т.е. определять тракты, которые могут относиться к конкретному положению аудиоисточника, для определения конечного представления фильтра для полного дифракционного тракта дополнительно на основе дополнительной информации фильтра из источника во входной край, так что в этом случае полное представление фильтра определяется посредством трех фрагментов. Первый фрагмент представляет собой информацию фильтра для распространения звука из положения источника звука во входной край. Второй фрагмент представляет собой ассоциированную информацию, принадлежащую допустимому промежуточному дифракционному тракту, и третий фрагмент представляет собой распространение звука из выходного или конечного края в фактическое положение слушателя.

Настоящее изобретение имеет преимущества, поскольку оно обеспечивает эффективный способ и систему моделирования дифрагированных звуков в комплексных сценах в стиле виртуальной реальности. Настоящее изобретение является преимущественным, поскольку оно обеспечивает возможность моделирования распространения звука через статический и динамический геометрический объект. В частности, настоящее изобретение является преимущественным в том, что оно обеспечивает способ и систему для вычисления и сохранения информации дифракционного тракта на основе набора априорных известных геометрических примитивов. В частности, дифракционный звуковой тракт включает в себя набор атрибутов, к примеру, группу геометрических примитивов для потенциальных дифракционных краев, дифракционных углов и промежуточных дифракционных краев и т.д.

Настоящее изобретение является преимущественным, поскольку оно обеспечивает возможность анализа геометрической информации данных примитивов и извлечения полезной базы данных через препроцессор, чтобы повышать скорость рендеринга звуков в реальном времени. В частности, процедуры, раскрытые, например, в заявке US 2015/0378019 A1, либо другие процедуры, описанные ниже, позволяют предварительно вычислять граф видимости между краями, структура которых минимизирует число дифракционных краев, которые должны рассматриваться во время выполнения. Видимость между двумя краями не обязательно означает то, что точный тракт из источника до слушателя указывается, поскольку, на стадии предварительного вычисления, местоположения источника и слушателя типично неизвестны. Вместо этого, граф видимости между всеми возможными парами краев представляет собой карту для осуществления навигации из набора видимых краев из источника в набор видимых краев от слушателя.

Ниже предпочтительные варианты осуществления настоящего изобретения поясняются с обращением к сопровождающим чертежам, на которых:

Фиг. 1 является видом сверху примерной сцены с четырьмя статическими объектами;

Фиг. 2a является видом сверху примерной сцены с четырьмя статическими объектами и одним динамическим объектом;

Фиг. 2b является списком для описания дифракционных трактов без и с динамическим объектом (DO);

Фиг. 3 является видом сверху примерной сцены с шестью статическими объектами;

Фиг. 4 является видом сверху примерной сцены с шестью статическими объектами для иллюстрации способа вычисления дифракционного тракта высшего порядка из первого или входного края;

Фиг. 5 иллюстрирует блок-схему алгоритма предварительного вычисления промежуточных дифракционных трактов (включающих в себя тракты высшего порядка) и рендеринга дифрагированного звука в реальном времени;

Фиг. 6 иллюстрирует блок-схему алгоритма в соответствии с предпочтительным третьим вариантом осуществления для предварительного вычисления промежуточных дифракционных трактов (включающих в себя тракты высшего порядка) и рендеринга дифрагированного звука с учетом динамических объектов в реальном времени:

Фиг. 7 иллюстрирует устройство для рендеринга звуковой сцены в соответствии с предпочтительным вариантом осуществления;

Фиг. 8 иллюстрирует примерный список трактов с двумя промежуточными дифракционными трактами, проиллюстрированными на фиг. 4 и фиг. 3;

Фиг. 9 иллюстрирует процедуру для вычисления представления фильтра для полного дифракционного тракта;

Фиг. 10 иллюстрирует предпочтительную реализацию для извлечения информации фильтра, ассоциированной с допустимым промежуточным дифракционным трактом;

Фиг. 11 иллюстрирует процедуру для проверки допустимости одного или более потенциально допустимых промежуточных дифракционных трактов для получения допустимых промежуточных дифракционных трактов; и

Фиг. 12 иллюстрирует вращение, выполняемое в невращаемое или исходное положение источника для повышения качества звучания рендерированной аудиосцены.

Фиг. 7 иллюстрирует устройство для рендеринга аудиосцены, содержащей аудиоисточник с сигналом аудиоисточника в положении аудиоисточника и множество дифрагирующих объектов. Модуль 100 обеспечения дифракционных трактов содержит, например, устройство хранения данных, заполненное посредством препроцессора, выполняющего вычисление промежуточных дифракционных трактов на этапе инициализации, т.е. перед операцией обработки во время выполнения, выполняемой посредством модуля 200 рендеринга. В зависимости от информации списка промежуточных дифракционных трактов, полученной посредством модуля 100 обеспечения дифракционных трактов, модуль рендеринга выполнен с возможностью вычисления выходных аудиосигналов в требуемом выходном формате, таком как бинауральный формат, стереоформат, формат 5.1 или любой другой выходной формат в динамики наушника либо в громкоговорители, либо только для хранения или передачи. С этой целью, модуль 200 рендеринга принимает не только список промежуточных дифракционных трактов, но также и принимает, с одной стороны, положение слушателя и, с другой стороны, сигнал аудиоисточника и положение аудиоисточника.

В частности, модуль 200 рендеринга выполнен с возможностью рендеринга аудиоисточника в положении слушателя таким образом, что вычисляется звуковой сигнал, который достигает положения слушателя. Этот звуковой сигнал существует вследствие аудиоисточника, размещаемого в положении аудиоисточника. С этой целью, рендеринг выполнен с возможностью определения, на основе выходных краев промежуточных дифракционных трактов и фактического положения слушателя, одного или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. Модуль рендеринга также выполнен с возможностью определения, для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представления фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующее допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя.

Модуль рендеринга вычисляет выходные аудиосигналы для аудиосцены с использованием аудиосигнала, ассоциированного с аудиоисточником, и с использованием представления фильтра для каждого полного дифракционного тракта. В зависимости от реализации, модуль рендеринга также может быть выполнен с возможностью дополнительного вычисления отражений первого порядка, второго порядка или высшего порядка в дополнение к дифракционному вычислению, и кроме того, модуль рендеринга также может быть выполнен с возможностью вычисления вклада одного или более дополнительных аудиоисточников, если они присутствуют в звуковой сцене, а также вклада прямого распространения звука из источника, который имеет прямой тракт распространения звука, который не загорожен дифрагирующими объектами.

Ниже более подробно описаны предпочтительные варианты осуществления настоящего изобретения. В частности, любые дифракционные тракты первого порядка могут, при необходимости, фактически вычисляться в реальном времени, но это является еще более проблематичным в случае комплексных сцен с несколькими дифрагирующими объектами.

В частности, для дифракционных трактов высшего порядка, вычисление таких дифракционных трактов в реальном времени является проблематичным вследствие существенного количества избыточной информации в картах видимости, к примеру, проиллюстрированных в источнике US 2015/0378019 A1. Например, в сцене, такой как сцена на фиг. 1, когда источник расположен в правой стороне первого края, а слушатель находится в левой стороне пятого края, можно предполагать, что дифрагированный звук проходит из источника до слушателя через первый и пятый края. Тем не менее, способ компоновать дифракционный тракт край за краем в реальном времени на основе графа видимости становится вычислительно сложным, в частности, когда среднее число видимых краев увеличивается, и порядок дифракции становится выше. Помимо этого, проверки видимости из края к краю при выполнении не выполняются, что ограничивает дифракционные эффекты между динамическими объектами и между одним статическим и одним динамическим объектом. Можно осуществлять обработку только дифракционного эффекта для статического объекта или одного динамического объекта. Единственный способ объединения дифракционных эффектов посредством динамического объекта(ов) с эффектом, ассоциированным со статическими объектами, состоит в обновлении всех графов видимости с перемещёнными примитивами динамических объектов. Тем не менее, это практически невозможно во время выполнения.

Способ согласно изобретению направлен на уменьшение требуемых вычислений во время выполнения для указания возможных дифракционных трактов (первого/высшего порядка) через края статических и динамических объектов из источника до слушателя. В результате выполняется рендеринг набора из множества дифрагированных звуков/аудиопотоков с надлежащими задержками. Варианты осуществления предпочтительных концепций применяются с использованием модели UTD к множеству видимых и надлежащим образом ориентированных краёв с новой проектной системной иерархией. В результате варианты осуществления могут выполнять рендеринг дифракционных эффектов высшего порядка посредством статической геометрии, посредством динамического объекта, посредством сочетания статической геометрии и динамического объекта либо также посредством сочетания множества динамических объектов. Дополнительная подробная информация относительно предпочтительной концепции представляется в следующем подразделе.

Основная идея, которая инициирует этот вариант осуществления, начинается с вопроса: «Следует ли продолжать вычисление промежуточных дифракционных трактов?» Например, как показано на фиг. 3, из источника до слушателя, можно сказать, что имеется три возможных дифракционных тракта: (источник - (1) - (5) - (слушатель), (источник - (9) - (13) - (слушатель) и (источник - (1) - (7) - (11) - (слушатель). Для упрощения пояснения, последний тракт через три промежуточных края, включающих в себя (1), (7) и (11), представляет собой хороший пример. В интерактивном окружении, источник может перемещаться, и слушатель также может перемещаться. Тем не менее, в любых ситуациях, промежуточные тракты, включающие в себя (1 - (7), (7 - (11) и (11 - (13), не изменяются, если только не имеется динамический объект, загораживающий эти промежуточные тракты. (Следует отметить, что способ обработки/объединения дифракционных эффектов посредством динамических объектов представлен в конце этого раздела). Следовательно, когда можно предварительно вычислять промежуточные тракты от первого порядка до разрешенного высшего порядка посредством краев, смежных многоугольников (например, треугольной ячеистой сетки) и дифракционных углов в промежуточных трактах, то это должно минимизировать требуемые вычисления во время выполнения.

Например, фиг. 4 показывает примерную сцену с шестью статическими объектами, чтобы демонстрировать то, каким образом вычисляется дифракционный тракт высшего порядка из края. В этом случае, она начинается с первого края, и край может содержать определенную коррелированную информацию, как указано ниже:

struct DiffractionEdge {

const EAR::Geomtery*parentGeometry;

int meshID;

int edgeID;

std::pair<EAR::Vector3, EAR::Vector3>vtxCoords;

std::pair<EAR::Mesh::Triangle*, EAR::Mesh::Triangle*>adjTris;

float internalAngle;

std::vector<DiffractionEdge*>visibleEdgeList;

};

Например, parentGeometry или meshID указывает геометрию, которой принадлежит выбранный край. Помимо этого, край может физически задаваться в качестве линии двух вершин (посредством их координат или идентификаторов вершин), и смежные треугольники должны быть полезными для вычисления углов из края, источника или слушателя. internalAngle представляет собой угол между двумя смежными треугольниками, который указывает максимальный возможный дифракционный угол вокруг этого края. Кроме того, он также представляет собой индикатор, который позволяет решить, должен ли этот край представлять собой потенциальный дифракционный край.

Из выбранного края (в этом случае, первого края, как показано на фиг. 4), можно предполагать две возможных дифракционных ориентации из одного из треугольной ячеистой сетки в открытое пространство и из другого. Эти ориентации визуализируются посредством нормальных векторов смежных треугольников, показанных как красные и синие стрелки. Например, вдоль нормали к поверхности красного цвета (в направлении против часовой стрелки), край номер 2, номер 4, номер 5 и номер 7 должны представлять собой следующие края для дифракции посредством проверки, имеется ли крайнее пространство (т.е. темная зона) для волны, которая должна дифрагировать. Например, звуковая волна не может дифрагировать из края номер 1 в край номер 6, поскольку на краю номер 6, обе стороны края номер 6 являются видимыми из края номер 1, что означает то, что не существует темных зон на краю номер 6 относительно звуковой волны, исходящей из края номер 1. Кроме того, в качестве следующего этапа, можно находить следующий возможный дифракционный край из края номер 7, номер 10 и номер 11. Например, если осуществляется навигация в край номер 11, то можно вычислять промежуточный угол из края номер 1, номер 7, в номер 11. Этот промежуточный угол задается как угол между входящими и исходящими волнами, и в этом случае, входящая волна в край номер 7 представляет собой вектор из края номер 1 в номер 7, и исходящая волна исходит из номер 7 в номер 11. Кроме того, можно выражать его в качестве _1-7-11. Тем не менее, в начале или в конце тракта, такой промежуточный угол не существует. Вместо этого, можно назначать максимально допустимый угол для источника (MAAS) и минимально допустимый угол для слушателя (MAAL). Это означает то, что если угол источника относительно ассоциированной нормали к поверхности (в этом случае красной на краю номер 1) больше MAAS, то источник видит второй край (например, номер 7). В той же концепции, если слушатель имеет меньший угол, чем данный MAAL, то слушатель видит край перед последним краем в тракте. В реальном времени, на основе значений MAAL и MAAS можно вычислять угол источника и слушателя относительно ассоциированной нормали к поверхности, и затем можно проверять допустимость этого тракта. Следовательно, предварительно вычисленный тракт 400 четвертого порядка в сцене по фиг. 4 может задаваться как вектор краев, треугольников и углов, как показано на фиг. 8, верхняя часть.

Общая процедура предпочтительного предварительного вычисления промежуточных трактов и связанные алгоритмы рендеринга в реальном времени приводятся на фиг. 5. После того как все возможные дифракционные тракты в сцене предварительно вычисляются, далее следует только находить список видимых краев из местоположения источника в качестве начальной точки для дифракции и список из местоположения слушателя в качестве конечной точки только в том случае, если прямой тракт между источником и слушателем загораживается. Затем следует вычислять угол источника относительно ассоциированного треугольника (например, 1-R в таблице 1) и угол слушателя относительно треугольника (например, 12-B в таблице 1). Если угол источника меньше MAAS, и угол слушателя больше MAAL, то он должен представлять собой допустимый тракт, вдоль которого должен распространяться сигнал источника звука. После этого, можно обновлять местоположение источника и дифракционные фильтры с использованием информации краевых вершин и ассоциированных углов. Модуль бинаурального рендеринга синтезирует информацию дифрагированных источников (вращаемых и фильтрованных) с надлежащими направленными фильтрами, такими как передаточные функции восприятия звука человеком (HRTF). Можно добавлять дополнительные признаки в дифракционную инфраструктуру, такие как эффекты направленности или расстояния.

Фиг. 1 иллюстрирует аудиосцену с четырьмя дифрагирующими объектами, в которой предусмотрен дифракционный тракт первого порядка между краем 1 и краем 5. Фиг. 2b, верхняя часть, иллюстрирует дифракционный тракт первого порядка из края 1 в край 5, с таким критерием угла, что угол источника относительно начального или входного края 1 должен быть меньше максимально допустимого угла для источника. Это имеет место на фиг. 1. Это справедливо для минимально допустимого угла для слушателя (MAAL). В частности, угол положения слушателя относительно выходного или конечного края, вычисленный из края между вершиной 5 и вершиной 6 на фиг. 1, больше минимально допустимого угла для слушателя (MAAL). Для текущего положения источника на фиг. 1 и текущего положения слушателя на фиг. 1 дифракционный тракт, как проиллюстрировано в верхней части по фиг. 2b, является активным, и дифракционная характеристика между краем 1 и краем 5, представляющая собой ассоциированную информацию фильтра, может предварительно сохраняться относительно дифракционного тракта без динамического объекта либо может просто вычисляться с использованием списка краев по фиг. 2b.

Фиг. 4 иллюстрирует промежуточный дифракционный тракт 400, проходящий из входного или начального края в выходной или конечный край 12. Фиг. 3 иллюстрирует другой промежуточный дифракционный тракт 300, проходящий из начального края 1 в конечный край 13. Аудиосцена на фиг. 3 и фиг. 4 имеет дополнительные дифракционные тракты из источника в край 9, затем в край 13 и затем до слушателя либо из источника в край 1 и из него в край 5 и из этого края до слушателя. Тем не менее, тракт 300 на фиг. 3 определяется в качестве допустимого промежуточного дифракционного тракта только для положения слушателя, указанного на фиг. 3, которое удовлетворяет минимально допустимому углу для слушателя, т.е. критерию MAAL угла. Тем не менее, положение слушателя, проиллюстрированное на фиг. 4, не должно удовлетворять этому критерию MAAL для тракта 300.

С другой стороны, положение слушателя на фиг. 3 не должно удовлетворять критерию MAAL тракта 400, проиллюстрированного на фиг. 4. Следовательно, модуль 100 обеспечения дифракционных трактов или препроцессор должен перенаправлять множество промежуточных дифракционных трактов, проиллюстрированных на фиг. 8, которые содержат промежуточный дифракционный тракт 400, проиллюстрированный на фиг. 4, в качестве первой записи списка и обеспечивать другой промежуточный дифракционный тракт 300, проиллюстрированный на фиг. 3. Этот список промежуточных дифракционных трактов должен передаваться в модуль рендеринга, и модуль рендеринга определяет один или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. В случае положения слушателя, проиллюстрированного на фиг. 3, только тракт 300 списка на фиг. 8 должен определяться в качестве допустимого промежуточного дифракционного тракта, тогда как для положения слушателя, проиллюстрированного на фиг. 4, только тракт 400 должен определяться в качестве допустимого промежуточного дифракционного тракта.

Что касается сценария на фиг. 3 или на фиг. 4, любой промежуточный дифракционный тракт, имеющий конечные края или выходные края 15, 10, 7 или 2, не должен определяться в качестве допустимого промежуточного дифракционного тракта, поскольку эти края вообще не являются видимыми от слушателя. Модуль 200 рендеринга на фиг. 7 должен выбирать, из всех промежуточных дифракционных трактов, которые являются теоретически возможными через аудиосцену на фиг. 4, только тракты, которые имеют конечный край или выходной край, видимый для слушателя, т.е. край 4, 5, 12, 13 в этом примере. Это должно соответствовать edgelist(lis).

Аналогичным образом, относительно положения источника, любые предварительно вычисленные промежуточные дифракционные тракты, предусмотренные в списке промежуточных дифракционных трактов, исходящих из модуля 100 обеспечения дифракционных трактов по фиг. 7, которые имеют, в качестве начального края, например, край 3, 6, 11 или 14, вообще не должны выбираться. Только дифракционные тракты, которые имеют начальные края 1, 8, 9, 16, должны выбираться для конкретной проверки допустимости с использованием критерия угла MAAS. Эти края должны находиться в edgelist(src).

В общих словах, определение фактического допустимого промежуточного дифракционного тракта, из которого в итоге определяется представление фильтра для распространения звука из источника до слушателя, выбирается в трехстадийной процедуре. На первой стадии выбираются только предварительно сохраненные дифракционные тракты, имеющие начальные края, которые совпадают с положением источника. На второй стадии выбираются только такие промежуточные дифракционные тракты, которые имеют выходные края, совпадающие с положением слушателя, и на третьей стадии каждый из этих выбранных трактов проходит проверку допустимости с использованием критерия угла для источника, с одной стороны, и слушателя, с другой стороны. Только промежуточные дифракционные тракты, остающиеся в силе после всех трех стадий, затем используются посредством модуля рендеринга, чтобы вычислять выходные аудиосигналы.

Фиг. 10 иллюстрирует предпочтительную реализацию информации выбора. На этапе 102, потенциальные начальные края для конкретного положения источника определяются с использованием геометрической информации аудиосцены, с использованием положения источника и, в частности, с использованием множества промежуточных дифракционных трактов, уже предварительно вычисленных посредством препроцессора. На этапе 104 определяются потенциальные конечные края для конкретного положения слушателя. На этапе 102 определяются потенциальные промежуточные дифракционные тракты на основе результата этапа 102 и результата блока 104, которые соответствуют вышеописанным первой и второй стадиям. На этапе 108, потенциальные промежуточные дифракционные тракты проходят проверку допустимости с использованием условий в отношении угла в виде MAAS или MAAL либо, в общем, посредством определения видимости, определяющего, является ли определенный край дифракционным краем. Этап 108 иллюстрирует вышеуказанную третью стадию. Входные данные MAAS и MAAL получаются из списка промежуточных дифракционных трактов, проиллюстрированных, например, на фиг. 8.

Фиг. 11 иллюстрирует дополнительную процедуру для совокупности этапов, выполняемых на этапе 108 для проверки допустимости потенциальных промежуточных дифракционных трактов. На этапе 112, угол положения источника вычисляется относительно начального края. Это соответствует, например, вычислению угла 113 на фиг. 1. На этапе 114, угол положения слушателя вычисляется относительно конечного края. Это соответствует вычислению угла 115 на фиг. 1. На этапе 116, угол положения источника сравнивается с максимально допустимым углом MAAS для источника, и если определяется то, что сравнение приводит к ситуациям, когда угол больше MAAS, то тест завершен неудачно, как указано на этапе 120. Тем не менее, когда определяется то, что угол 113 меньше MAAS, то первый тест на допустимость пройден.

Тем не менее, промежуточный дифракционный тракт представляет собой допустимый промежуточный дифракционный тракт только тогда, когда вторая проверка допустимости также проходится. Это получается посредством результата блока 118, т.е. MAAL сравнивается с углом 115 положения слушателя. Например, когда угол 115 больше MAAL, то вторая доля для прохождения теста на допустимость получается, как указано на этапе 122, и информация фильтра извлекается из списка промежуточных дифракционных трактов, как указано на этапе 126, или информация фильтра вычисляется в зависимости от данных в списке в случае параметрических представлений, например, в зависимости от промежуточных углов, указываемых в списке по фиг. 8.

После того, как информация фильтра, ассоциированная с допустимым промежуточным дифракционным трактом, получается, как в случае после этапа 126 на фиг. 11, модуль 200 рендеринга аудио по фиг. 7 должен вычислять конечную информацию фильтра, как проиллюстрировано на фиг. 9. В частности, этап 126 на фиг. 9 соответствует этапу 126 по фиг. 11. На этапе 128, начальная информация фильтра из положения источника в начальный край допустимого промежуточного дифракционного тракта определяется. В частности, она представляет собой информацию фильтра, описывающую распространение аудио источника, например, на фиг. 1 до вершины на краю (1). Эта информация распространения относится к затуханию не только вследствие расстояния, но и также в зависимости от угла. Как известно из геометрической теории дифракции (GTD) или однородной теории дифракции (UTD) либо любых других моделей для дифракции звука, возможных для настоящего изобретения, частотная характеристика дифрагированного звука зависит от дифракционного угла. Когда угол 113 источника является очень небольшим, типично только низкочастотная часть звука дифрагируется, и высокочастотная часть сильнее затухает по сравнению с ситуацией, когда угол 113 источника приближается к углу MAAS на фиг. 1. В такой ситуации, высокочастотное затухание уменьшается по сравнению со случаем, когда угол источника приближается к 0 или является очень небольшим.

Аналогичным образом, конечная информация фильтра из конечного или выходного края 5 в положение слушателя снова определяется на основе угла 115 слушателя относительно MAAL. Далее, как только эти три информационных элемента фильтра или доли фильтра определены, они объединяются на этапе 132 для получения представления фильтра для полного дифракционного тракта, причем полный дифракционный тракт содержит тракт из источника в начальный край, промежуточный дифракционный тракт и тракт из выходного или конечного края в положение слушателя. Объединение может осуществляться множеством способов, и один эффективный способ состоит в преобразовании каждого из трех представлений фильтра, полученных на этапе 128, 126 и 130, в спектральное представление для получения соответствующей передаточной функции и последующем умножении трёх передаточных функций в спектральной области для получения конечного представления фильтра, которое может использоваться как есть в случае модуля рендеринга аудио, работающего в частотной области. В альтернативе, информация фильтра частотной области может преобразовываться во временную область в случае модуля рендеринга аудио, работающего во временной области. В качестве альтернативы, три элемента фильтра могут подвергаться операциям свертки с использованием импульсных откликов фильтра временной области, представляющих отдельные доли фильтра, и результирующий импульсный отклик фильтра временной области затем может использоваться посредством модуля рендеринга аудио для рендеринга. В этом случае, модуль рендеринга должен выполнять операцию свертки между сигналом аудиоисточника, с одной стороны, и полным представлением фильтра, с другой стороны.

Далее иллюстрируется фиг. 5, демонстрирующая блок-схему предпочтительной реализации рендеринга статических объектов различения. Процедура начинается на этапе 202. Затем предусмотрен этап предварительного вычисления для формирования списка в соответствии с модулем 100 обеспечения дифракционных трактов по фиг. 7. На этапе 204 определяется модуль трассировки с ячеистыми сетками для теста на загораживание. Этот этап определяет все различные дифракционные тракты между краями, причем дифракционные тракты могут возникать, по определению, только тогда, когда загораживается прямой тракт между двумя несмежными краями. Когда, например, рассматривается фиг. 3, тракт между краем 1 и краем 11 загораживается посредством края 7, и в силу этого может возникать дифракция. Такие ситуации, например, определяются посредством блока 204. На этапе 206, список потенциальных дифракционных краев вычисляется с использованием внутреннего угла между двумя смежными треугольниками. Эта процедура определяет промежуточные или внутренние углы для таких частей дифракционных трактов, т.е., например, для части между краем 1 и краем 11. Этот этап 206 также должен определять дополнительную часть дифракционного тракта между краем 7 через край 11 в край 12 или между краем 7 через край 11 в край 13. Соответствующие дифракционные тракты предварительно вычисляются, например, как проиллюстрировано на фиг. 8, так что тракт 300 по фиг. 3, например, или тракт 400 по фиг. 4, например, предварительно вычисляется вместе с ассоциированной информацией фильтра, описывающей общее распространение звука из края 1 в край 13 для тракта 300 или из края 1 в край 12 для тракта 400 по фиг. 4. Процедура предварительного вычисления завершается, и этап во время выполнения выполняется. На этапе 210, модуль 200 рендеринга получает данные о положении источников и слушателя. На этапе 212, тест на загораживание направленного тракта между источником и слушателем выполняется. Процедура продолжается только в том случае, если результат теста на этапе 212 заключается в том, что направленный тракт загораживается. Если прямой тракт не загораживается, то прямое распространение возникает, и дифракция вообще не представляет собой проблему для этого тракта.

На этапе 214, списки видимых краев из источника, с одной стороны, и слушателя, с другой стороны, определяются. Эта процедура соответствует этапам 102 и 104 и 106 по фиг. 6. На этапе 216, тракты проходят проверку допустимости начиная с входного края из списка краев и завершая в выходном крае из списка краев для слушателя. Это соответствует процедуре, выполняемой на этапе 108 на фиг. 10. На этапе 218, представление фильтра определяется таким образом, что местоположение источника может обновляться посредством вращения относительно ассоциированных краев, и дифракционный фильтр, например, из базы данных UTD-моделей может обновляться. Тем не менее, в общем, настоящее изобретение не ограничено применением баз данных UTD-моделей, и настоящее изобретение может применяться с использованием любого конкретного вычисления и применения информации фильтра из дифракционного тракта. На этапе 220, выходные аудиосигналы для аудиосцены вычисляются, например, посредством бинаурального рендеринга с использованием ассоциированных модулей обработки линий задержки, которые предусмотрены для рендеринга эффекта расстояния в случае, если эффект расстояния не включён в соответствующие направленные фильтры для бинаурального рендеринга, к примеру, в определенные фильтры HRTF.

Фиг. 12 иллюстрирует вращение, выполняемое в невращаемое положение источника для повышения качества звучания рендерированной аудиосцены. Это вращение предпочтительно применяется на этапе 218 по фиг. 5 или на этапе 218 на фиг. 6. Вращение местоположения источника для целей рендеринга или придания пространственной формы является полезным для улучшения пространственного восприятия относительно исходного местоположения источника. Следовательно, относительно фиг. 12, выполняется рендеринг источника звука в новом положении 142, которое получается посредством вращения из исходного положения 143 источника звука в промежуточное положение 141 вокруг края 9 через угол DA_9. Этот угол определяется посредством линии, соединяющей края 13 и 9 таким образом, что получается прямая линия. Промежуточное положение 141 затем вращается вокруг края 13 через угол DA_13 таким образом, что она имеет прямую линию от слушателя в конечное вращаемое положение 142 источника. Таким образом, пространственная форма придается не только частотно-зависимым значениям частотной коррекции или затухания, но также и воспринимаемому направлению исходного источника во вращаемом положении 142 источника. Это конечное вращаемое положение источника представляет собой воспринимаемое положение источника вследствие звукового дифракционного эффекта, изменяющего угол распространения звука в каждом процессе дифракции.

Следует обратиться к одному примерному дифракционному тракту из источника до слушателя «источник - (9) - (13) - слушатель». Дополнительная информация phi, theta для воспроизведения пространственного звука формируется с использованием положения 142 вращаемого источника.

Полная ассоциированная информация фильтра с учетом точного местоположения источника/слушателя уже обеспечивает точную информацию EQ для каждой частоты, т.е. эффект затухания посредством дифракционного эффекта. Использование исходного положения источника и расстояния до исходного источника уже составляет низкоуровневую реализацию. Эта низкоуровневая реализация улучшается посредством дополнительного создания информации, требуемой для выбора надлежащих фильтров HRTF. С этой целью, исходный источник звука вращается относительно релевантных краев на величину дифракционных углов, чтобы формировать местоположение дифрагированного источника. После этого, углы азимута и подъема могут извлекаться из этого положения относительно слушателя, и полное расстояние распространения вдоль тракта может получаться.

Фиг. 12 также иллюстрирует вычисление расстояния между конечным рендерированным положением 142 источника звука и положением слушателя, которое получено посредством процесса вращения. Предпочтительно дополнительно использовать это расстояние для определения задержки зависимого от расстояния затухания для рендеринга источника.

Ниже приведены дополнительные замечания относительно использования и определения вращаемого положения 143 для исходного положения 143 источника. Каждый этап вычислений для получения допустимого тракта решает проблемы, связанные с исходным положением 143 источника. Но для достижения бинаурального рендеринга для пользователей, которые оснащаются наушниками, чтобы ощущать лучший иммерсивный звук в VR-пространстве, местоположение источника звука предпочтительно выдается в модуль бинаурализации таким образом, что модуль бинаурализации может применять надлежащую пространственную фильтрацию (H_L и H_R) к исходному аудиосигналу, где H_L/H_R называется «передаточной функцией восприятия звука человеком (HRTF)», например, как описано в https://www.ece.ucdavis.edu/cipic/spatial-sound/tutorial/hrtf/.

Filterd_S_L=H_L(phi, theta, w)*S(w)

Filterd_S_R=H_R(phi, theta, w)*S(w)

Моносигнал S(w) не имеет сигнальных меток локализации, которые должны использоваться для формирования пространственного звука. При этом фильтрованный звук посредством HRTF может воспроизводить пространственное впечатление. Для этого процесс должен задавать phi и theta (т.е. относительный угол азимута и подъема дифрагированного источника). Означенное представляет собой причину вращения исходного источника звука. В силу этого модуль рендеринга принимает информацию конечного положения 142 источника по фиг. 12 в дополнение к информации фильтра. Хотя для низкоуровневой реализации, в общем должно быть возможным использование направления исходного источника 143 звука таким образом, что может быть исключена сложность для вращения источника звука, эта процедура страдает от ошибки направления, видимой на фиг. 12. Тем не менее, для низкоуровневой реализации эта ошибка допускается. Это справедливо для впечатления на основе расстояния. Как показано на фиг. 12, расстояние от вращаемого источника 142 до слушателя в определенной степени превышает расстояние от исходного источника 143 до слушателя. Эта ошибка в расстоянии может допускаться для низкоуровневой имплантации для уменьшения сложности. Тем не менее, для высокоуровневого применения, эта ошибка может исключаться.

Таким образом, формирование местоположения дифрагированного источника звука посредством вращения исходного источника относительно релевантных краев также может обеспечивать расстояние распространения от источника и от слушателя, причем расстояние используется для затухания посредством расстояния.

Этот процесс формирования дополнительной информации для phi, theta и расстояния также является полезным для многоканальной системы воспроизведения. Единственное различие заключается в том, что для многоканальной системы воспроизведения, другой набор пространственных фильтров должен применяться к S(w), чтобы подавать Filtered_S_i в i-ый динамик в качестве "Filterd_S_i=H_i(phi, theta, w, другие параметры)*S(w)".

Предпочтительные варианты осуществления относятся к работе модуля рендеринга, который выполнен с возможностью вычисления, в зависимости от допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, вращаемого положения аудиоисточника, отличающегося от положения аудиоисточника вследствие дифракционного эффекта, вызываемого посредством допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, и использования вращаемого положения аудиоисточника при вычислении (220) выходных аудиосигналов для аудиосцены, либо который выполнен с возможностью вычисления выходных аудиосигналов для аудиосцены с использованием последовательности краев, ассоциированной с полным дифракционным трактом, и последовательности дифракционных углов, ассоциированной с полным дифракционным трактом, в дополнение к представлению фильтра.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения расстояния от положения слушателя до вращаемого положения источника и использования расстояния при вычислении выходных аудиосигналов для аудиосцены.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью выбора одного или более направленных фильтров в зависимости от вращаемого положения источника и заданного выходного формата для выходных аудиосигналов и применения одного или более направленных фильтров и представление фильтра к аудиосигналу при вычислении выходных аудиосигналов.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения значения затухания в зависимости от расстояния между вращаемым положением источника и положением слушателя и применения, в дополнение к представлению фильтра, одного или более направленных фильтров в зависимости от положения аудиоисточника или вращаемого положения аудиоисточника к аудиосигналу.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения вращаемого положения источника в последовательности операций вращения, содержащих по меньшей мере одну операцию вращения.

На первом этапе последовательности, начинающейся в первом дифракционном крае полного дифракционного тракта, часть тракта из первого дифракционного края в местоположение источника вращается в первой операции вращения для получения прямой линии из второго дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый дифракционный край, в первое промежуточное вращаемое положение источника, при этом первое промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый дифракционный край. Последовательность должна быть закончена для одного дифракционного края. В случае с двумя дифракционными краями, первый край должен представлять собой край 9 на фиг. 12, и первое промежуточное положение представляет собой элемент 141.

В случае более чем одного дифракционного края, результат первой операции вращения вращается вокруг второго дифракционного края во второй операции вращения для получения прямой линии из третьего дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый и второй дифракционные края, во второе промежуточное вращаемое положение источника, при этом второе промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый и второй дифракционные края. Последовательность должна быть закончена для двух дифракционных краев. В случае с двумя дифракционными краями, первый край должен представлять собой край 9 на фиг. 12, и второй край представляет собой край 13.

В случае тракта более чем с двумя дифракционными краями, такого как тракт 300 по фиг. 3, процедура продолжается, при этом одна или более операций вращения дополнительно выполняются с третьим дифракционным краем 11 на фиг. 3 и затем с краем 13 на фиг. 3 из с краем 12 на фиг. 3 и, в общем, до тех пор, пока не обработан полный дифракционный тракт и не получена прямая линия из положения слушателя в последующее полученное вращаемое положение источника.

Далее проиллюстрирована предпочтительная реализация для обработки динамических объектов (DO). С этой целью, следует обратиться к фиг. 2b, показывающему динамический объект DO, который размещен, относительно ситуации на фиг. 1, в центральном положении аудиосцены в различные моменты. Это означает то, что промежуточный дифракционный тракт из края 1 в край 5, проиллюстрированный в верхней линии на фиг. 2d, прерывается посредством дифракционного объекта DO, и два новых дифракционных тракта сформированы, один из края 1 в край 7 и затем в край 5, и другой из края 1 в край 3 и затем в край 5. Эти дифракционные тракты применимы в случае слушателя, размещаемого слева на фиг. 2a. Вследствие того факта, что динамический объект помещен в звуковую сцену, также MAAS- и MAAL-условия изменены относительно ситуации без динамического объекта. Список промежуточных дифракционных трактов по фиг. 1 дополняется, например, как проиллюстрировано в элементе 226 по фиг. 6, посредством двух дополнительных промежуточных дифракционных трактов, проиллюстрированных в нижней части по фиг. 2b. В частности, когда предполагается, что исходный тракт из края 1 в край 5 на фиг. 5 представляет собой только часть более крупной ситуации по отражению, когда источник не размещается близко к краю 1, но когда имеются, например, один или более дополнительных трактов отражения между объектами, и когда аналогичная ситуация возникает относительно слушателя, то предварительно вычисленный дифракционный тракт, существующий для фиг. 1 без динамического объекта, может легко обновляться во время выполнения посредством замены только дифракционного тракта из 1 в 5 на фиг. 1 на два дополнительных тракта и при этом оставления предыдущей части из края 1 в любой начальный край дифракционного тракта как есть, а также оставления части тракта из края 5 в любой выходной край или конечный край как есть.

Фиг. 6 иллюстрирует ситуацию процедуры, выполняемой с динамическими объектами. На этапе 222 определяется, изменяет ли динамический объект DO свое местоположение, например, посредством перемещения в пространстве и вращения. Края, присоединенные к динамическому объекту, обновляются. В примере по фиг. 2a, этап 222 должен определять то, что в отличие от предыдущего момента времени, проиллюстрированного на фиг. 1, динамический объект имеется с определенными краями 70, 60, 20, 30. На этапе 214, промежуточный дифракционный тракт, содержащий края 1 и 5, должен обнаруживаться. На этапе 224, определяется то, что имеется прерывание вследствие динамического объекта, размещенного в тракте между краями 1 и 5. На этапе 224, должны обнаруживаться дополнительные тракты, как указано в нижней части по фиг. 2b из края 1 по краю 30 динамического объекта в край 5, с одной стороны, и из края 1 по краю 60 динамического объекта в край 5. На этапе 226, непрерванный тракт должен дополняться посредством двух дополнительных трактов. Это означает то, что тракт (не показан на чертеже), исходящий из любого (не показанного) входного края в край 1 и проходящий из края 5 в любой (не показанный) выходной край, должен модифицироваться посредством замены части тракта между краем 1 и краем 5 на две других части тракта, указываемых на фиг. 2b. Часть первого тракта из входного края в край 1 должна сшиваться с этими двумя частями тракта, с тем чтобы получать два дополнительных промежуточных дифракционных тракта, и выходная часть исходного тракта, протягивающегося из края 5 в выходной край, также должна сшиваться в два соответствующих дополненных промежуточных дифракционных тракта, так что вследствие динамического объекта, из одного более раннего промежуточного дифракционного тракта (без динамического объекта) сформированы два новых дополненных более ранних дифракционных тракта. Другие этапы, проиллюстрированные на фиг. 6, осуществляются аналогично тому, что проиллюстрировано на фиг. 5.

Рендеринг дифракционного эффекта посредством динамического объекта (во время выполнения) представляет собой один из наилучших способов представлять интерактивное впечатление для развлечений с иммерсивным мультимедиа. Предпочтительная стратегия для учёта дифракции посредством динамических объектов заключается в следующем:

1) На этапе предварительного вычисления:

A. Если имеется динамический объект/геометрия, то предварительное вычисление возможных (промежуточных) дифракционных трактов вокруг данного динамического объекта.

B. Если имеется множество динамических объектов/геометрий, то предварительное вычисление возможных (промежуточных) дифракционных трактов вокруг одного объекта при условии, что не допускается дифракция между различными динамическими объектами.

C. Если имеются динамический/геометрия и статический объект/геометрия, то предварительное вычисление возможных трактов вокруг динамического или статического объекта при условии, что не допускается дифракция между статическими и динамическими объектами.

2) На этапе во время выполнения:

A. Только если динамическая ячеистая сетка перемещена (с точки зрения перемещения в пространстве и вращения), обновление потенциальных краев, которые принадлежат перемещённой динамической ячеистой сетке.

B. Нахождение списков видимых краев из источника и от слушателя.

C. Проверка допустимости трактов начиная со списка краев источника и завершая в списке краев слушателя.

D. Тестирование видимости между парами промежуточных краев, и если возникает проникновение посредством прерывающего объекта, который может представлять собой динамический объект или статический объект, то дополнение тракта в прошедшем проверку допустимости тракте посредством краев, треугольников и углов.

Расширенный алгоритм обработки динамического объекта/геометрии показан на фиг. 6 с дополнительными этапами по сравнению с алгоритмом для статических сцен.

С учетом того, что предпочтительный способ предварительно вычисляет информацию (промежуточного) дифракционного тракта, которая не должна пересматриваться за исключением частного случая, определенное число практических преимуществ возникает по сравнению с уровнем техники, в котором не разрешается обновление предварительно вычисленных данных. Кроме того, гибкий признак для объединения множества дифракционных трактов для формирования дополненного тракта позволяет рассматривать статический и динамический объект вместе.

(1) Более низкая вычислительная сложность: предпочтительный способ не требует компоновать полный тракт из данного местоположения источника в местоположение слушателя во время выполнения. Вместо этого, он должен находить только допустимый промежуточный тракт между двумя точками.

(2) Возможность рендеринга дифракционных эффектов сочетания статических и динамических объектов либо множества динамических объектов: Технологии из уровня техники должны обновлять весь граф видимости между (статическими или динамическими) краями во время выполнения для учёта дифракционных эффектов посредством статических и динамических объектов одновременно. Предпочтительный способ требует эффективного процесса сшивания двух допустимых трактов/частей тракта.

С другой стороны, предварительное вычисление (промежуточных) дифракционных трактов требует большего времени по сравнению с технологиями из уровня техники. Тем не менее, можно управлять размером предварительно вычисленных данных тракта посредством применения обоснованных ограничений, таких как максимальный разрешенный уровень затухания в одном полном тракте, максимальное расстояние распространения, максимальный порядок относительно дифракции и т.д.

1) [Подход на основе геометрической акустики] Предпочтительный способ согласно изобретению предназначен для применения модели UTD к множеству видимых/надлежащим образом ориентированных краёв на основе предварительно вычисленной (промежуточной) информации тракта. Эти предварительно вычисленные данные не должны отслеживаться в реальном времени (большую часть времени) за исключением очень редких случаев, таких как прерывание посредством динамического объекта. Следовательно, изобретение минимизирует вычисление в реальном времени.

2) [Модуляризированный] Каждый предварительно вычисленный тракт работает в качестве модуля.

A. Для статических сцен, на этапе в реальном времени, необходимо находить допустимые модули между двумя пространственными точками.

B. Для динамических сцен, даже если существует прерывание посредством другого объекта (A) в допустимом тракте посредством объекта (B), необходимо дополнять тракт через B с допустимым трактом через A (предполагается сшивание двух различных изображений).

3) [Поддерживающий полностью динамическое взаимодействие] Реализуется рендеринг в реальном времени дифракционных эффектов, включающих в себя сочетание статических и динамических объектов либо множества динамических объектов.

Здесь следует отметить, что все альтернативы или аспекты, поясненные выше, и все аспекты, определяемые независимыми пунктами в нижеприведенной формуле изобретения, могут использоваться по отдельности, т.е. без альтернатив или задач, отличных от предполагаемой альтернативы, задачи или независимого пункта формулы изобретения. Тем не менее, в других вариантах осуществления, две или более из альтернатив или аспектов или независимых пунктов формулы изобретения могут быть объединены друг с другом, и, в других вариантах осуществления, все аспекты или альтернативы и все независимые пункты формулы изобретения могут быть объединены друг с другом.

Кодированный сигнал согласно изобретению может сохраняться на цифровом носителе данных или на постоянном носителе данных, или может передаваться по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.

При том, что некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или обеспечивают возможность взаимодействия) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может сохраняться, например, на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или на энергонезависимом носителе хранения данных.

Другими словами, вариант осуществления способа согласно изобретению в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления способов согласно изобретению представляет собой носитель данных (цифровой носитель данных или машиночитаемый носитель), на котором записана компьютерная программа для осуществления одного из способов, описанных в данном документе.

Следовательно, дополнительный вариант осуществления способа согласно изобретению представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения части или всех из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства аппаратного обеспечения.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что специалистам в данной области техники должны быть очевидны модификации и изменения конфигураций и подробностей, описанных в данном документе. Следовательно, подразумевается ограничение лишь объемом нижеприведенной формулы изобретения, но не конкретными подробностями, представленными в данном документе в качестве описания и пояснения вариантов осуществления.

Список литературы

[1] L. Savioja и V. Välimäki, "Interpolated rectangular 3-D digital waveguide mesh algorithms with frequency warping". IEEE Trans. Speech Audio Process., 11(6) 783-790, 2003 год.

[2] Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S. и Manocha, D., "Wave-based sound propagation in large open scenes using the equivalent source formulation", ACM Trans. on Graphics 32(2) 19:1-19:13, 2013 год.

[3] Mehra, R., Antani, L., Kim, S. и Manocha, D., "Source and listener directivity for interactive wave-based sound propagation, IEEE Transactions on Visualization and Computer Graphics", 20(4) 495-503, 2014 год.

[4] Nikunj Raghuvanshi и John M. Snyder, "Parametric directional coding for precomputed sound propagation", ACM Trans. on Graphics 37(4) 108:1-108:14, 2018 год.

[5] J. B. Allen и D. A. Berkley "Image method for efficiently simulating small-room acoustics". The Journal of the Acoustical Society of America 65(4) 943-950, 1979 год.

[6] M. Vorländer, "Simulation of the transient and steady-state sound propagation in rooms using the new combined raytracing/image-source algorithm", The Journal of the Acoustical Society of America 86(1) 172-178, 1989 год.

[7] T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi и J. West, "A beam tracing approach to acoustic modeling for interactive virtual environments", In Proc. of ACM SIGGRAPH, 21-32, 1998 год.

[8] M. Taylor, A. Chandak, L. Antani и D. Manocha, "Resound: interactive sound rendering for dynamic virtual environments", In Proc. of the seventeen ACM international conference on Multimedia, 271-280, 2009 год.

[9] R. G. Kouyoumjian и P. H. Pathak, "A uniform geometrical theory of diffraction for the edge in the perfectly conducting surface", In Proc. of the IEEE 62, 11, 1448-1461, 1974 год.

[10] U. P. Svensson, R. I. Fred и J. Vanderkooy, "An analytic secondary source model of edge diffraction impulse responses", Acoustical Society of America Journal 106 2331-2344, 1999 год.

[11] N. Tsingos, T. Funkhouser, A. Ngan и I. Carlbom, "Modeling acoustics in virtual environments using the uniform theory of diffraction", In Proc. of the SIGGRAPH, 545-552, 2001 год.

[12] M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schissler и D. Manocha, "Guided multiview ray tracing for fast auralization". IEEE Transactions on Visualization and Computer Graphics 18, 1797-1810, 2012 год.

[13] H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha и M. Lin, "Wave-ray coupling for interactive sound propagation in large complex scenes", ACM Trans. Graph. 32, 6, 165:1-165:11, 2013 год.

Изобретение относится к средствам для рендеринга аудиосцены. Технический результат заключается в повышении эффективности рендеринга аудиосцен. Обеспечивают множество промежуточных дифракционных трактов через множество дифрагирующих объектов. Промежуточный дифракционный тракт имеет начальную точку и выходной край множества дифрагирующих объектов и ассоциированную информацию фильтра. Выполняют рендеринг аудиоисточника в положении слушателя. При этом определяют на основе выходных краев промежуточных дифракционных трактов и положения слушателя, один или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя через множество дифрагирующих объектов. Определяют для каждого допустимого промежуточного дифракционного тракта, представление фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя. 3 н. и 17 з.п. ф-лы, 13 ил.

1. Устройство для рендеринга аудиосцены (50), содержащей аудиоисточник в положении аудиоисточника и множество дифрагирующих объектов, содержащее:

- модуль (100) обеспечения дифракционных трактов для обеспечения множества промежуточных дифракционных трактов (300, 400) через множество дифрагирующих объектов, причем промежуточный дифракционный тракт из множества промежуточных дифракционных трактов (300, 400) имеет начальную точку и выходной край множества дифрагирующих объектов и ассоциированную информацию фильтра для промежуточного дифракционного тракта;

- модуль (200) рендеринга для рендеринга аудиоисточника в положении слушателя, при этом модуль (200) рендеринга выполнен с возможностью:

- определения (216), на основе выходных краев промежуточных дифракционных трактов и положения слушателя, одного или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя из множества промежуточных дифракционных трактов (300, 400) через множество дифрагирующих объектов, обеспеченных модулем (100) обеспечения дифракционных трактов,

- определения (218), для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представления фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующее допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя, и

- вычисления (220) выходных аудиосигналов для аудиосцены (50) с использованием аудиосигнала, ассоциированного с аудиоисточником, и представления фильтра для каждого полного дифракционного тракта.

2. Устройство по п. 1, в котором положение аудиоисточника является фиксированным, а модуль (100) обеспечения дифракционных трактов реализован в виде препроцессора и выполнен с возможностью определения каждого допустимого промежуточного дифракционного тракта таким образом, что начальная точка каждого допустимого промежуточного дифракционного тракта соответствует положению аудиоисточника, или

- в котором положение аудиоисточника является переменным, и при этом модуль (100) обеспечения дифракционных трактов реализован в виде препроцессора и выполнен с возможностью определения, в качестве начальной точки промежуточного дифракционного тракта, входного края множества дифрагирующих объектов, и

- при этом модуль (200) рендеринга выполнен с возможностью определения, дополнительно на основе входного края(ев) одного или более промежуточных дифракционных трактов и положения аудиоисточника для аудиоисточника, одного или более допустимых промежуточных дифракционных трактов, и определения представления фильтра для полного дифракционного тракта дополнительно на основе дополнительной информации фильтра, описывающей распространение аудиосигнала из положения аудиоисточника во входной край допустимого промежуточного дифракционного тракта, ассоциированного с полным дифракционным трактом.

3. Устройство по п. 1 или 2, в котором модуль (200) рендеринга выполнен с возможностью выполнения теста (212) на загораживание для прямого тракта из положения источника в положение слушателя и определения одного или более допустимых промежуточных дифракционных трактов только тогда, когда тест (212) на загораживание указывает, что прямой тракт загорожен.

4. Устройство по одному из предшествующих пунктов,

- в котором модуль (200) рендеринга выполнен с возможностью определения (132) представления фильтра для полного дифракционного тракта посредством умножения представления в частотной области ассоциированной информации фильтра и представления в частотной области информации фильтра для распространения аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя или представления в частотной области дополнительной информации фильтра, описывающей распространение аудиосигнала из положения аудиоисточника во входной край допустимого промежуточного дифракционного тракта.

5. Устройство по одному из предшествующих пунктов, в котором модуль (200) рендеринга выполнен с возможностью, при определении (216) одного или более допустимых промежуточных дифракционных трактов:

- определения (102) начальной группы потенциальных входных краев в зависимости от положения аудиоисточника или определения (104) конечной группы потенциальных выходных краев в зависимости от положения слушателя,

- извлечения (106) одного или более потенциальных допустимых промежуточных дифракционных трактов из предварительно сохраненного списка промежуточных дифракционных трактов с использованием начальной группы или конечной группы, и

- проверки допустимости (108) одного или более потенциальных допустимых промежуточных дифракционных трактов с использованием критерия (116) угла источника и угла источника между положением источника и соответствующим входным краем или с использованием критерия (118) конечного угла и угла слушателя между положением слушателя и соответствующим выходным краем.

6. Устройство по п. 5, в котором модуль (200) рендеринга выполнен с возможностью вычисления угла (112) источника и сравнения (116) угла источника с максимально допустимым углом для источника (MAAS) в качестве критерия угла источника, и проверки допустимости (122) потенциального промежуточного дифракционного тракта, который становится допустимым промежуточным дифракционным трактом, когда угол источника меньше максимально допустимого угла для источника, или

- в котором модуль (200) рендеринга выполнен с возможностью вычисления угла (114) слушателя и сравнения (118) угла слушателя с минимально допустимым углом для слушателя (MAAL) в качестве критерия угла слушателя, и проверки допустимости (122) потенциального промежуточного дифракционного тракта, который становится допустимым промежуточным дифракционным трактом, когда угол слушателя больше минимально допустимого угла для слушателя.

7. Устройство по одному из предшествующих пунктов,

- в котором модуль (100) обеспечения дифракционных трактов выполнен с возможностью осуществления доступа к запоминающему устройству, имеющему заранее сохранённый список, содержащий записи для множества промежуточных дифракционных трактов (300, 400), при этом каждая запись промежуточного дифракционного тракта содержит последовательность краев, протягивающихся из входного края в выходной край, либо последовательность треугольников, протягивающихся из входного треугольника в выходной треугольник, либо последовательность элементов, начиная с критерия угла источника, содержащих один или более промежуточных углов и содержащих критерий угла слушателя.

8. Устройство по п. 7,

- в котором запись промежуточного дифракционного тракта в списке содержит ассоциированную информацию фильтра или ссылку на ассоциированную информацию фильтра, или

- при этом модуль (200) рендеринга выполнен с возможностью извлечения ассоциированной информации фильтра из данных в записи промежуточного дифракционного тракта в списке.

9. Устройство по одному из предшествующих пунктов,

- в котором множество дифракционных объектов звуковой сцены содержат динамический объект, и при этом модуль (100) обеспечения дифракционных трактов выполнен с возможностью обеспечения по меньшей мере одного промежуточного дифракционного тракта вокруг динамического объекта.

10. Устройство по одному из пп. 1-8,

- в котором множество дифрагирующих объектов аудиосцены (50) содержат два или более динамических дифракционных объекта, и при этом модуль (100) обеспечения дифракционных трактов выполнен с возможностью обеспечения промежуточных дифракционных трактов вокруг одного динамического дифракционного объекта при условии, что не допускается дифракция между двумя различными динамическими объектами.

11. Устройство по одному из пп. 1-8,

- в котором множество дифрагирующих объектов аудиосцены (50) содержат один или более динамических объектов и один или более статических объектов, и при этом модуль (100) обеспечения дифракционных трактов выполнен с возможностью обеспечения промежуточных дифракционных трактов вокруг динамического объекта или статического объекта при условии, что не допускается дифракция между статическим объектом и динамическим объектом.

12. Устройство по одному из предшествующих пунктов,

- в котором множество дифракционных объектов содержат по меньшей мере один динамический дифракционный объект, образованный краями, присоединёнными к динамическому дифракционному объекту,

- при этом модуль (200) рендеринга выполнен с возможностью:

- определения (222), перемещён ли по меньшей мере один динамический объект посредством перемещения в отношении по меньшей мере перемещения в пространстве и вращения для определения перемещенного объекта, образованного краями, присоединёнными к динамическому дифракционному объекту,

- обновления (222) краев, присоединенных к перемещённому динамическому объекту, для определения обновленных положений краев, присоединённых к перемещенному динамическому дифракционному объекту в связи с упомянутым перемещением;

- анализа (216) на этапе определения одного или более допустимых промежуточных дифракционных трактов, потенциального допустимого промежуточного тракта в отношении видимости между парами внутренних краев, при этом в случае прерывания видимости вследствие перемещения перемещённого динамического объекта, потенциальный допустимый промежуточный дифракционный тракт дополняется (226) дополнительным трактом, вызываемым вследствие перемещения перемещённого объекта для получения одного или более допустимых промежуточных дифракционных трактов.

13. Устройство по одному из предшествующих пунктов, в котором модуль (200) рендеринга выполнен с возможностью применения однородной теории дифракции (UTD) для определения ассоциированной информации фильтра, или в котором модуль (200) рендеринга выполнен с возможностью определения ассоциированной информации фильтра частотно-зависимым способом.

14. Устройство по одному из предшествующих пунктов, в котором модуль (200) рендеринга выполнен с возможностью вычисления, в зависимости от допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, вращаемого положения аудиоисточника, отличающегося от положения аудиоисточника вследствие дифракционного эффекта, вызываемого посредством допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, и использования вращаемого положения аудиоисточника при вычислении (220) выходных аудиосигналов для аудиосцены (50), или

- при этом модуль (200) рендеринга выполнен с возможностью вычисления (220) выходных аудиосигналов для аудиосцены (50) с использованием последовательности краев, ассоциированной с полным дифракционным трактом, и последовательности дифракционных углов, ассоциированной с полным дифракционным трактом, в дополнение к представлению фильтра.

15. Устройство по п. 14, в котором модуль (200) рендеринга выполнен с возможностью определения расстояния от положения слушателя до вращаемого положения источника и использования расстояния при вычислении (220) выходных аудиосигналов для аудиосцены (50).

16. Устройство по п. 14 или 15, в котором модуль (200) рендеринга выполнен с возможностью выбора одного или более направленных фильтров в зависимости от вращаемого положения источника и заданного выходного формата для выходных аудиосигналов и применения одного или более направленных фильтров и представления фильтра к аудиосигналу при вычислении выходных аудиосигналов.

17. Устройство по п. 14, 15 или 16, в котором модуль (200) рендеринга выполнен с возможностью определения значения затухания в зависимости от расстояния между вращаемым положением источника и положением слушателя и применения к аудиосигналу, в дополнение к представлению фильтра, одного или более направленных фильтров в зависимости от положения аудиоисточника или вращаемого положения аудиоисточника.

18. Устройство по одному из пп. 14-17, в котором модуль (200) рендеринга выполнен с возможностью определения вращаемого положения источника в последовательности операций вращения, содержащих по меньшей мере одну операцию вращения,

- при этом, начиная с первого дифракционного края полного дифракционного тракта, часть тракта из первого дифракционного края в местоположение источника вращается в первой операции вращения для получения прямой линии из второго дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый дифракционный край, в первое промежуточное вращаемое положение источника, при этом первое промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый дифракционный край, или

- при этом результат первой операции вращения вращается вокруг второго дифракционного края во второй операции вращения для получения прямой линии из третьего дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый и второй дифракционные края во второе промежуточное вращаемое положение источника, при этом второе промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый и второй дифракционные края, и

- при этом одна или более операций вращения дополнительно выполняются до тех пор, пока не обработан полный дифракционный тракт и не получена прямая линия из положения слушателя в последующее полученное вращаемое положение источника.

19. Способ рендеринга аудиосцены (50), содержащей аудиоисточник в положении аудиоисточника и множество дифрагирующих объектов, содержащий этапы, на которых:

- обеспечивают множество промежуточных дифракционных трактов (300, 400) через множество дифрагирующих объектов, причем промежуточный дифракционный тракт из множества промежуточных дифракционных трактов (300, 400) имеет начальную точку и выходной край множества дифрагирующих объектов и ассоциированную информацию фильтра для промежуточного дифракционного тракта;

- выполняют рендеринг аудиоисточника в положении слушателя, при этом рендеринг содержит этапы, на которых:

- определяют (216), на основе выходных краев промежуточных дифракционных трактов и положения слушателя, один или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя из множества промежуточных дифракционных трактов (300, 400) через множество дифрагирующих объектов, обеспеченных путём обеспечения множества промежуточных дифракционных трактов (300, 400),

- определяют (218), для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представление фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующее допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя, и

- вычисляют (220) выходные аудиосигналы для аудиосцены (50) с использованием аудиосигнала, ассоциированного с аудиоисточником, и представления фильтра для каждого полного дифракционного тракта.

20. Физический носитель данных, на котором сохранена компьютерная программа для осуществления способа по п. 19 при выполнении на компьютере или в процессоре.