УСТРОЙСТВО И СПОСОБ РЕНДЕРИНГА ЗВУКОВОЙ СЦЕНЫ, СОДЕРЖАЩЕЙ ДИСКРЕТИЗИРОВАННЫЕ ИСКРИВЛЕННЫЕ ПОВЕРХНОСТИ Российский патент 2023 года по МПК H04S7/00 

Описание патента на изобретение RU2809998C1

Настоящее изобретение относится к аудиообработке и, в частности, к обработке аудиосигналов для рендеринга звуковых сцен, содержащих отражения, моделируемые посредством источников изображений в области техники геометрической акустики.

Геометрическая акустика применяется в аурализации, т.е. в оффлайновом (и в реальном времени) рендеринге аудио слуховых сцен и окружений [1, 2]. Она включает в себя системы в стиле виртуальной реальности (VR) и дополненной реальности (AR), такие как модуль рендеринга аудио MPEG-I с 6 DoF. Для рендеринга комплексных аудиосцен с шестью степенями свободы (DoF), применяется область техники геометрической акустики, в которой распространение звуковых данных моделируется с помощью моделей, известных из оптики, таких как трассировка лучей. В частности, отражения на стенах моделируются на основе моделей, извлекаемых из оптики, в которой угол падения луча, который отражается на стене, приводит к равенству угла отражения углу падения.

Системы аурализации в реальном времени, такие как модуль рендеринга аудио в системе в стиле виртуальной реальности (VR) или дополненной реальности (AR), обычно подготавливают посредством рендеринга ранние зеркальные отражения на основе геометрических данных отражательного окружения [1,2]. Способ на основе геометрической акустики, такой как трассировка лучей [3] или способ на основе источников изображений [4] затем используется для того, чтобы находить допустимые тракты распространения отраженного звука. Эти методы являются допустимыми, если отражающие плоские поверхности являются большими по сравнению с длиной волны падающего звука [1]. Кроме того, расстояние точки отражения на поверхности до границ отражающей поверхности также должно быть большим по сравнению с длиной волны падающего звука.

Если геометрические данные аппроксимируют искривленные поверхности посредством треугольников или прямоугольников, классические способы на основе геометрической акустики более не являются допустимыми, и артефакты становятся слышимыми. Итоговый «эффект диско-шара» проиллюстрирован на фиг. 6. Для перемещающегося слушателя или перемещающегося источника звука видимость источника изображений должна чередоваться между видимой и невидимой, приводя к постоянно переключающейся локализации, тембру и уровню громкости.

Если используется классическая модель на основе источников изображений, обычно отсутствует технология смягчения, применяемая для данной проблемы [5]. Если диффузионные отражения моделируются в дополнение к зеркальным отражениям, то это должно дополнительно уменьшать эффект, но не может разрешать его. Если обобщать, решения для этой проблемы не описываются в предшествующем уровне техники.

Задача настоящего изобретения состоит в создании концепции для смягчения эффекта диско-шара в геометрической акустике или создании концепции рендеринга звуковой сцены, которая обеспечивает повышенное качество звука.

Данная задача решается посредством устройства для рендеринга звуковой сцены по пункту 1, способа рендеринга звуковой сцены по пункту 18 или компьютерной программы по пункту 19.

Настоящее изобретение основано на заключении о том, что проблемы, ассоциированные с так называемым эффектом диско-шара в геометрической акустике, могут быть решены путём выполнения анализа отражающих геометрических объектов в звуковой сцене для определения, приводит ли отражающий геометрический объект к видимым зонам и невидимым зонам. Для невидимой зоны, генератор положений источников изображений формирует положение дополнительного источника изображений таким образом, что положение дополнительного источника изображений размещается между двумя положениями источников изображений, ассоциированными с соседними видимыми зонами. Кроме того, модуль рендеринга звука выполнен с возможностью подготовки посредством рендеринга источника звука в положении источника звука для получения аудиовпечатления прямого тракта, и дополнительной подготовки посредством рендеринга источника звука в положении источника изображений или в положении дополнительного источника изображений в зависимости от того, расположено ли положение слушателя в видимой зоне или в невидимой зоне. Посредством этой процедуры, смягчается эффект диско-шара в геометрической акустике. Эта процедура может применяться в аурализации, к примеру, в слуховых сценах и окружениях для рендеринга аудио в реальном времени (и в оффлайновом режиме).

В предпочтительных вариантах осуществления, настоящее изобретение обеспечивает несколько компонентов, при этом один компонент содержит модуль обеспечения геометрических данных или геометрический препроцессор, который обнаруживает искривленные поверхности, такие как «закругленные края» или «закругленные углы». Кроме того, предпочтительные варианты осуществления относятся к генератору положений источников изображений, который применяет расширенную модель на основе источников изображений для идентифицированных искривленных поверхностей, т.е. «закругленных краев» или «закругленных углов».

В частности, край представляет собой граничную линию поверхности, и угол представляет собой точку, в которой пересекаются две или более сходящихся линий. Закругленный край представляет собой граничную линию между двумя плоскими поверхностями, которые аппроксимируют округленные непрерывные поверхности посредством треугольников или многоугольников. Закругленный угол или округленный угол представляет собой точку, которая представляет собой общую вершину нескольких плоских поверхностей, которые аппроксимируют округленные непрерывные поверхности посредством треугольников или многоугольников. В частности, когда сцена в стиле виртуальной реальности, например, содержит рекламную тумбу или рекламную стелу, эта рекламная тумба или рекламная стела может аппроксимироваться посредством многоугольных плоскостей, к примеру, посредством треугольной или других многоугольных плоскостей, и вследствие того факта, что многоугольные плоскости не являются инфинитезимально небольшими, могут возникать невидимые зоны между видимыми зонами.

Типично, существуют намеренные края или углы, т.е. объекты в аудиосцене, которые должны акустически представляться как есть, и любые эффекты, которые возникают вследствие акустической обработки, являются намеченными. Тем не менее, округленные углы или края либо закругленные углы или края представляют собой геометрические объекты в аудиосцене, которые приводят к артефакту диско-шара, или, иначе говоря, которые приводят к невидимым зонам, которые ухудшают качество звучания, когда слушатель перемещается относительно неподвижного источника из видимой зоны в невидимую зону, или когда неподвижный слушатель прослушивает перемещающийся источник, что приводит к введению пользователя в невидимую зону, а затем в видимую зону, а затем в невидимую зону. В качестве альтернативы, в качестве альтернативы, когда как слушатель, так и источник перемещаются, можно считать, что слушатель находится в один момент времени в видимой зоне, а в другой момент времени в невидимой зоне, что обусловлен только применяемой моделью геометрической акустики, но не имеет отношения к акустической сцене реального мира, которая должна аппроксимироваться в максимально возможной степени посредством устройства для рендеринга звуковой сцены или соответствующего способа.

Настоящее изобретение является преимущественным, поскольку оно формирует высококачественные аудиоотражения на сферах и цилиндрах или других искривленных поверхностях. Расширенная модель на основе источников изображений является, в частности, полезной для примитивов, таких как многоугольники, аппроксимирующие цилиндры, сферы или другие искривленные поверхности. Прежде всего, настоящее изобретение приводит к быстро сходящемуся итеративному алгоритму для вычисления отражений первого порядка, в частности, с базированием на инструментальных средствах на основе источников изображений для моделирования отражений. Например, предпочтительно, конкретный частотно-избирательный частотный корректор применяется в дополнение к материальному частотному корректору, который учитывает частотно-избирательную характеристику отражения, которая типично представляет собой фильтр верхних частот, который зависит от диаметра отражателя. Кроме того, затухание в зависимости от расстояния, время распространения и частотно-избирательное поглощение стенами или отражение от стен принимаются во внимание в предпочтительных вариантах осуществления. Предпочтительно, вариант применения формирования положений дополнительных источников изображений согласно изобретению «осветляет» темные или невидимые зоны. Дополнительная отражательная модель для округленных краев и углов базируется на этом формировании дополнительных источников изображений в дополнение к классическим источникам изображений, ассоциированным с многоугольными плоскостями. Предпочтительно, непрерывная экстраполяция источников изображений в «темные» или невидимые зоны выполняется предпочтительно с использованием технологии трассировки усеченных частей для целей вычисления отражений первого порядка. В других вариантах осуществления, технология также может расширяться до обработки отражений второго или высшего порядка. Тем не менее выполнение настоящего изобретения для применения вычисления отражений первого порядка уже приводит к высокому качеству звучания, и выяснено, что выполнение вычисления отражений высшего порядка, хотя и возможно, не всегда должно оправдывать дополнительные требования по обработке с учетом дополнительно повышенного качества звучания. Настоящее изобретение обеспечивает надежное, относительно простое в реализации, но при этом мощное инструментальное средство для моделирования отражений в комплексных звуковых сценах, имеющих проблематичные или конкретные отражающие объекты, которые должны страдать от невидимых зон без применения настоящего изобретения.

Далее предпочтительные варианты осуществления настоящего изобретения поясняются с обращением к сопровождающим чертежам, на которых:

Фиг. 1 иллюстрирует блок-схему варианта осуществления устройства для рендеринга звуковой сцены;

Фиг. 2 иллюстрирует блок-схему реализации генератора положений источников изображений в варианте осуществления;

Фиг. 3 иллюстрирует дополнительную реализацию генератора положений источников изображений;

Фиг. 4 иллюстрирует другую предпочтительную реализацию генератора положений источников изображений;

Фиг. 5 иллюстрирует конструирование источника изображений в геометрической акустике;

Фиг. 6 иллюстрирует конкретный объект, приводящий к видимым зонам и невидимым зонам;

Фиг. 7 иллюстрирует конкретный отражающий объект, в котором дополнительный источник изображений расположен в положении дополнительного источника изображений для «осветления» невидимых зон;

Фиг. 8 иллюстрирует процедуру, применяемую посредством модуля обеспечения геометрических данных;

Фиг. 9 иллюстрирует реализацию модуля рендеринга звука для рендеринга источника звука в положении источника звука и для дополнительного рендеринга источника звука в положении источника изображений или в положении дополнительного источника изображений в зависимости от положения слушателя;

Фиг. 10 иллюстрирует конструирование точки R отражения на краю;

Фиг. 11 иллюстрирует тихую зону, связанную с округленным углом; и

Фиг. 12 иллюстрирует тихую зону или тихую усеченную часть, связанную с округленным краем, например, по фиг. 10.

Фиг. 1 иллюстрирует устройство для рендеринга звуковой сцены, имеющей отражающие объекты и источник звука в положении источника звука. В частности, источник звука представляется посредством сигнала источника звука, который, например, может представлять собой моно- или стереосигнал, и в звуковой сцене, сигнал источника звука испускается в положении источника звука. Кроме того, звуковая сцена типично имеет информацию относительно положения слушателя, при этом положение слушателя содержит, с одной стороны, местоположение слушателя, например, в трехмерном пространстве, либо при этом положение слушателя подвергается, с другой стороны, определенной ориентации головы слушателя в трехмерном пространстве. Слушатель может быть расположен с точки зрения ушей слушателя в определенном местоположении в трехмерном пространстве, что приводит к трем измерениям, и слушатель также может поворачивать голову вокруг трех различных осей, что приводит к дополнительным трем измерениям, так что может обрабатываться ситуация в стиле виртуальной реальности или дополненной реальности с шестью степенями свободы. Устройство для рендеринга звуковой сцены содержит модуль 10 обеспечения геометрических данных, генератор 20 положений источников изображений и модуль 30 рендеринга звука в предпочтительном варианте осуществления. Модуль обеспечения геометрических данных может быть реализован в виде препроцессора для выполнения определенных операций перед фактическим выполнением, либо модуль обеспечения геометрических данных может быть реализован в виде геометрического процессора, осуществляющего свою работу также во время выполнения. Тем не менее, выполнение вычислений модуля обеспечения геометрических данных заранее, т.е. до фактического рендеринга в стиле виртуальной реальности или дополненной реальности, должно освобождать платформу обработки от соответствующих задач геометрического препроцессора.

Генератор положений источников изображений использует положение источника и положение слушателя, и, в частности, вследствие того факта, что во время работы положение слушателя должно изменяться, генератор положений источников изображений должен работать во время работы. Это справедливо для модуля 30 рендеринга звука, который дополнительно работает при выполнении с использованием данных источников звука, положения слушателя и дополнительно с использованием положений источников изображений и положений дополнительных источников изображений при необходимости, т.е. если пользователь размещается в невидимой зоне, которая должна «осветляться» посредством дополнительного источника изображений, определенного посредством генератора положений источников изображений в соответствии с настоящим изобретением.

Предпочтительно, модуль 10 обеспечения геометрических данных выполнен с возможностью обеспечения анализа отражающего объекта звуковой сцены для определения конкретного отражающего объекта, который представлен посредством первого многоугольника и второго смежного многоугольника. Первый многоугольник имеет ассоциированную положение первого источника изображений, и второй многоугольник имеет ассоциированную положение второго источника изображений, причем эти положения источников изображений конструируются, например, как проиллюстрировано на фиг. 5. Эти источники изображений представляют собой «классические источники изображений», которые зеркально отражаются на определенной стене. Тем не менее, положения первых и вторых источников изображений приводят к последовательности, содержащей первую видимую зону, связанную с положением первого источника изображений, вторую видимую зону, связанную с положением второго источника изображений, и невидимую зону, размещенную между первой и второй видимой зоной, например, как проиллюстрировано на фиг. 6 или 7. Генератор положений источников изображений выполнен с возможностью формирования положения дополнительного источника изображений таким образом, что дополнительный источник изображений, расположенный в положении дополнительного источника изображений, расположен между положением первого источника изображений и положением второго источника изображений. Предпочтительно, генератор положений источников изображений дополнительно формирует первый источник изображений и второй источник изображений классическим способом, т.е. посредством зеркального отражения, например, на определенной стене для зеркального отражения, либо, как и в случае на фиг. 6 или фиг. 7, когда отражающая стена является небольшой и не содержит точку стены, в которой прямоугольная проекция источника пересекает стену, соответствующая стена расширяется только для целей конструирования источников изображений.

Модуль 30 рендеринга звука выполнен с возможностью рендеринга источника звука в положении источника звука для получения прямого звука в положении слушателя. Кроме того, чтобы также подготовить посредством рендеринга отражение, источник звука подготавливается посредством рендеринга в положении первого источника изображений, если положение слушателя расположено в первой видимой зоне. В этой ситуации, генератор положений источников изображений не должен обязательно формировать положение дополнительного источника изображений, поскольку положение слушателя является таким, что артефакты вследствие эффекта диско-шара вообще не возникают. Это справедливо, когда положение слушателя расположено во второй видимой зоне, ассоциированной со вторым источником изображений. Тем не менее, когда слушатель расположен в невидимой зоне, затем модуль рендеринга звука использует положение дополнительного источника изображений и не использует положение первого источника изображений и положение второго источника изображений. Вместо «классических» источников изображений, моделирующих отражения в первых и вторых смежных многоугольниках, модуль рендеринга звука подготавливает посредством рендеринга, для целей рендеринга отражений, только положение дополнительного источника изображений, сформированную в соответствии с настоящим изобретением, таким образом, чтобы заполнить или осветлить невидимую зону звуком. Любые артефакты, которые в противном случае должны приводить к постоянно переключающейся локализации, тембру и уровню громкости, исключаются посредством обработки согласно изобретению с использованием генератора положений источников изображений, формирующего дополнительный источник изображений между положением первого и второго источника изображений.

Фиг. 6 иллюстрирует так называемый эффект дискошара. В частности, отражающие поверхности схематично нарисованы в черном цвете и обозначаются посредством 1, 2, 3, 4, 5, 6, 7, 8. Каждая отражающая поверхность или многоугольник 1, 2, 3, 4, 5, 6, 7, 8 также представляется посредством нормального вектора, указываемого на фиг. 6 в нормальном направлении к соответствующей поверхности. Кроме того, каждая отражающая поверхность имеет ассоциированную видимую зону. Видимая зона, ассоциированная с источником S в положении 100 источника и отражающей поверхностью или многоугольником 1, указывается на 71. Кроме того, соответствующие видимые зоны для других многоугольников или поверхностей 2, 3, 4, 5, 6, 7, 8, например, проиллюстрированы на фиг. 6 посредством ссылочных позиций 72, 73, 74, 75, 76, 77, 78. Видимые зоны формируются таким образом, что только в видимой зоне, ассоциированной с определенным многоугольником, условие равенства угла падения углу отражения звука, испускаемого посредством источника S звука, удовлетворяется. Например, многоугольник 1 имеет довольно небольшую видимую зону 71, поскольку расширение многоугольника 1 является довольно небольшим, и поскольку равенство угла падения углу отражения может удовлетворяться только для углов отражения в небольшой видимой зоне 71.

Кроме того, фиг. 6 также имеет слушателя L, расположенного в положении 130 слушателя. Вследствие того факта, что слушатель L размещается в видимой зоне 74, ассоциированной с многоугольником номер 4, звук для слушателя L подготавливается посредством рендеринга с использованием источника 64 изображений, проиллюстрированного в S/4. Этот источник S/4 изображений, указываемый на 64 на фиг. 6, отвечает за моделирование отражения в отражающей поверхности или многоугольнике номер 4, и поскольку слушатель L расположен в видимой зоне 74, ассоциированной с источником изображений для определенной стены, артефакты не должны возникать. Тем не менее, при возникновении перемещения слушателя в тихой зоне между видимыми зонами 73 и 74 или в невидимую зону между видимыми зонами 74 и 75, т.е. когда слушатель перемещается вверх или вниз, затем классический модуль рендеринга должен прекращать рендеринг с использованием источника S/4 изображений, и поскольку слушатель не расположен в видимой зоне 73 или в видимой зоне 75, ассоциированной с источником S/3 63 или S/5 65 изображений, затем модуль рендеринга не должен подготавливать посредством рендеринга отражения без настоящего изобретения.

На фиг. 6 проиллюстрирован эффект диско-шара, и отражающие поверхности схематично нарисованы в черном цвете, серые зоны помечают области, в которых n-ый источник "Sn" изображений является видимым, и S помечает источник в положении источника, а L помечает слушателя в положении 130 слушателя. Отражающий объект на фиг. 6, представляющий собой конкретный отражающий объект, например, может представлять собой рекламную тумбу или рекламную стелу при просмотре сверху, источник звука, например, может представлять собой автомобиль, расположенный в определенном положении, неподвижном относительно рекламной тумбы, и слушатель, например, должен представлять собой человека, проходящего около рекламной тумбы, чтобы посмотреть, что находится на рекламной тумбе. Слушатель-человек, как правило, услышит прямой звук из автомобиля, т.е. от положения 100 до положения 130 человека и, кроме того, услышит отражение в рекламной тумбе.

Фиг. 5 иллюстрирует конструирование источника изображений. В частности, и обращаясь к фиг. 6, ситуация по фиг. 5 должна проиллюстрировать конструирование источника S/4 изображений. Тем не менее, стена или многоугольник 4 на фиг. 6 даже не достигает прямого соединения между положением 100 источника и положением 64 источника изображений. Стена 140, проиллюстрированная на фиг. 5 в виде плоскости зеркального отражения для формирования источника 120 изображений, на основе источника 100, не является существующей на фиг. 6 на прямом соединении между источником 100 и источником 120 изображений. Тем не менее, для целей конструирования источников изображений, определенная стена, такая как многоугольник 4 на фиг. 6, расширяется, с тем чтобы иметь плоскость зеркального отражения для зеркального отражения источника на стене. Кроме того, в обработке на основе классических источников изображений, выдвигаются такие предположения, в дополнение к бесконечной стене, что источник испускает плоскую волну. Тем не менее, это предположение не является существенным для настоящего изобретения, и это справедливо для бесконечности стены, поскольку, для целей зеркального отражения стены, бесконечная стена фактически требуется только для пояснения базовой математической модели.

Кроме того, фиг. 5 иллюстрирует условие наличия идентичных углов падения на стену и отражения от стены. Кроме того, длина тракта для тракта распространения из источника в приемное устройство поддерживается. Длина тракта из источника в приемное устройство является точно идентичной длине тракта из источника изображений в приемное устройство, т.е. r1+r2, и время распространения равно частному между общей длиной тракта и скоростью c звука. Кроме того, затухание в зависимости от расстояния звукового давления, пропорциональное 1/r, или затухание в зависимости от расстояния звуковой энергии, пропорциональное 1/r2, типично моделируется посредством модуля рендеринга, подготавливающего посредством рендеринга источник изображений.

Кроме того, поведение в отношении поглощения/отражения от стен моделируется посредством коэффициента α поглощения или отражения от стен. Предпочтительно, коэффициент α зависит от частоты, т.е. представляет частотно-избирательную кривую Hw(k) поглощения или отражения и типично имеет характеристику верхних частот, т.е. высокие частоты отражаются лучше, чем низкие частоты. Это поведение учитывается в предпочтительных вариантах осуществления. Сильная сторона варианта применения на основе источников изображений заключается в том, что после конструирования источника изображений и описания источника изображений в отношении времени распространения, затухания в зависимости от расстояния и поглощения стенами, стена 140 должна полностью удаляться из звуковой сцены и моделируется только посредством источника 120 изображений.

Фиг. 7 иллюстрирует проблемную ситуацию, в которой первый многоугольник 2, имеющий ассоциированную положение S/2 62 первого источника изображений, и второй многоугольник 3, имеющий ассоциированную положение 63 или S/3 второго источника изображений, размещаются с промежуточным острым углом, и слушатель 130 размещается в невидимой зоне между первой видимой зоной 72, ассоциированной с первым источником 62 изображений, и второй видимой зоной 73, ассоциированной со вторым источником S/3 63 изображений. Для «осветления» невидимой зоны 80, проиллюстрированной на фиг. 7, формируется положение 90 дополнительного источника изображений, расположенное между положением 62 первого источника изображений и положением 63 второго источника изображений. Вместо моделирования отражения посредством источника 63 изображений или источника 62 изображений, который конструируется так, как проиллюстрировано на фиг. 5 для классической процедуры, отражение теперь моделируется с использованием положения 90 дополнительного источника изображений, которое предпочтительно имеет такое же расстояние до точки отражения, по меньшей мере при определенном допуске.

Для положения 90 дополнительного источника изображений для целей рендеринга отражения первого порядка в невидимой зоне 80 используются равная длина тракта, время распространения, затухание в зависимости от расстояния и поглощение стенами. В предпочтительном варианте осуществления определяется точка 92 отражения. Точка 92 отражения находится на стыке между первым многоугольником и вторым многоугольником при просмотре сверху и типично находится в вертикальном положении, например, в примере рекламной тумбы, которая определяется ростом слушателя 130 и высотой источника 100. Предпочтительно, положение 90 дополнительного источника изображений расположено на линии, соединяющей слушателя 130 и точку 92 отражения, причем эта линия указана позицией 93. Кроме того, точное положение дополнительного источника 90 звука в предпочтительном варианте осуществления находится в точке пересечения линии 93 и соединительной линии 91, соединяющей положения 62 и 63 источников изображений, которые имеют видимые зоны, смежные с невидимой зоной 80.

Тем не менее, вариант осуществления фиг. 7 иллюстрирует только наиболее предпочтительный вариант осуществления, в котором точно вычисляется путь положения дополнительного источника изображений. Кроме того, также точно вычисляется конкретное положение для положения дополнительного источника звука на соединительной линии 92, в зависимости от положения 130 слушателя. Когда слушатель L находится ближе к видимой зоне 73, то источник 90 звука находится ближе к положению 63 классического источника изображений, и наоборот. Тем не менее нахождение положения дополнительного источника звука в любом месте между источниками 62 и 63 звука и изображений уже должно сильно улучшить все слышимое впечатление по сравнению с простым допущением невидимых зон. Хотя фиг. 7 иллюстрирует предпочтительный вариант осуществления с точным положением для положения дополнительного источника звука, другая процедура должна заключаться в нахождении дополнительного источника звука в любом месте между положениями 62 и 63 смежных источников звука таким образом, что отражение подготавливается посредством рендеринга в невидимой зоне 80.

Кроме того, хотя предпочтительно точно вычислять время распространения в зависимости от точной длины тракта, другие варианты осуществления базируются на оценке длины тракта в зависимости от модифицированной длины тракта для положения 63 источника изображений или модифицированной длины тракта для другого положения 62 смежного источника изображений. Кроме того, что касается моделирования на основе поглощения стенами или отражения от стен, для целей рендеринга положения 90 дополнительного источника звука, либо поглощение стенами одного из смежных многоугольников может использоваться, либо среднее значение обоих коэффициентов поглощения, если они отличаются друг от друга, может использоваться, и даже среднее взвешенное может применяться в зависимости от того, находится ли слушатель ближе к определенное видимой зоне, так что определенные данные поглощения стенами для стены, имеющей видимую зону, ближе к которой расположен пользователь, принимают более высокое весовое значение в суммировании со взвешиванием по сравнению с данными поглощения/отражения другой смежной стены, имеющей видимую зону, находящуюся на еще большем расстоянии от положения слушателя.

Фиг. 2 иллюстрирует предпочтительную реализацию процедуры генератора 20 положений источников изображений по фиг. 1. На этапе 21, определяется то, находится слушатель в видимой зоне, к примеру, в 72 и 73 по фиг. 7 или в невидимой зоне 80. В случае если определяется то, что пользователь находится в видимой зоне, определяется положение источника изображений, к примеру, S/2 62, когда пользователь находится в зоне 72, либо положение 63 или S/3 источника изображений, если пользователь находится в видимой зоне 73. Затем информация в отношении положения источника изображений отправляется в модуль 30 рендеринга по фиг. 1, как проиллюстрировано на этапе 23.

В качестве альтернативы, если этап 21 определяет, что пользователь расположен в невидимой зоне 80, определяется положение 90 дополнительного источника изображений по фиг. 7, и как только это определено, как проиллюстрировано на этапе 24, эта информация в отношении положения дополнительного источника изображений и, если это применимо, других атрибутов, таких как длина тракта, время распространения, затухание в зависимости от расстояния или информация поглощения/отражения от стен, также отправляется в модуль рендеринга, как проиллюстрировано на этапе 25.

Фиг. 3 иллюстрирует предпочтительную реализацию этапа 21, т.е. то, как в конкретном варианте осуществления определяется то, находится слушатель в видимой зоне или в невидимой зоне. С этой целью, предусматриваются две базовых процедуры. В одной базовой процедуре, две соседних видимых зоны 72 и 73 вычисляются как усеченные части на основе положения 100 источника и соответствующего многоугольника, и затем определяется то, находится ли слушатель в одной из этих видимых усеченных частей. Когда определяется то, что слушатель не расположен в одной из усеченных частей, как указано на этапе 26, то осуществляется такое заключение, что пользователь находится в невидимой зоне. В качестве альтернативы, вместо вычисления двух усеченных частей, описывающих видимые зоны 72 и 73 по фиг. 7, другая процедура заключается в том, чтобы фактически определять невидимую усеченную часть, описывающую невидимую зону 80, и если невидимая усеченная часть определяется, то определяется то, что слушатель находится в невидимой зоне 80, когда слушатель размещается в тихой усеченной части. Когда определяется то, что слушатель находится в невидимой зоне в качестве результата этапа 27 и этапа 26 по фиг. 3, то положение дополнительного источника изображений вычисляется так, как проиллюстрировано на этапе 24 по фиг. 2 или на этапе 24 по фиг. 3.

Фиг. 4 иллюстрирует предпочтительную реализацию генератора положений источников изображений для вычисления положения 90 дополнительного источника изображений в предпочтительном варианте осуществления. На этапе 41, положения источников изображений для первого и второго многоугольников, т.е. положение 62 и 63 источника изображений по фиг. 7 вычисляется в классической или стандартной процедуре. Кроме того, как проиллюстрировано на этапе 42, определяется точка отражения на краю или углу, определенном посредством модуля 10 обеспечения геометрических данных в качестве «округленного» края или угла. Определение точки 92 отражения на фиг. 7, например, проводится на линии пересечения между двумя многоугольниками 2 и 3 и, в случае точного рендеринга также в размере по вертикали, размер по вертикали точки отражения определяется на этапе 42 в зависимости от роста слушателя и высоты источника и других атрибутов, таких как расстояние слушателя и расстояние источника от точки или линии 92 отражения. Кроме того, как проиллюстрировано на этапе 43, звуковая линия определяется посредством соединения положения 130 слушателя и точки 92 отражения и посредством экстраполяции этой линии дополнительно в область, в которой положения источников изображений расположены и определены в блоке 41. Эта звуковая линия проиллюстрирована посредством ссылочной позиции 93 на фиг. 7. На этапе 44, соединительная линия между стандартными источниками изображений, определенная посредством блока 41, вычисляется, и затем, как проиллюстрировано на этапе 45, пересечение звуковой линии 93 и соединительной линии 91 определяется в качестве положения дополнительного источника звука. Следует отметить, что порядок этапов, как указано на фиг. 4, не является обязательным. Поскольку результат этапа 41 требуется только перед этапом 44, этапы 42 и 43 могут уже вычисляться перед этапом вычисления 41 и т.д. Единственное требование, например, заключается в том, что этап 42 должен выполняться перед этапом 43, так что, например, может устанавливаться звуковая линия.

Далее приводятся дополнительные процедуры для иллюстрации дополнительной процедуры вычисления положения дополнительного источника изображений. Расширенная модель на основе источников изображений должна экстраполировать положение источника изображений в «темной зоне» отражателей, т.е. в зонах между «яркими зонами», в которых источник изображений является видимым (см. фиг. 1). В первом варианте осуществления этого способа, усеченная часть создается для каждого закругленного края и проверяется, расположен ли слушатель в этой усеченной части. Усеченная часть создается следующим образом: Для двух смежных плоскостей края, а именно, для левой и правой плоскости, вычисляются источники SL и SR изображений посредством зеркального отражения источника в левой и в правой плоскости. Из этих точек вместе с начальной и конечной точкой края, можно задавать четыре плоскости в Гессе-нормальной форме, где нормальные векторы указывают внутрь усеченной части:

. (1)

Если расстояние:

(2)

больше или равно нулю для всех 4 плоскостей, то слушатель расположен в усеченной части, которая задает зону покрытия модели для данного закругленного края. Невидимая зональная усеченная часть проиллюстрирована на фиг. 12, дополнительно показывающей положение 100 источника и источников 61 и 62 изображений, принадлежащих соответствующим многоугольникам 1 и 2. Усеченная часть начинается на краю между многоугольниками 1 и 2 и открывается к положению источника из плоскости чертежа и в плоскость чертежа.

В этом случае, можно определять точку отражения на закругленном крае следующим образом:

Пусть является ортогональной проекцией положения источника на край, а является ортогональной проекцией положения слушателя на край. Это дает в результате точку отражения следующим образом:

(3)

(4)

(5)

Конструирование точки отражения иллюстрируется на фиг. 10, показывающем положение L слушателя, положение S источника, проекции Ps и Pl и результирующую точку отражения.

Вычисление зоны покрытия закругленных углов является почти идентичным. Здесь, k смежных плоскостей дают в результате k источников изображений, которые вместе с угловым положением приводят к усеченной части, которая является ограниченной посредством k плоскостей. С другой стороны, если расстояния от слушателя до этих плоскостей больше или равны нулю, слушатель расположен в пределах зоны покрытия закругленного угла. Точка отражения задается посредством самой угловой точки.

Эта ситуация, т.е. невидимая усеченная часть или закругленный угол проиллюстрирована на фиг. 11, иллюстрирующем четыре источника 61, 62, 63, 64 изображений, принадлежащих четырем многоугольникам или плоскостям 1, 2, 3, 4. На фиг. 11, источник расположен в видимой зоне, а не в невидимой зоне, начинающейся с верхушки под углом и открывающейся в направлении от четырех многоугольников.

Для отражений высшего порядка, можно расширять этот способ согласно способу трассировки усеченных частей, в котором каждая усеченная часть разделяется на усеченные подчасти каждый раз, когда достигается поверхность, закругленный край или закругленный угол.

Фиг. 8 иллюстрирует дополнительную предпочтительную реализацию модуля обеспечения геометрических данных. Предпочтительно, модуль обеспечения геометрических данных работает в качестве истинного модуля обеспечения данных, который формирует при выполнении предварительно сохраненные данные по объектам для указания того, что объект представляет собой конкретный отражающий объект, имеющий последовательность из видимых зон и невидимой зоны в промежутке. Модуль обеспечения геометрических данных может реализовываться с использованием геометрического препроцессора, который выполняется однократно в ходе инициализации, поскольку он не зависит от положений слушателя или источников. В отличие от этого, расширенная модель на основе источников изображений, применяемая посредством генератора положений источников изображений, выполняется при выполнении и определяет отражения от краев и углов в зависимости от положений слушателя и источников.

Модуль обеспечения геометрических данных может применять обнаружение искривленных поверхностей. Модуль обеспечения геометрических данных, также называемый «геометрическим процессором», вычисляет определение конкретных отражающих объектов заранее, в процедуре инициализации или при выполнении. Например, если для экспорта геометрических данных используется программное обеспечение CAD, модуль обеспечения геометрических данных предпочтительно использует максимально возможный объём информации в отношении искривлений. Например, если поверхности конструируются из закругленных геометрических примитивов, таких как сферы или цилиндры, либо из сплайн-интерполяций, геометрический препроцессор/модуль обеспечения геометрических данных предпочтительно реализуется в процедуре экспорта программного обеспечения CAD и обнаруживает и использует информацию из программного обеспечения CAD.

Если априорное знание в отношении кривизны поверхностей не доступно, геометрический препроцессор или модуль обеспечения данных должен реализовывать детектор закругленных краев и закругленных углов только посредством использования треугольной или многоугольной ячеистой сетки. Например, это может осуществляться посредством вычисления угла Φ между двумя смежными треугольниками 1, 2 или 1a, 2a, как проиллюстрировано на фиг. 8. В частности, угол определяется в качестве «лицевого угла» на фиг. 8, причем левая часть по фиг. 8 иллюстрирует положительный лицевой угол, и правая часть на фиг. 8 иллюстрирует отрицательный лицевой угол. Кроме того, маленькие стрелки иллюстрируют лицевую нормаль на фиг. 8. Если лицевой угол составляет ниже определенного порогового значения, считается, что смежный край в обоих смежных многоугольниках, формирующих край, представляет искривленную поверхностную секцию и помечается как такой. Если все края, которые имеют соединение с углом, помечаются как закругленные, угол также помечается как закругленный, и как только этот угол становится применимым для рендеринга звука, активируется функциональность генератора положений источников изображений для формирования положения дополнительного источника изображений. Тем не менее, если определено, что определенный отражающий объект представляет собой не конкретный отражающий объект, а простой объект, в котором любые артефакты не ожидаются или даже предусмотрены создателем звуковых сцен, генератор положений источников изображений используется только для определения положений классических источников изображений, но для такого отражающего объекта деактивируется любое определение положения дополнительного источника изображений в соответствии с настоящим изобретением.

Фиг. 9 иллюстрирует предпочтительный вариант осуществления модуля 30 рендеринга звука по фиг. 1. Модуль 30 рендеринга звука предпочтительно содержит каскад 31 прямого звукового фильтра, каскад 32 отражательного фильтра первого порядка и, необязательно, каскад отражательного фильтра второго порядка и вероятно также один или более каскадов отражательного фильтра высшего порядка.

Кроме того, в зависимости от выходного формата, требуемого посредством модуля 30 рендеринга звука, т.е. в зависимости от того, осуществляет модуль рендеринга звука вывод через наушники, через громкоговорители либо только для хранения или передачи в определенном формате, обеспечивается определенное число выходных сумматоров, к примеру, левый сумматор 34, правый сумматор 35 и центральный сумматор 36 и вероятно, другие сумматоры для левых выходных каналов объемного звучания или для правых выходных каналов объемного звучания и т.д. Хотя левые и правые сумматоры 34 и 35 предпочтительно используются для целей воспроизведения в наушниках для вариантов применения в стиле виртуальной реальности, например, любые другие сумматоры для целей вывода громкоговорителя в определенном выходном формате также могут использоваться. Если, например, требуется вывод через наушники, затем каскад 31 прямого звукового фильтра применяет передаточные функции восприятия звука человеком в зависимости от положения 100 источника звука и положения 130 слушателя. Для целей каскада отражательного фильтра первого порядка, соответствующие передаточные функции восприятия звука человеком применяются, но теперь для положения 130 слушателя, с одной стороны, и положения 90 дополнительного источника звука, с другой стороны. Кроме того, любые конкретные задержки на распространение, затухания в тракте или эффекты отражения также включены в передаточные функции восприятия звука человеком в каскаде 32 отражательного фильтра первого порядка. Для целей каскадов отражательного фильтра высшего порядка, также применяются другие дополнительные источники звука.

Например, если вывод предназначен для конфигурации громкоговорителей, то каскад прямого звукового фильтра должен применять другие фильтры, отличающиеся от передаточных функций восприятия звука человеком, к примеру, фильтры, которые выполняют векторное амплитудное панорамирование. В любом случае, каждый из каскада 31 прямого звукового фильтра, каскада 32 отражательного фильтра первого порядка и каскада 33 отражательного фильтра второго порядка вычисляет компонент для каждого из каскадов 34, 35, 36 сумматора, как проиллюстрировано, и левый сумматор 34 затем вычисляет выходной сигнал для динамика левого наушника, и правый сумматор 35 вычисляет сигнал наушника для динамика правого наушника и т.д. В случае выходного формата, который отличается от наушника, левый сумматор 34 может доставлять выходной сигнал для левого динамика, и правый сумматор 35 может доставлять вывод для правого динамика. Если предусмотрено только два динамика в окружении с двумя динамиками, то центральный сумматор 32 не требуется.

Способ согласно изобретению исключает эффект диско-шара, который возникает, когда искривленная поверхность, аппроксимированная посредством дискретной треугольной ячеистой сетки, аурализируется с использованием классической технологии на основе источников звука и изображений [3, 4]. Новая технология исключает невидимые зоны, приводя к тому, что отражение всегда является слышимым. Для этой процедуры, необходимо идентифицировать аппроксимации искривленных поверхностей посредством порогового лицевого угла. Новая технология является расширением для исходной модели с конкретными обрабатываемыми лицевыми гранями, идентифицированными в качестве представления искривления.

Классические технологии на основе источников звука и изображений [3, 4] не считают, что данная геометрия может (частично) аппроксимировать искривленную поверхность. Это приводит к отбрасыванию темных зон (молчанию) от краевых точек смежных лицевых граней (см. фиг. 1). Слушатель, перемещающийся вдоль такой поверхности, наблюдает отражения, которые должны включаться/выключаться в зависимости от того, где он расположен (в осветленной/невидимой зоне). Это вызывает неприятные слышимые артефакты, также уменьшая степень реализма и в силу этого погружения. В сущности, классические технологии на основе источников изображений не могут реалистично подготавливать посредством рендеринга такие сцены.

Библиографический список

[1] Vorländer, M. "Auralization: fundamentals of acoustics, modelling, simulation, algorithms and acoustic virtual reality". Springer Science and Business Media, 2007 г.

[2] Savioja, L. and Svensson, U.P. "Overview of geometrical room acoustic modeling techniques." The Journal of the Acoustical Society of America 138.2 (2015 год): 708-730.

[3] Krokstad, A., Strom, S. and Sørsdal, S. "Calculating the acoustical room response by the use of the ray tracing technique". Journal of Sound and Vibration 8.1 (1968 год): 118-125.

[4] Allen, J.B. and Berkley, D.A. "Image method for efficiently simulating small room acoustics". The Journal of the Acoustical Society of America 65.4 (1979 год): 943-950.

[5] Borish, J. "Extension of the image model to arbitrary polyhedra". The Journal of the Acoustical Society of America 75.6 (1984 год): 1827-1836.

Похожие патенты RU2809998C1

название год авторы номер документа
УСТРОЙСТВО И СПОСОБ РЕНДЕРИНГА АУДИОСЦЕНЫ С ИСПОЛЬЗОВАНИЕМ ДОПУСТИМЫХ ПРОМЕЖУТОЧНЫХ ДИФРАКЦИОННЫХ ТРАКТОВ 2021
  • Ли, Сонмун
  • Веферс, Франк
RU2806700C1
УСТРОЙСТВО И СПОСОБ РЕНДЕРИНГА ЗВУКОВОЙ СЦЕНЫ С ИСПОЛЬЗОВАНИЕМ КАСКАДОВ КОНВЕЙЕРА 2021
  • Веферс, Франк
  • Швер, Зимон
RU2815296C1
ПРИНЦИП ФОРМИРОВАНИЯ УЛУЧШЕННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ ИЛИ МОДИФИЦИРОВАННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ С ИСПОЛЬЗОВАНИЕМ МНОГОСЛОЙНОГО ОПИСАНИЯ 2018
  • Херре, Юрген
  • Хабетс, Эмануэль
RU2740703C1
ПРИНЦИП ФОРМИРОВАНИЯ УЛУЧШЕННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ ИЛИ МОДИФИЦИРОВАННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ С ИСПОЛЬЗОВАНИЕМ DIRAC-ТЕХНОЛОГИИ С РАСШИРЕНИЕМ ГЛУБИНЫ ИЛИ ДРУГИХ ТЕХНОЛОГИЙ 2018
  • Херре, Юрген
  • Хабетс, Эмануэль
  • Плинге, Аксель
  • Тиргарт, Оливер
  • Кюх, Фабиан
RU2736274C1
АУДИОПРОЦЕССОР И СПОСОБ С УЧЕТОМ АКУСТИЧЕСКИХ ПРЕГРАД, ОБЕСПЕЧИВАЮЩИЕ СИГНАЛЫ ГРОМКОГОВОРИТЕЛЕЙ 2019
  • Вальтер, Андреас
  • Херре, Юрген
  • Клапп, Юлиан
  • Фаллер, Кристоф
  • Шмидт, Маркус
RU2789392C2
АУДИОПРОЦЕССОР И СПОСОБ ДЛЯ ОБЕСПЕЧЕНИЯ СИГНАЛОВ ГРОМКОГОВОРИТЕЛЕЙ 2019
  • Вальтер, Андреас
  • Херре, Юрген
  • Клапп, Юлиан
  • Фаллер, Кристоф
  • Шмидт, Маркус
RU2787845C2
ПРИНЦИП ФОРМИРОВАНИЯ УЛУЧШЕННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ ИЛИ МОДИФИЦИРОВАННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ С ИСПОЛЬЗОВАНИЕМ МНОГОТОЧЕЧНОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ 2018
  • Херре, Юрген
  • Хабетс, Эмануэль
RU2736418C1
ОБОРУДОВАНИЕ И СПОСОБ ДЛЯ СИНТЕЗИРОВАНИЯ ПРОСТРАНСТВЕННО ПРОТЯЖЕННОГО ИСТОЧНИКА ЗВУКА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ ЭЛЕМЕНТОВ СИГНАЛЬНЫХ МЕТОК 2021
  • Херре, Юрген
  • Адами, Александер
  • Анемюллер, Карлотта
RU2808102C1
Аудиоустройство и способ для него 2020
  • Коппенс, Йерун Герардус Хенрикус
RU2804014C2
СПОСОБЫ, УСТРОЙСТВА И СИСТЕМЫ ДЛЯ ПОДВЕРГНУТОГО ПРЕДВАРИТЕЛЬНОМУ РЕНДЕРИНГУ СИГНАЛА ДЛЯ РЕНДЕРИНГА ЗВУКА 2019
  • Терентив, Леон
  • Ферш, Кристоф
  • Фишер, Дэниел
RU2787581C2

Иллюстрации к изобретению RU 2 809 998 C1

Реферат патента 2023 года УСТРОЙСТВО И СПОСОБ РЕНДЕРИНГА ЗВУКОВОЙ СЦЕНЫ, СОДЕРЖАЩЕЙ ДИСКРЕТИЗИРОВАННЫЕ ИСКРИВЛЕННЫЕ ПОВЕРХНОСТИ

Изобретение относится к средствам для рендеринга звуковой сцены. Технический результат заключается в повышении эффективности рендеринга звуковой сцены. Анализируют отражающие объекты звуковой сцены, чтобы определить отражающий объект, представленный посредством первого многоугольника и второго смежного многоугольника, имеющих ассоциированные положения первого и второго источников изображений. Положения первого и второго источников изображений приводят к последовательности, содержащей первую видимую зону, связанную с положением первого источника изображений, невидимую зону и вторую видимую зону, связанную с положением второго источника изображений. Формируют положение дополнительного источника изображений таким образом, что оно расположено между положением первого источника изображений и положением второго источника изображений. Подготавливают посредством рендеринга источник звука в положении первого источника изображений, когда положение слушателя расположено в первой видимой зоне, в положении дополнительного источника изображений, когда положение слушателя расположено в невидимой зоне, или в положении второго источника изображений, когда положение слушателя расположено во второй видимой зоне. 2 н. и 16 з.п. ф-лы, 12 ил.

Формула изобретения RU 2 809 998 C1

1. Устройство для рендеринга звуковой сцены, имеющей отражающие объекты и источник звука в положении источника звука, содержащее:

- модуль (10) обеспечения геометрических данных для обеспечения анализа отражающих объектов звуковой сцены, чтобы определять отражающий объект, представленный посредством первого многоугольника (2) и второго смежного многоугольника (3), имеющих ассоциированные положение (62) первого источника изображений для первого многоугольника и положение (63) второго источника изображений для второго многоугольника, при этом положения первых и вторых источников изображений приводят к последовательности, содержащей первую видимую зону (72), связанную с положением (62) первого источника изображений, невидимую зону (80) и вторую видимую зону (73), связанную с положением (63) второго источника изображений;

- генератор (20) положений источников изображений для формирования положения (90) дополнительного источника изображений таким образом, что положение (90) дополнительного источника изображений размещается между положением первого источника изображений и положением второго источника изображений; и

- модуль (30) рендеринга звука для рендеринга источника звука в положении источника звука и, дополнительно:

- для рендеринга источника звука в положении первого источника изображений, когда положение (130) слушателя расположено в первой видимой зоне,

- для рендеринга источника звука в положении (90) дополнительного источника изображений, когда положение слушателя расположено в невидимой зоне (80), или

- для рендеринга источника звука в положении второго источника изображений, когда положение слушателя расположено во второй видимой зоне.

2. Устройство по п. 1, в котором модуль (10) обеспечения геометрических данных выполнен с возможностью извлечения предварительно сохраненной информации в отношении отражающих объектов, сохраненных в ходе стадии инициализации, и при этом генератор (20) положений источников изображений выполнен с возможностью формирования положения (90) дополнительного источника изображений в ответ на предварительно сохраненную информацию, указывающую отражающий объект.

3. Устройство по п. 1 или 2, в котором модуль (10) обеспечения геометрических данных выполнен с возможностью обнаружения отражающего объекта во время выполнения или в ходе стадии инициализации и с использованием геометрических данных в отношении звуковой сцены, доставляемой посредством приложения для автоматизированного проектирования (CAD).

4. Устройство по одному из предшествующих пунктов, в котором модуль (10) обеспечения геометрических данных выполнен с возможностью обнаружения во время выполнения или в ходе стадии инициализации, в качестве отражающего объекта, объекта, имеющего закругленную геометрию, искривленную геометрию или геометрию, извлекаемую из сплайн-интерполяции.

5. Устройство по одному из пп. 1 или 2, в котором модуль (10) обеспечения геометрических данных выполнен с возможностью:

- вычисления лицевого угла между лицевыми гранями двух смежных многоугольников потенциального отражающего объекта и пометки двух смежных многоугольников в качестве конкретной пары многоугольников, если лицевой угол меньше порогового значения, причем край, образуемый лицевыми гранями двух смежных многоугольников, считается участком искривленной поверхности,

- вычисления дополнительного лицевого угла между лицевыми гранями двух дополнительных смежных многоугольников потенциального отражающего объекта и пометки двух дополнительных смежных многоугольников в качестве дополнительной конкретной пары многоугольников, если дополнительный лицевой угол меньше порогового значения, причем дополнительный край, образуемый лицевыми гранями двух дополнительных смежных многоугольников, считается дополнительным участком искривленной поверхности, и

- обнаружения потенциального отражающего объекта в качестве отражающего объекта, если дополнительный край и край соединены с углом потенциального отражающего объекта, причем угол потенциального отражающего объекта образован упомянутым участком искривленной поверхности и упомянутым дополнительным участком искривленной поверхности.

6. Устройство по одному из предшествующих пунктов,

- в котором генератор (20) положений источников изображений выполнен с возможностью анализа, находится ли положение (130) слушателя в невидимой зоне (80), и формирования положения (90) дополнительного источника изображений только тогда, когда положение (130) слушателя расположено в невидимой зоне (80).

7. Устройство по п. 6, в котором генератор (20) положений источников изображений выполнен с возможностью определения первого геометрического диапазона, ассоциированного с первым многоугольником, или второго геометрического диапазона, ассоциированного со вторым многоугольником, или третьего геометрического диапазона между первым геометрическим диапазоном и вторым геометрическим диапазоном,

- при этом первый геометрический диапазон определяет первую видимую зону, или при этом второй геометрический диапазон определяет вторую видимую зону, или при этом третий геометрический диапазон определяет невидимую зону (80), и

- при этом первый или второй геометрический диапазон определяется таким образом, что такое условие, что угол падения от положения источника к первому или второму многоугольнику равен углу отражения от первого или второго многоугольника, удовлетворяется для положения в первой или во второй геометрической зоне, или

- при этом третий геометрический диапазон определяется таким образом, что условие равенства угла отражения углу падения не удовлетворяется для положения в невидимой зоне (80).

8. Устройство по п. 6 или 7,

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления (26) первой усеченной части для первого многоугольника и определения (27), расположено ли положение слушателя в первой усеченной части, или

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления (26) второй усеченной части для второго многоугольника и определения (27), расположено ли положение (130) слушателя во второй усеченной части, или

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления (26) невидимой зональной усеченной части и определения (27), расположен ли слушатель в невидимой зональной усеченной части.

9. Устройство по п. 8, в котором генератор (20) положений источников изображений выполнен с возможностью задания четырех плоскостей, имеющих нормальные векторы, указывающие внутрь первой усеченной части, второй усеченной части или невидимой зональной усеченной части, и

- в котором генератор (20) положений источников изображений выполнен с возможностью определения (27), является ли расстояние от положения (130) слушателя до каждой плоскости большим или равным 0, и обнаружения, что слушатель расположен внутри усеченной части из первой усеченной части, второй усеченной части или невидимой зональной усеченной части, если расстояние от слушателя до каждой плоскости больше или равно 0.

10. Устройство по одному из предшествующих пунктов,

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (90) дополнительного источника изображений в качестве положения между положением (62) первого источника изображений и положением (63) второго источника изображений.

11. Устройство по п. 10, в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (90) дополнительного источника изображений для соединительной линии (91) между положением (62) первого источника изображений и положением (63) второго источника изображений.

12. Устройство по п. 10, в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (90) дополнительного источника изображений в качестве положения на дуге окружности с радиусом r1 вокруг точки (92) отражения, где r1 обозначает расстояние между положением (100) источника и точкой (92) отражения.

13. Устройство по п. 10, или 11, или 12, в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (90) дополнительного источника изображений, так что расстояние между положением (90) дополнительного источника изображений и положением (63) второго источника изображений является пропорциональным расстоянию от положения (130) слушателя до второй видимой зоны (73), либо так что расстояние между положением (90) дополнительного источника изображений и положением (62) первого источника изображений является пропорциональным расстоянию от положения (130) слушателя до первой видимой зоны (72).

14. Устройство по п. 11, или 12, или 13,

- в котором генератор (20) положений источников изображений выполнен с возможностью определения точки (92) отражения с использованием ортогональной проекции вектора для положения (100) источника звука и ортогональной проекции вектора для положения (130) слушателя относительно первого многоугольника (2) или второго многоугольника (3) или смежного края между первым многоугольником (2) и второго многоугольника (3), либо определения точки, в которой первый многоугольник (2) и второй многоугольник (3) соединяются между собой, в качестве точки (92) отражения, и

- в котором генератор (20) положений источников изображений выполнен с возможностью определения точки пересечения линии (93), соединяющей положение (130) слушателя и точку (92) отражения, и соединительной линии (91) между положением (62) первого источника изображений и положением (63) второго источника изображений в качестве положения (90) дополнительного источника изображений.

15. Устройство по одному из предшествующих пунктов,

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (62) первого источника изображений посредством зеркального отражения положения (100) источника звука в плоскости (2), заданной первым многоугольником, или

- в котором генератор (20) положений источников изображений выполнен с возможностью вычисления положения (63) второго источника изображений посредством зеркального отражения положения (100) источника звука в плоскости (3), заданной вторым многоугольником.

16. Устройство по одному из предшествующих пунктов,

- в котором модуль (30) рендеринга звука выполнен с возможностью подготовки посредством рендеринга источника звука таким образом, что сигнал источника звука фильтруется с использованием фильтра (31, 32, 33) для рендеринга, заданного посредством по меньшей мере одного из расстояния между соответствующим положением источника звука и изображений и положением слушателя и времени задержки, вызываемого посредством расстояния и коэффициента поглощения или коэффициента отражения, ассоциированного с первым многоугольником или вторым многоугольником, либо посредством частотно-избирательной характеристики поглощения или отражения, ассоциированной с первым многоугольником или вторым многоугольником.

17. Устройство по одному из предшествующих пунктов,

- в котором модуль (30) рендеринга звука выполнен с возможностью подготовки посредством рендеринга источника звука с использованием сигнала источника звука и положения (100) источника звука и положения слушателя с использованием каскада (31) прямого звукового фильтра, и подготовки посредством рендеринга источника звука с использованием сигнала источника звука и соответствующего положения дополнительного источника звука и положения (130) слушателя в качестве отражения первого порядка в каскаде отражательного фильтра первого порядка, при этом соответствующее положение источника звука и изображений содержит положение первого источника звука и изображений или положение второго источника звука и изображений, или положение (90) дополнительного источника звука и изображений.

18. Способ рендеринга звуковой сцены, имеющей отражающие объекты и источник звука в положении источника звука, содержащий этапы, на которых:

- обеспечивают анализ отражающих объектов звуковой сцены, чтобы определить отражающий объект, представленный посредством первого многоугольника (2) и второго смежного многоугольника (3), имеющих ассоциированные положение (62) первого источника изображений для первого многоугольника и положение (63) второго источника изображений для второго многоугольника, при этом положения первых и вторых источников изображений приводят к последовательности, содержащей первую видимую зону (72), связанную с положением (62) первого источника изображений, невидимую зону (80) и вторую видимую зону (73), связанную с положением (63) второго источника изображений;

- формируют положение (90) дополнительного источника изображений таким образом, что положение (90) дополнительного источника изображений расположено между положением первого источника изображений и положением второго источника изображений; и

- подготавливают посредством рендеринга источник звука в положении источника звука и, дополнительно:

- подготавливают посредством рендеринга источник звука в положении первого источника изображений, когда положение (130) слушателя расположено в первой видимой зоне,

- подготавливают посредством рендеринга источник звука в положении (90) дополнительного источника изображений, когда положение слушателя расположено в невидимой зоне (80), или

- подготавливают посредством рендеринга источник звука в положении второго источника изображений, когда положение слушателя расположено во второй видимой зоне.

Документы, цитированные в отчете о поиске Патент 2023 года RU2809998C1

NOE N et al., "A general ray-tracing solution to reflection on curved surfaces and diffraction by their bounding edges", THEORETICAL AND COMPUTATIONAL ACOUSTICS 2009, 11.09.2009, с
Синхронизирующее устройство для аппарата, служащего для передачи изображений на расстояние 1920
  • Тамбовцев Д.Г.
SU225A1
Автомобиль-сани, движущиеся на полозьях посредством устанавливающихся по высоте колес с шинами 1924
  • Ф.А. Клейн
SU2017A1
US 9564138 B2, 07.02.2017
US 10075800 B2, 11.09.2018
СПОСОБ И УСТРОЙСТВО ДЛЯ ВОСПРОИЗВЕДЕНИЯ СТЕРЕОФОНИЧЕСКОГО ЗВУКА 2011
  • Ким Сун-Мин
RU2540774C2

RU 2 809 998 C1

Авторы

Борсс, Кристиан

Веферс, Франк

Даты

2023-12-21Публикация

2021-03-12Подача