СПОСОБЫ, АППАРАТ И СИСТЕМЫ ДЛЯ УПРАВЛЕНИЯ МОДЕЛИРОВАНИЕМ ЭФФЕКТА ДОПЛЕРА Российский патент 2024 года по МПК H04S7/00 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Эта заявка заявляет приоритет следующей приоритетной заявки: предварительной заявки на патент США № 63/273185 (ссылка: D21092USP1), поданной 29 октября 2021 г.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в общем относится к моделированию эффекта Доплера, а более конкретно к способам и аппаратам для управления моделированием эффекта Доплера, например, для использования в средах виртуальной реальности или дополненной реальности.

УРОВЕНЬ ТЕХНИКИ

В общем говоря, термин «эффект Доплера» (или доплеровский сдвиг), как правило, используют для обозначения звукового эффекта, который возникает при изменении частоты волны (например, звуковой волны) по отношению к наблюдателю (например, слушателю), перемещающемуся относительно источника волн (например, источника звука). Более конкретно эффект Доплера в общем может восприниматься следующим образом: когда источник волн (например, сирена транспортного средства экстренной службы) приближается к наблюдателю, высота тона (являющаяся широко используемым параметром, указывающим на частоту или воспринимаемую частоту) увеличивается, в то время как, когда источник волн следует мимо и удаляется, высота тона уменьшается.

В настоящее время эффект Доплера стал рассматриваться в качестве важного аспекта рендеринга звука для динамических сцен в среде с 6 степенями свободы (6DoF), широко используемой, например, в сценариях виртуальной реальности (VR) и/или дополненной реальности (AR) (например, в играх). Если не вдаваться в детали, то в контексте обработки (например, рендеринга) звука эффект Доплера в общем можно моделировать с использованием значений модификации показателя высоты тона звука.

В рамках некоторых традиционных реализаций в общем предлагается выполнять моделирование эффекта Доплера на основе физического описания или аппроксимации эффекта Доплера. Однако такой подход в общем не предусматривает средств или возможности ни для учета способностей базового блока обработки сигнала для модификации показателя высоты тона (например, высокой величины значений модификации показателя высоты тона для высоких относительных скоростей, точки сингулярности и т. д.), ни для управления значениями модификации показателя высоты тона (т. е. представляющими интенсивность эффекта Доплера) в соответствии с замыслом создателя содержимого (или, другими словами, субъективным опытом прослушивания).

Существует потребность в методах выполнения (управления) моделирования (моделированием) эффекта Доплера, в частности, при рендеринге звукового содержимого для среды с 6DoF, например, в среде виртуальной реальности и/или дополненной реальности.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Ввиду вышеизложенного, в настоящем изобретении в общем предоставлены способ моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), способ кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF, а также соответствующие устройство рендеринга звука, кодер и машиночитаемые носители данных, обладающие признаками соответственных независимых пунктов формулы изобретения.

В первом аспекте настоящего изобретения предложен способ моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF) на стороне пользователя, причем способ включает:

получение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации высоты тона, при этом один или более первых параметров включают параметры, указывающие на верхний и/или нижний пределы допустимого диапазона значений модификации высоты тона;

получение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

определение значения модификации высоты тона на основе относительной скорости между слушателем и источником звука в звуковом содержимом и значений первого и второго параметров с использованием предварительно заданной функции модификации высоты тона; и

рендеринг источника звука на основе значения модификации высоты тона,

при этом предварительно заданная функция модификации высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации высоты тона;

при этом допустимый диапазон значений модификации высоты тона отражает возможность обработки устройством рендеринга звука, осуществляющим рендеринг звукового содержимого; и

при этом второй параметр управляет наклоном функции модификации высоты тона, отражающим интенсивность подлежащего моделированию эффекта Доплера.

В одном варианте осуществления относительную скорость рассчитывают на основе положений слушателя и источника звука.

В еще одном варианте осуществления если устройство рендеринга звука не поддерживает допустимый диапазон значений модификации высоты тона, то устройство рендеринга звука использует заданный по умолчанию диапазон значений модификации высоты тона.

В еще одном варианте осуществления звуковое содержимое извлекают из принятого битового потока, и значения первого и второго параметров получают из указаний, включенных в битовый поток.

В еще одном варианте осуществления звуковое содержимое и значения первого и второго параметров получают из отдельных битовых потоков.

В еще одном варианте осуществления значение второго параметра установлено создателем содержимого, создавшим звуковое содержимое.

В еще одном варианте осуществления значение второго параметра устанавливают путем моделирования эталона из реального мира и/или художественных ожиданий для желаемой интенсивности эффекта Доплера.

В еще одном варианте осуществления рендеринг звукового содержимого на основе значения модификации высоты тона включает регулировку высоты тона источника звука в звуковом содержимом на основе значения модификации высоты тона.

В еще одном варианте осуществления положительное значение модификации высоты тона указывает на увеличение высоты тона источника звука.

В еще одном варианте осуществления регулировку высоты тона источника звука выполняют в единицах полутона.

В еще одном варианте осуществления функция модификации высоты тона основана на обобщенной логистической функции; и

при этом функция модификации высоты тона имеет одно или более из следующих свойств:

является непрерывной и монотонной по отношению к относительным скоростям,

имеет асимптотические пределы, управляемые одним или более первыми параметрами,

дает нулевое значение модификации высоты тона при нулевой относительной скорости и/или

имеет наклон вблизи нулевой скорости, управляемый вторым параметром.

В еще одном варианте осуществления функция модификации высоты тона реализована следующим образом:

,

где представляет относительную скорость, представляет первые параметры, причем обозначает нижний предел диапазона, а обозначает верхний предел диапазона, и представляет второй параметр.

В еще одном варианте осуществления дополнительно включен вывод подвергнутого рендерингу источника звука на динамик или наушник для воспроизведения пользователю.

Во втором аспекте настоящего изобретения предложен способ кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), причем способ включает:

определение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации высоты тона, при этом один или более первых параметров включают параметры, указывающие на верхний и/или нижний пределы допустимого диапазона значений модификации высоты тона;

определение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

кодирование указаний значений первого и второго параметров,

при этом значения первого и второго параметров могут быть использованы для отображения относительной скорости между слушателем и источником звука звукового содержимого в значение модификации высоты тона на основе предварительно заданной функции модификации высоты тона, причем значение модификации высоты тона используют для рендеринга источника звука, и предварительно заданная функция модификации высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации высоты тона;

при этом допустимый диапазон значений модификации высоты тона отражает возможность обработки устройством рендеринга звука, осуществляющим рендеринг звукового содержимого; и

при этом второй параметр управляет наклоном функции модификации высоты тона, отражающим интенсивность подлежащего моделированию эффекта Доплера.

В одном варианте осуществления указания значений первого и второго параметров кодируют как метки в битовом потоке.

В еще одном варианте осуществления указания значений первого и второго параметров кодируют вместе со звуковым содержимым в едином битовом потоке или в виде отдельных битовых потоков.

В еще одном варианте осуществления значения первого и второго параметров определяет создатель содержимого или игровой движок.

В третьем аспекте настоящего изобретения предложено устройство рендеринга звука, содержащее процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать устройству рендеринга звука выполнять вышеуказанные способы.

В четвертом аспекте настоящего изобретения предложен кодер для кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), содержащий процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать кодеру выполнять вышеуказанные способы.

В пятом и шестом аспектах настоящего изобретения предложены машиночитаемые носители данных, на которых хранятся программы, содержащие команды, которые при исполнении процессором предписывают процессору выполнять вышеуказанные способы.

Будет понятно, что признаки аппарата и этапы способа можно взаимно заменять многими методами. В частности, детали раскрытого(раскрытых) способа(способов) могут быть реализованы соответствующим аппаратом (или системой), и наоборот, как будет очевидно специалисту в данной области техники. Более того, понятно, что любое из приведенных выше утверждений в отношении способа(способов) также применимо к соответствующему аппарату (или системе), и наоборот.

ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Примерные варианты осуществления настоящего изобретения объяснены ниже со ссылкой на сопроводительные графические материалы, где

на фиг. 1 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значениями модификации высоты тона,

на фиг. 2 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значениями модификации высоты тона для разных установок диапазона моделирования эффекта Доплера согласно вариантам осуществления настоящего изобретения,

на фиг. 3 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значениями модификации высоты тона для разных установок интенсивности моделирования эффекта Доплера согласно вариантам осуществления настоящего изобретения,

на фиг. 4 представлена блок-схема, иллюстрирующая пример способа согласно вариантам осуществления настоящего изобретения,

на фиг. 5 представлена блок-схема, иллюстрирующая еще один пример способа согласно вариантам осуществления настоящего изобретения,

на фиг. 6A и 6B схематически проиллюстрировано представленное в качестве примера сравнение между звуковыми сигналами, обрабатываемыми с помощью традиционного подхода к моделированию эффекта Доплера, и звуковыми сигналами, обрабатываемыми согласно вариантам осуществления настоящего изобретения,

на фиг. 7A и 7B схематически проиллюстрировано еще одно представленное в качестве примера сравнение между звуковыми сигналами, обрабатываемыми с помощью традиционного подхода к моделированию эффекта Доплера, и звуковыми сигналами, обрабатываемыми согласно вариантам осуществления настоящего изобретения, и

на фиг. 8A и 8B представлены структурные схемы примерных аппаратов для выполнения способов согласно вариантам осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Фигуры (фиг.) и следующее описание относятся к предпочтительным вариантам осуществления только в качестве иллюстрации. Следует отметить, что из следующего обсуждения альтернативные варианты осуществления конструкций и способов, раскрытых в настоящем документе, будут легко понятными в качестве подходящих альтернатив, которые могут быть использованы без отступления от заявленных принципов.

Далее будет осуществлена подробная ссылка на несколько вариантов осуществления, примеры которых проиллюстрированы на сопроводительных фигурах. Следует отметить, что там, где это применимо, подобные или схожие ссылочные номера могут быть использованы в фигурах и могут обозначать подобную или схожую функциональность. Фигуры изображают варианты осуществления раскрытой системы (или способа) только в целях иллюстрации. Специалисту в данной области техники будет легко понятно из следующего описания, что альтернативные варианты осуществления конструкций и способов, проиллюстрированных в настоящем документе, могут быть использованы без отступления от принципов, описанных в настоящем документе.

Кроме того, на фигурах, где соединительные элементы, такие как сплошные или пунктирные линии или стрелки, используют для иллюстрации соединения, отношения или связи между двумя или более другими схематическими элементами или среди них, отсутствие любых таких соединяющих элементов не подразумевает, что соединение, отношение или связь не может существовать. Другими словами, некоторые соединения, отношения или связи между элементами не показаны на графических материалах, чтобы не затруднять понимание настоящего изобретения. Дополнительно для упрощения иллюстрации один соединительный элемент используют для представления множества соединений, отношений или связей между элементами. Например, если соединительный элемент представляет передачу сигналов, данных или команд, специалистам в данной области техники следует понимать, что такой элемент представляет один или множество путей сигнала, по необходимости, для воздействия на передачу.

Как указано выше, термин «эффект Доплера» или «доплеровский сдвиг» в общем используют для обозначения звукового эффекта, который возникает при изменении частоты волны (например, звуковой волны) по отношению к наблюдателю (например, слушателю), перемещающемуся относительно источника волн (например, источника звука). Если не вдаваться в детали, эффект Доплера можно наблюдать каждый раз, когда источник волн перемещается относительно наблюдателя. Эффект Доплера можно описать как эффект, создаваемый перемещающимся источником волн, при котором тем наблюдателям, к которым приближается данный источник, кажется, что происходит сдвиг частоты вверх, а тем наблюдателям, от которых данный источник удаляется, кажется, что происходит сдвиг частоты вниз. Важно, тем не менее, отметить, что данный эффект не является результатом фактического изменения частоты источника.

Как будет понятно и очевидно специалисту в данной области техники, эффект Доплера можно наблюдать с волной любого типа: водной волной, звуковой волной, световой волной и т. д. Представленный в качестве примера сценарий, при котором может ощущаться эффект Доплера, – это когда полицейский автомобиль или транспортное средство экстренной службы направляется в сторону слушателя по шоссе. По мере приближения автомобиля с сиреной высота тона (мера, в общем используемая для указания частоты) звука сирены становится высокой (выше); а после того как автомобиль проедет мимо и начинает удаляться, высота тона звука сирены становится низкой (ниже).

Как также отмечалось выше, в последнее время эффект Доплера стал рассматриваться как важный аспект при рендеринге звука динамических сцен в среде с 6 степенями свободы (6DoF), широко используемой, например, в сценариях виртуальной реальности (VR) и/или дополненной реальности (AR) (например, играх, содержимом с эффектом присутствия и т. д.).

Если не вдаваться в детали, полутон, называемый также полушагом или половинным тоном, в общем представляет собой наименьший музыкальный интервал, обычно используемый в большинстве тональной музыки, и считается при гармоничном звучании наиболее диссонирующим. В общих чертах полутон задан как интервал между двумя соседними нотами в 12-тоновой гамме. Другими словами, в большинстве музыкальных инструментов, сконструированных на основе темперированной гаммы, в которой октава разделена на двенадцать равных частей, соотношение частот любых двух полутонов (полушагов) приблизительно равно корню двенадцатой степени из двух.

В контексте обработки звука (например, рендеринга звука) эффект Доплера в общем можно моделировать с использованием значений модификации показателя (сдвига) высоты тона звука (также иногда обозначаемых просто как p на протяжении всего раскрытия настоящего изобретения). Таким образом, в соответствии с общей концепцией полутонов в некоторых возможных реализациях настоящего изобретения, как это будет более подробно описано ниже, положительное значение модификации показателя (сдвига) высоты тона может в общем означать увеличение высоты тона источника звука, в частности, в единицах полутонов. Например, значение модификации показателя высоты тона, равное 2, может просто привести к увеличению высоты тона источника звука на 2 полутона. Соответственно, отрицательное значение модификации показателя (сдвига) высоты тона может в общем означать уменьшение высоты тона (в единицах полутонов) источника звука. Однако, как будет очевидно специалисту в данной области техники, в контексте настоящего изобретения могут быть возможны также альтернативные схемы и единицы для значений показателя модификации высоты тона.

Некоторые подходы к моделированию эффекта Доплера могут включать моделирование на основе физического описания и/или аппроксимации эффекта Доплера. Таким образом, эти подходы в общем не предусматривают средств ни для учета способностей базового блока обработки сигнала для модификации показателя высоты тона (например, высокой величины значений модификации показателя высоты тона для высоких относительных скоростей, точки сингулярности), ни для управления значениями модификации показателя высоты тона (т. е. представляющими интенсивность эффекта Доплера) в соответствии с замыслом создателя содержимого (другими словами, субъективным опытом прослушивания).

Ввиду этого, настоящее изобретение в общем может быть направлено на решение данной проблемы с учетом таких факторов, как: 1) относительные скорости (рассчитываемые на основе положений слушателя и источника звука, обозначаемые также как v на протяжении всего раскрытия настоящего изобретения); 2) диапазон значений модификации показателя высоты тона, поддерживаемый блоком обработки сигнала (обозначаемый также как l на протяжении всего раскрытия настоящего изобретения); и 3) установка создателя содержимого (например, на основе (традиционного) уравнения моделирования, эталона из реального мира, художественных ожиданий для интенсивности эффекта Доплера и т. д., обозначаемая также как s на протяжении всего раскрытия настоящего изобретения), нахождение подходящих значений p модификации высоты тона, которые могут с точки зрения восприятия соответствовать входным данным согласно 1)–3). Примечательно, что в некоторых возможных реализациях диапазон l значений модификации показателя высоты тона может сам по себе содержать нижний предел l_l и верхний (расположенный выше) предел l_h, в связи с чем диапазон l может быть также обозначен как .

В широком смысле для решения указанной выше проблемы в настоящем изобретении в общем предложено рассмотреть реализацию функции F модификации показателя высоты тона для отображения относительных скоростей v в значения p модификации показателя высоты тона с учетом ограничений l блока обработки сигнала и регулируемых пользователем установок s. В некоторых возможных реализациях функция F модификации показателя высоты тона может быть реализована как модифицированная обобщенная логистическая функция.

Возможным примером (не налагающим каких-либо ограничений) для реализации такой функции F модификации показателя высоты тона может быть следующее:

(1)

где, как проиллюстрировано выше, v обозначает относительные скорости между слушателем и источником звука, обозначает диапазон значений модификации показателя высоты тона, поддерживаемый базовым блоком обработки сигнала для выполнения моделирования (например, расположенным в устройстве рендеринга звука), причем l_l представляет нижний предел, а l_h представляет верхний предел соответственно, s обозначает установку создателя содержимого (например, на основе (традиционного) уравнения моделирования, эталона из реального мира, художественных ожиданий для интенсивности эффекта Доплера и т. д.), и e является математической постоянной (число Эйлера).

Любые эквивалентные представления уравнения (1) охватываются настоящим изобретением. Например, как будет очевидно специалисту в данной области техники, поддерживаемый диапазон значений модификации показателя высоты тона может быть выражен любой подходящей комбинацией двух параметров, считающихся охваченными настоящим изобретением. Например, вместо использования нижнего и верхнего пределов l_h и l_h может быть также использовано указание любого предела вместе с указанием или т.п. размера допустимого диапазона. В этом случае будет соблюдаться, например, или , и это можно будет использовать для модифицирования приведенного выше уравнения (1).

Дополнительно число Эйлера в уравнении (1) можно также заменить альтернативными постоянными больше 1 или, поменяв знак экспоненты, альтернативными постоянными меньше 1.

Что касается графических материалов, то на фиг. 1 представлена схематическая иллюстрация, на Кроме того, как будет понятно и очевидно специалисту в данной области техники, функция F модификации показателя высоты тона также может быть задана в любых других подходящих формах/формулах в зависимости от различных требований и/или реализаций при условии учета вышеуказанных требований (т. е. параметра l диапазона/ограничения и установки s пользователя / создателя содержимого). Свойства функции F модификации показателя высоты тона могут стать более очевидными с помощью приведенных ниже сопроводительных графических материалов описания.

Примечательно, что в широком смысле применение подходов, предлагаемых в настоящем изобретении, позволяет осуществлять регулировку значений для параметров ограничений l блока обработки сигнала и пользовательской(пользовательских) установки(установок) s на стороне кодера (и, возможно, помещать их, например, заключать, в битовый поток). В сущности, создатель содержимого может иметь возможность устанавливать контроль над моделированием эффекта Доплера для приведения его в соответствие с возможностями устройства рендеринга звука и в то же время также регулировать его согласно своим собственным предпочтениям.

Что касается графических материалов, то на фиг. 1 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значениями модификации высоты тона на основе разных подходов к моделированию эффекта Доплера.

В частности, на оси x схематически показаны (входные) относительные скорости между источником звука и наблюдателем (например, слушателем в среде с 6DoF). Относительные скорости между источником звука и наблюдателем/слушателем могут быть определены любым подходящим образом, например, на основе положений слушателя и источника звука. Например, в некоторых возможных реализациях относительные скорости могут быть определены на основе скорости (например, производной 1^-го порядка) изменений положений слушателя и источника звука (например, с точки зрения расстояния между источником звука и наблюдателем/слушателем). При этом, как будет понятно и очевидно специалисту в данной области техники, отрицательные значения относительных скоростей могут в общем означать, что источник звука и наблюдатель/слушатель приближаются друг к другу (становятся друг к другу ближе); тогда как положительные значения относительных скоростей могут в общем означать, что источник звука и наблюдатель/слушатель друг от друга отдаляются (становятся дальше).

С другой стороны, на оси y схематически показаны (выходные) значения модификации сдвига высоты тона (например, в единицах полутонов). Как проиллюстрировано выше, в некоторых возможных реализациях положительные значения модификации сдвига высоты тона могут в общем означать увеличение высоты тона источника звука; тогда как отрицательные значения модификации сдвига высоты тона могут в общем означать уменьшение высоты тона источника звука, например, и то, и другое в единицах полутонов.

В частности, на диаграмме 101 на фиг. 1 в общем показан пример (теоретического) эталона модели эффекта Доплера, например, на основе (теоретической) математической формулы. Поскольку диаграмма 101 в общем представляет (теоретический) эталон для моделирования эффекта Доплера, эта диаграмма может не подходить, например, для реальных реализаций программного обеспечения (или, другими словами, может не подходить для реализации в рендеринге звукового содержимого в среде с 6DoF), но ее можно рассматривать, главным образом, как представляющую чисто математическую иллюстрацию для моделирования «природы» эффекта Доплера. Таким образом, как будет понятно и очевидно специалисту в данной области техники, «отсечку», показанную на диаграмме 101 (около отметки -343 м/с), можно в общем рассматривать как следствие ограничения скорости звука. Подобным образом, почти бесконечные значения модификации показателя высоты тона, когда относительные скорости приближаются к отметке -343 м/с (от 0), также приводят к тому, что диаграмма 101 выглядит каким-то образом «сегментированной».

С другой стороны, диаграмма 102 в общем представляет пример моделирования эффекта Доплера согласно возможному подходу. Такое моделирование может быть выполнено, например, на основе оценки (аппроксимации) (теоретической) математической формулы.

Более того, на диаграмме 103 (сплошная линия) в общем показан пример возможного моделирования эффекта Доплера согласно варианту осуществления настоящего изобретения. Как проиллюстрировано выше, это моделирование эффекта Доплера, достигаемое с помощью (предварительно определенной) функции F модификации показателя высоты тона, предусматривает множество параметров (или, другими словами, принимает множество параметров в качестве входных данных), среди которых диапазон значений модификации показателя высоты тона, поддерживаемый блоком обработки сигнала (т. е. l), и установка создателя содержимого (т. е. s), на основе, например, (традиционного) уравнения моделирования, эталона из реального мира, художественных ожиданий для интенсивности эффекта Доплера и т. д. В частности, параметр l в общем отвечает за управление (верхним и/или нижним) пределом модели эффекта Доплера, тогда как параметр s в общем отвечает за управление наклоном (или в некоторых случаях называемым также «интенсивностью» или «агрессивностью») модели эффекта Доплера.

Следует отметить, что в конкретном примере, показанном на фиг. 1, параметр l диапазона/предела установлен в качестве примера как {-8, 8} или, другими словами, как (это видно по представленной в качестве примера диаграмме 103, а также диаграмме 102); и параметр s интенсивности/агрессивности установлен в качестве примера равным 0,015. Однако, как будет понятно и очевидно специалисту в данной области техники, эти значения параметров приведены просто в качестве возможных примеров (а не в качестве каких-либо ограничений), и любые другие подходящие значения могут, разумеется, быть использованы в зависимости от различных требований и/или реализаций.

Как ясно показано в примере по фиг. 1, диаграмма 102 (т. е. представляющая возможное моделирование эффекта Доплера) в общем демонстрирует «грубый»/«жесткий» переход (или движение) от более низкого диапазона скоростей (приблизительно от 0 до ± 170 м/с) к более высокому диапазону скоростей (приблизительно выше ±170 м/с). И наоборот, движение в этих областях на диаграмме 103 (представляющей возможную реализацию согласно варианту осуществления настоящего изобретения) выглядит «более мягким». Соответственно, качество звука (звукового содержимого, подвергаемого рендерингу в соответствии с моделью эффекта Доплера по диаграмме 103), воспринимаемое слушателем (например, в среде с 6DoF), может быть улучшено.

Как указано выше, для реализации функции F модификации показателя высоты тона может быть использована любая подходящая форма/формула (отличная от приведенной в качестве примера в уравнении (1)) при условии учета по меньшей мере параметра l диапазона/ограничения и установки s пользователя / создателя содержимого. Тем не менее, возможно, стоит отметить несколько свойств, которые функции F модификации показателя высоты тона, возможно, придется обеспечить для достижении более или менее схожих характеристик (например, с точки зрения воспринимаемого качества звука) по сравнению с характеристиками приведенного выше в качестве примера уравнения (1).

Выражаясь более конкретно, согласно вариантам осуществления настоящего изобретения функция F модификации показателя высоты тона может иметь одно или более следующих свойств:

● является непрерывной и монотонной по отношению к относительным скоростям,

● имеет асимптотические пределы, управляемые одним или более параметрами диапазона/предела (т. е. l),

● дает нулевое значение модификации показателя высоты тона при нулевой относительной скорости и/или

● имеет наклон вблизи нулевой скорости, управляемый параметром агрессивности/интенсивности (т. е. s).

В некоторых реализациях функция F модификации показателя высоты тона может иметь все из перечисленных выше свойств.

Перечисленные выше свойства четко отражены также на диаграмме 103, реализующей функцию F модификации показателя высоты тона согласно варианту осуществления настоящего изобретения.

Далее ссылка осуществляется на фиг. 2 и 3, на которых схематически более подробно проиллюстрировано то, как разные установки параметров влияют на моделирование эффекта Доплера. Как проиллюстрировано выше, в широком смысле можно понять, что установка блока обработки сигнала (например, l) в общем влияет на асимптотические пределы функции больше в областях высоких относительных скоростей (например, как представлено в качестве примера на фиг. 2); тогда как установка эталона создателя содержимого (например, s) в общем влияет на наклон функции F больше вокруг области низких относительных скоростей (например, как представлено в качестве примера на фиг. 3).

В частности, на фиг. 2 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значениями модификации высоты тона для разных установок параметра l диапазона моделирования эффекта Доплера согласно вариантам осуществления настоящего изобретения. Примечательно, что диаграмма 201 на фиг. 2, будучи (теоретическим) математическим представлением эффекта Доплера, является такой же, как диаграмма 101 на фиг. 1, так что ее повторное описание может быть опущено для краткости.

В частности, в примерах, показанных на фиг. 2, параметры диапазона/предела для диаграмм 202, 203 и 204 в качестве примера установлены как , и соответственно. С другой стороны, параметр s наклона на всех диаграммах 202, 203 и 204 является одинаковым (и может быть установлен на любое подходящее значение, например, 0,015). Таким образом, как можно видеть на фиг. 2, диаграммы 202, 203 и 204 показывают более или менее схожий наклон (в частности, в области низкой скорости), тогда как лишь соответственные верхние величины и/или пределы (выходных) значений модификации показателя высоты тона различаются в зависимости от параметров диапазона/предела.

Как упоминалось выше, параметр l диапазона/предела в общем задан так, чтобы он указывал на диапазон значений модификации показателя высоты тона, поддерживаемых (базовым) блоком обработки сигнала (например, на стороне устройства рендеринга) для выполнения моделирования Доплера. Иными словами, такой(такие) параметр(параметры) l можно также рассматривать как в общем представляющий(представляющие) возможность (обработки) (например, с точки зрения возможности аппаратного обеспечения и/или программного обеспечения) блока обработки сигнала (или, если не вдаваться в детали, устройства рендеринга). Более того, как отмечалось выше, функция F модификации показателя высоты тона, как правило, может быть реализована в виде плагина (или заключена в виде своего рода библиотеки), который просто принимает (например, со стороны кодирования) параметр(параметры) l диапазона вместе с другими входными данными (например, относительными скоростями, установкой s создателя содержимого и т. д.). Таким образом, в некоторых реализациях может быть возможна ситуация, при которой принятый таким образом параметр l диапазона не будет, к сожалению, поддерживаться (либо полностью, либо частично) устройством рендеринга (его блоком обработки). Примером такого сценария может быть то, что мобильное устройство (например, мобильный телефон) с (относительно) ограниченной возможностью обработки (рендеринга) принимает наряду со звуковым содержимым для рендеринга параметр l диапазона (например, ), который был установлен (например, кодером) изначально в качестве целевого для (относительно) более мощного устройства, осуществляющего рендеринг (например, игровой консоли или профессиональной рабочей станции). В таких случаях может быть более практичным для мобильного устройства применять установку параметра заданного по умолчанию диапазона (например, или ) вместо использования принятого неподдерживаемого параметра l (например, ). В данном случае установка параметра заданного по умолчанию диапазона может, например, быть установлена производителем (мобильного устройства), чтобы более правильно отражать фактическую возможность обработки (рендеринга) этого мобильного устройства, во избежание неожиданного и негативного влияния на процесс рендеринга.

С другой стороны, на фиг. 3 представлена схематическая иллюстрация, на которой показаны представленные в качестве примера отображения функции между относительными скоростями и значения модификации высоты тона для разных установок параметра s интенсивности моделирования эффекта Доплера согласно вариантам осуществления настоящего изобретения. Подобно вышеуказанному, диаграмма 301 на фиг. 3, представляющая собой (теоретическое) математическое представление эффекта Доплера, является такой же, как и диаграмма 101 на фиг. 1 (и такой же, как и диаграмма 201 на фиг. 2), так что ее повторное описание может быть опущено для краткости.

В примерах, показанных на фиг. 3, параметр s наклона/агрессивности (например, главным образом, используемый для представления замысла создателя содержимого для субъективного опыта прослушивания) на диаграммах 302, 303, 304 и 305 в качестве примера установлен как , , и соответственно. С другой стороны, параметр l диапазона на всех диаграммах 302, 303, 304 и 305 является одинаковым (и может быть установлен на любое подходящее значение, например, {-8,8}). Таким образом, как можно видеть на фиг. 3, диаграммы 302, 303, 304 и 305 показывают варьируемые наклоны (в частности, в области низкой скорости), но более или менее схожие (теоретические) верхние величины и/или пределы (выходных) значений модификации показателя высоты тона. Тем самым разные «интенсивности» эффекта Доплера в подвергаемом рендерингу звуковом содержимом могут восприниматься слушателем (например, в среде с 6DoF), например, в зависимости от замысла создателя содержимого.

Если подытожить, путем надлежащей установки параметра s наклона/агрессивности (возможно, с последующим кодированием/заключением значения параметра, например, в битовом потоке или другом подходящем формате, и передачей или сообщением его устройству на стороне пользователя/декодера или устройству рендеринга в общем), создатель содержимого (или «игровой движок» в некоторых возможных реализациях) в общем имеет свободу управлять поведением моделирования эффекта Доплера по желанию, например, от полного отсутствия моделирования эффекта Доплера до (почти) «реального» (теоретического) моделирования эффекта Доплера или даже чрезвычайно активного моделирования эффекта Доплера.

Таким образом, можно считать, что настоящее изобретение предоставляет создателям содержимого дополнительную степень свободы в отношении моделирования эффекта Доплера на стороне пользователя. Таким образом, настоящее изобретение позволяет создателю содержимого выборочно управлять моделированием эффекта Доплера или преодолевать его с помощью декодера / устройства рендеринга в зависимости от объекта. Это обеспечивается путем предоставления набора значений параметра устройству на стороне пользователя/декодера (включая, в конечном итоге, фактическое устройство рендеринга) в подходящей форме. Эти значения параметра могут быть кодированы в битовом потоке или могут быть предоставлены устройству рендеринга в любой форме, подходящей для интерфейсов данных устройства рендеринга или совместимой с ними.

В качестве иллюстративного неограничивающего примера может быть рассмотрен случай использования сцены VR с летающим самолетом со сверхзвуковой скоростью. Если бы применялись фактические законы физики для моделирования эффекта Доплера (например, соответствующего диаграмме 301 на фиг. 3), пользователь/слушатель (например, игрок или другой получатель содержимого сцены VR), вероятно, вовсе не воспринимал бы звук от самолета, что привело бы к неприятному (но физически реалистичному) опыту VR (например, игровому опыту). В этом случае, в частности, путем применения способов, предлагаемых в настоящем изобретении, создатель содержимого (или надлежащим образом сконфигурированный игровой движок) будет иметь свободу управления моделированием эффекта Доплера по желанию. Другими словами, за счет надлежащей установки, например, значения параметра s наклона/агрессивности создателю содержимого (или игровому движку) предоставлена свобода, при необходимости или желании, преодоления моделирования Доплера устройства рендеринга согласно законам физики (например, соответствующего диаграмме 301 на фиг. 3) за счет использования других установок моделирования (например, соответствующих диаграммам 302, 303, 304 или 305 и т. д.), что приводит к, возможно, менее правильному или менее реалистичному, но более приятному опыту прослушивания для пользователя в среде VR. В этом примере предполагается, что устройство рендеринга, используемое для рендеринга сцены VR, способно применять «заданное по умолчанию» моделирование эффекта Доплера в соответствии с законами физики или на их основе. В некоторых примерных реализациях это заданное по умолчанию моделирование эффекта Доплера может быть реализовано посредством конкретного набора значений параметра для вышеупомянутой формулы.

В качестве другого иллюстративного неограничивающего примера более слабое моделирование эффекта Доплера или, возможно, даже полное отсутствие моделирования эффекта Доплера может быть применено для объектов с относительно низкой скоростью или объектов с речью (например, персонажей мультипликационного фильма), тогда как умеренное или физически правильное моделирование эффекта Доплера может быть рассмотрено для остальных. Например, при рассмотрении сцены, имеющей очень быстрый звуковой объект (такой как летающий супергерой, например), обладающий речью, отнесенной к нему, может быть желательным применение меньшего моделирования эффекта Доплера к речи или его полное отсутствие, но применение по меньшей мере некоторой степени моделирования эффекта Доплера к оставшимся звукам.

На фиг. 4 представлена схематическая блок-схема, на которой проиллюстрирован пример способа 400 моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF согласно вариантам осуществления настоящего изобретения. В зависимости от реализаций способ может быть выполнен в декодере или среде на стороне пользователя (например, среде VR/AR).

В частности, способ 400 может начинаться на этапе S401 путем получения (например, приема) значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации показателя высоты тона. Впоследствии на этапе S402 способ 400 может включать получение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера. Способ 400 может затем продолжаться этапом S403, на котором определяют значение модификации показателя высоты тона на основе относительной скорости между слушателем и источником звука в звуковом содержимом и значений первого и второго параметров с использованием предварительно заданной функции модификации показателя высоты тона. Функция модификации показателя высоты тона может быть предварительно заданной, например, предварительно реализованной в виде плагина или библиотеки, в любой подходящей форме в соответствии с вышеприведенной иллюстрацией в отношении фиг. 1–3. В частности, предварительно заданная функция модификации показателя высоты тона может иметь, помимо прочего, первый и второй параметры (или, другими словами, может принимать первый и второй параметры в качестве (дополнительных) входных данных) и может представлять собой функцию для отображения относительных скоростей в значения модификации показателя высоты тона. Наконец, способ 400 может включать на этапе S404 рендеринг источника звука на основе значения модификации показателя высоты тона. В зависимости от реализаций способ может необязательно дополнительно включать этап вывода подвергнутого рендерингу источника звука, например, на устройство вывода (воспроизведения) (например, соответствующее одному или более динамикам, наушникам и т. д. или содержащее их), где подвергнутые рендерингу звуковые выходные данные (сигнал) с моделированным эффектом Доплера могут быть воспроизведены и восприняты пользователем.

Как упоминалось выше, предлагаемый способ 400 в общем может обеспечивать использование предварительно заданной (или предварительно определенной / предварительно реализованной) функции модификации показателя высоты тона для отображения относительных скоростей в соответствующие значения модификации показателя высоты тона для моделирования эффекта Доплера (например, при рендеринге звукового содержимого в среде с 6DoF). В ходе работы на практике при выполнении предлагаемого способа 400, например, с помощью устройства, осуществляющее рендеринг звука (например, устройства, осуществляющего рендеринг звука, устройства AR/VR в среде на стороне пользователя), где используется предварительно заданная функция модификации показателя высоты тона, устройство, осуществляющее рендеринг звука, может быть выполнено с возможностью получения значений первого и второго параметров, соответствующих первому и второму параметрам соответственно. Например, устройство, осуществляющее рендеринг звука, может получать значения первого и второго параметров для источника звука на основе кадра, например, для каждого кадра или для каждого ключевого кадра. Соответственно, в настоящем изобретении предоставлено зависящее от времени и/или зависящее от объекта управление моделированием эффекта Доплера.

Фактическое получение значений первого и второго параметров может быть выполнено любым подходящим образом в зависимости от требований и/или реализаций. Например, в некоторых возможных реализациях значения первого и второго параметров могут быть получены (например, декодированы или извлечены) из битового потока, который был кодирован и отправлен устройством, осуществляющим кодирование (например, описанным в способе 500 ниже в связи с фиг. 5). В некоторых других возможных реализациях значения первого и второго параметров могут быть получены (например, просто считаны) из файла или справочной таблицы (LUT), например, хранящейся в запоминающем устройстве пользовательского устройства, на основе указания в битовом потоке. В этом случае среда/устройство на стороне кодирования может отправлять, например, надлежащий указатель, ссылку или индекс, который, например, кодирован в битовом потоке, в простой/ясной или в любой другой подходящей форме.

Также следует отметить, что в зависимости от того, как само фактическое звуковое содержимое кодировано и/или передано, декодирование звукового содержимого (например, звукового сигнала) на стороне пользователя может быть выполнено любым подходящим образом и в любой подходящий момент времени перед выполнением окончательного рендеринга (этапа S404), как будет понятно и очевидно специалисту в данной области техники. Таким образом, декодирование фактического звукового содержимого (например, звукового сигнала) является независимым от определения значения модификации показателя высоты тона.

Предлагаемый в вышеописанной конфигурации способ может обеспечить эффективный и гибкий механизм для выполнения моделирования эффекта Доплера (например, управления им) при рендеринге звукового содержимого для среды с 6DoF с учетом одновременно как (допустимых или приемлемых) способностей базового блока обработки сигнала (устройства рендеринга звука) для модификации показателя высоты тона (например, высокой величины значений модификации показателя высоты тона для высоких относительных скоростей, точки сингулярности и т. д.), так и обеспечения возможности управления (желаемыми) значениями модификации показателя высоты тона (т. е. представляющими желаемую интенсивность/агрессивность подлежащего моделированию эффекта Доплера) в соответствии с замыслом создателя содержимого (другими словами, субъективным опытом прослушивания), что тем самым улучшает воспринимаемый опыт прослушивания (на стороне слушателя, например, игрока в среде VR).

Более того, поскольку функция модификации показателя высоты тона уже предварительно реализована в виде предварительно заданной функции, в которой, помимо прочего, значения как первого, так и второго параметров взяты в качестве входных данных, то в общем нет необходимости повторно создавать (или повторно реализовывать) новую функцию модификации показателя высота тона при каждом изменении условия рендеринга (например, использование другого устройства рендеринга с другими возможностями обработки, создание другого звукового содержимого другим автором и/или для другой сцены и т. д.). Скорее, в общем необходимо лишь сообщать (например, с использованием битового потока, кодированного на стороне кодирования) разные значения первого и второго параметров, представляющие соответствующие допустимые диапазоны (например, пределы) значений модификации показателя высоты тона и соответствующую желаемую интенсивность подлежащего моделированию эффекта Доплера соответственно. В сущности, в некоторых возможных сценариях предварительно заданная функция модификации показателя высоты тона может быть реализована так же просто, как плагин или библиотека (посредством взятия первого и второго параметров в качестве входных данных для моделирования желаемого эффекта Доплера), которые можно использовать в различном программном обеспечении и/или платформах или которые даже при необходимости можно дополнительно настраивать под потребности в зависимости от различных требований и/или реализаций. За счет этого будет предотвращено ненужное повторное создание / повторная реализация функций модификации показателя высоты тона, что дополнительно повысит эффективность общего процесса рендеринга звука.

На фиг. 5 представлена схематическая блок-схема, на которой проиллюстрирован еще один пример способа 500 кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF согласно вариантам осуществления настоящего изобретения. Другими словами, параметры, кодированные таким образом с помощью данного способа 500, могут быть использованы в предыдущем способе 400, описанном со ссылкой на фиг. 4, для моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF. То есть в некоторых возможных реализациях значения параметра, кодированные с помощью способа 500 по фиг. 5, могут быть переданы или сообщены (любым подходящим образом), например, устройству на стороне пользователя (например, в среде на стороне пользователя или декодирования/рендеринга). Устройство на стороне пользователя может быть выполнено с возможностью получения значений параметра (например, декодирования из битового потока) надлежащим образом и выполнения способа 400 моделирования эффекта Доплера, описанного выше в отношении фиг. 4. Примечательно, что в зависимости от реализаций способ 500 кодирования может быть выполнен, например, устройством, осуществляющим кодирование (или кодером, если кратко), использующим пользовательский ввод от создателя содержимого, игровым движком и т. д.

В частности, способ 500 может начинаться с этапа S501 путем определения значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации показателя высоты тона. Впоследствии на этапе S502 способ 500 может включать определение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера. Наконец, способ 500 может на этапе S503 включать кодирование указаний значений первого и второго параметров. В частности, значения первого и второго параметров могут быть использованы для отображения относительной скорости между слушателем и источником звука звукового содержимого в значение модификации показателя высоты тона на основе предварительно заданной функции модификации показателя высоты тона. Как проиллюстрировано выше, значение модификации показателя высоты тона может быть использовано для рендеринга источника звука, и предварительно заданная функция модификации показателя высоты тона может иметь первый и второй параметры и может представлять собой функцию для отображения относительных скоростей в значения модификации показателя высоты тона.

Как будет понятно и очевидно специалисту в данной области техники, значения первого и второго параметров могут быть кодированы любым подходящим образом. Например, в некоторых реализациях первый и второй параметры могут быть кодированы вместе со звуковым содержимым (например, звуковым сигналом) в один битовый поток или в отдельные битовые потоки. Также в зависимости от реализаций и/или требований значения первого и второго параметров (возможно, также со звуковым содержимым/сигналом) могут быть кодированы в любой подходящий формат, например, битовый поток или форматы данных, совместимые со стандартами для звука, такими как стандарты MPEG для звука (например, ожидаемый стандарт MPEG-I для звука и т. д.), со сжатием или без него. В этом случае значения первого и второго параметров могут быть кодированы соответствующим образом, например, в виде части поля заголовка, метаданных и т. д., как будет понятно и очевидно специалисту в данной области техники. В некоторых других возможных случаях значения первого и второго параметров могут быть вставлены (заключены) в виде простых переменных (например, чисел с плавающей запятой) в любой подходящий формат данных. Кодированный(кодированные) битовый(битовые) поток(потоки) может(могут) также быть передан(переданы) или сообщен(сообщены) среде пользователя (например, содержащей устройство, осуществляющее декодирование или рендеринг) путем использования любых подходящих средств, например, проводным или беспроводным образом.

Кроме того, как упоминалось выше, способ 500 кодирования, предлагаемый в настоящем изобретении, может быть выполнен на основе пользовательского ввода, например, создателем содержимого. В этом случае определение значений первого параметра на этапе S501 и/или определение значения второго параметра на этапе S502 могут быть основаны на пользовательском вводе. Аналогичным образом, способ 500 кодирования может быть выполнен (основанным на программном обеспечении) игровым движком (логическим движком управления игрой) в зависимости от сценариев и/или реализаций. В этом случае определения на этапе S501 и/или этапе S502 будут выполнены в соответствии с процедурами принятия решений игрового движка, например, на основе типа и/или скорости источника звука.

Выражаясь более конкретно, в случае пользовательского ввода от создателя содержимого в некоторых возможных реализациях создатель содержимого может получать путем использования любых подходящих средств информацию, указывающую на возможность обработки или профиль целевого устройства, осуществляющего декодирование/рендеринг, чтобы надлежащим образом определить и установить значения для первых параметров, указывающих на допустимый диапазон значений модификации показателя высоты тона. В некоторых возможных реализациях также возможно, что создатель содержимого может вводить множество наборов параметров для кодирования (т. е. с соответственными значениями первого и второго параметров) для соответственного множества целевых устройств, причем каждый из наборов параметров содержит значения первого и второго параметров, предназначенные для соответственного устройства, осуществляющего декодирование/рендеринг. В этом случае устройство, осуществляющее декодирование/рендеринг, может просто отбирать или выбирать из принятых наборов параметров для получения соответственных значений первого и второго параметров, которые лучше всего подходят устройству, осуществляющему декодирование/рендеринг (например, которые лучше всего подходят профилю или возможности устройства, осуществляющего декодирование/рендеринг). В дополнение к этому, создателю содержимого может также потребоваться в зависимости от различных сценариев и/или реализаций определить, следует ли вообще применять моделирование эффекта Доплера или нет, и, если да, то в какой мере (например, как проиллюстрировано выше в отношении фиг. 3). Например, в некоторых возможных реализациях создатель содержимого может использовать и установить (глобальный) флаг (например, конкретное битовое поле в битовом потоке) для (глобальной) активации или деактивации моделирования эффекта Доплера. Этот флаг затем также должен быть кодирован. В некоторых других возможных реализациях создатель содержимого может просто установить (например, путем управления значением второго параметра, указывающего на желаемую интенсивность) наклон (агрессивность) подлежащего моделированию эффекта Доплера на ноль вместо использования (глобального) флага. Таким образом, по сравнению с глобальной активацией или деактивацией создатель содержимого может иметь дополнительную свободу для более непрерывного управления моделированием эффекта Доплера (например, с использованием покадрового управления моделированием эффекта Доплера).

С другой стороны, в случае (основанного на программном обеспечении) игрового движка (например, для среды VR/AR), выполняющего задачу кодирования, процесс является более или менее таким же, как проиллюстрировано выше в отношении пользовательского ввода от создателя содержимого (являющегося человеком), за исключением того, что роль создателя содержимого теперь выполняет игровой движок. В частности, теперь игровому движку (или его разработчику(разработчикам)) может потребоваться получить информацию о соответствующей возможности/профиле платформы рендеринга/декодирования и дополнительно определить и управлять (например, путем использования любой подходящей логики/алгоритма, машинного обучения, жесткой кодировки и т. д.) наклоном/агрессивностью моделирования эффекта Доплера должным образом в зависимости от реализаций и/или требований. В некотором возможном случае, главным образом, по причине того, что при рендеринге (в режиме реального времени) в среде VR/AR игровой движок (выполняющий задачу кодирования), как правило, расположен вместе (например, в одном и том же компьютерном устройстве или игровой консоли) с устройством/компонентом, осуществляющим декодирование/рендеринг, значения первого и второго параметров могут даже не нуждаться в кодировании в битовый поток, но могут быть сообщены/переданы устройству/компоненту, осуществляющему декодирование/рендеринг, в другом подходящем формате (например, в виде простой переменной и т. д.). Также в зависимости от сценариев и/или реализаций значения параметра могут быть сообщены периодически (например, на основе кадра), или по требованию, или в любой другой подходящей форме.

Предлагаемый в вышеописанной конфигурации способ может обеспечить эффективный и гибкий механизм для кодирования параметров, подлежащих использованию для моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF, с учетом одновременно как (допустимых или приемлемых) способностей базового блока обработки сигнала (на стороне устройства рендеринга звука) для модификации показателя высоты тона (например, высокой величины значений модификации показателя высоты тона для высоких относительных скоростей, точки сингулярности и т. д.), так и обеспечения возможности управления (желаемыми) значениями модификации показателя высоты тона (т. е. представляющими желаемую интенсивность эффекта Доплера) в соответствии с замыслом создателя содержимого (другими словами, субъективным опытом прослушивания), что тем самым улучшает воспринимаемый опыт прослушивания (на стороне слушателя/пользователя).

Более того, как отмечалось выше, поскольку функция модификации показателя высоты тона уже реализована и используется в виде предварительно заданной функции (на стороне устройства рендеринга), в которой первый и второй параметры взяты в качестве входных данных, то в общем нет необходимости повторно создавать (или повторно реализовывать) новую функцию модификации показателя высота тона при каждом изменении условия рендеринга (например, использование другого устройства рендеринга с другими возможностями обработки, создание другого звукового содержимого другим человеком и/или для другой сцены и т. д.). Вместо этого сторона кодирования может просто сообщать разные значения первого и второго параметров (например, кодированные в битовом потоке), представляющие соответствующие допустимые диапазоны (пределы) значений модификации показателя высоты тона и соответствующие желаемые интенсивности подлежащего моделированию эффекта Доплера соответственно. В сущности, в некоторых возможных сценариях предварительно заданная функция модификации показателя высоты тона может быть реализована так же просто, как плагин (на стороне устройства рендеринга), который можно использовать в различном программном обеспечении и/или платформах или при необходимости можно даже дополнительно настраивать под потребности в зависимости от различных требований и/или реализаций. За счет этого будет предотвращено ненужное повторное создание / повторная реализация функций модификации показателя высоты тона, что дополнительно повысит эффективность общего процесса рендеринга звука.

Наконец, следует отметить, что минимальное(минимальные) требование(требования) для функции F модификации показателя высоты тона, упомянутой выше, обеспечивает(обеспечивают) возможность простой в вычислительном отношении реализации данной функции, при этом по-прежнему обеспечивая достижение реалистичного моделирования эффекта Доплера. Это может быть, в частности, верным для явного примера функции F модификации показателя высоты тона, приведенной в уравнении (1) и его эквивалентах.

Далее на фиг. 6A–6B и фиг. 7A–7B будут схематически проиллюстрированы сравнения между звуковыми сигналами, обрабатываемыми с помощью возможного подхода к моделированию эффекта Доплера (например, в среде на стороне пользователя), и звуковыми сигналами, обрабатываемыми согласно вариантам осуществления настоящего изобретения (например, в среде на стороне пользователя). Другими словами, на фиг. 6A–6B и фиг. 7A–7B в общем показаны и сравнены соответственные результаты рендеринга (в виде спектрограмм), полученные путем применения разных подходов к моделированию для эффекта Доплера. В частности, как может быть понятно и очевидно специалисту в данной области техники, на фиг. 6A–6B и фиг. 7A–7B ось x в общем представляет время, тогда как ось y в общем представляет частоту.

В частности, как отражено на фиг. 6A (согласно возможному традиционному подходу к моделированию) по сравнению с фиг. 6B (согласно возможной реализации настоящего изобретения), где одни и те же представленные в качестве примера звуковые сигналы «самолет» обрабатываются с помощью соответственных подходов к моделированию, функция F модификации показателя высоты тона, предлагаемая в настоящем изобретении (т. е. представленная в качестве примера на фиг. 6B), в общем демонстрирует более высокий порядок непрерывности (мягкие/плавные изгибы в сравнении с жесткими/резкими изгибами), что, в свою очередь, приводит к лучшим воспринимаемым характеристикам. Подобные результаты можно также наблюдать в сравнении, показанном на фиг. 7A и 7B, где одни и те же представленные в качестве примера звуковые сигналы «сирена» обрабатываются с помощью соответственных подходов к моделированию. В обоих случаях по фиг. 6A–6B и фиг. 7A–7B в целях иллюстрации предполагается постоянное ускорение источника звука от -500 до +500 м/с. Примечательно, что, как будет понятно и очевидно специалисту в данной области техники, линии или конструкции в виде линий, показанные на фиг. 6A–6B и фиг. 7A–7B, проходящие от левого края диаграмм к правому, могут рассматриваться как представляющие «изоэнергетические» слоты времени/частоты в том плане, что эти линии или конструкции в виде линий связывают слоты времени/частоты с существенно равной или сравнимой плотностью энергии. Таким образом, эти линии или конструкции в виде линий показывают то, как плотность энергии переместилась по частоте по мере прохождения времени.

Настоящее изобретение аналогичным образом относится к аппаратам для выполнения способов и методов, описанных на протяжении всего раскрытия настоящего изобретения. На фиг. 8A и 8B в общем показаны примеры таких аппаратов 800 и 801 соответственно. В частности, аппарат 800 (или 801) содержит процессор 810 (или 811) и запоминающее устройство 820 (или 821), соединенное с процессором 810 (или 811). Запоминающее устройство 820 (или 821) может хранить команды для процессора 810 (или 811). Процессор 810 (или 811) может принимать, помимо прочего, входные данные 830 (или 831) (например, в виде битового потока или в любом другом подходящем формате). Процессор 810 (или 811) может быть приспособлен для выполнения способов/методов, описанных на протяжении всего раскрытия настоящего изобретения, и для генерирования соответственно выходных данных 840 (или 841). Например, аппарат 800 может в зависимости от обстоятельств реализовывать устройство рендеринга звука, выполненное с возможностью выполнения способа 400 моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF, как проиллюстрировано выше в отношении фиг. 4; и аппарат 801 может в зависимости от обстоятельств реализовывать кодер, выполненный с возможностью выполнения способа 500 кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF, как проиллюстрировано выше в отношении фиг. 5, согласно вариантам осуществления настоящего изобретения.

Интерпретация

Вычислительное устройство, реализующее методы, описанные выше, может иметь следующую примерную архитектуру. Возможны и другие архитектуры, включая архитектуры с большим или меньшим количеством компонентов. В некоторых реализациях примерная архитектура предусматривает один или более процессоров (например, двухъядерные процессоры Intel® Xeon®), одно или более устройств вывода (например, LCD), один или более сетевых интерфейсов, одно или более устройств ввода (например, мышь, клавиатуру, сенсорный дисплей) и один или более машиночитаемых носителей (например, RAM, ROM, SDRAM, жесткий диск, оптический диск, флеш-память и т. д.). Эти компоненты могут обмениваться сообщениями и данными по одному или более каналам связи (например, шинам), которые могут использовать различное аппаратное обеспечение и программное обеспечение для облегчения передачи данных и управляющих сигналов между компонентами.

Термин «машиночитаемый носитель» относится к носителю, который участвует в предоставлении команд на процессор для исполнения, включая, но без ограничения, энергонезависимые носители (например, оптические или магнитные диски), энергозависимые носители (например, запоминающее устройство) и среды передачи. Среды передачи включают, без ограничения, коаксиальные кабели, медный провод и волоконную оптику.

Машиночитаемый носитель может дополнительно включать операционную систему (например, операционную систему Linux®), модуль передачи данных по сети, диспетчер звуковых интерфейсов, диспетчер обработки звука и распределитель содержимого в прямом эфире. Операционная система может быть многопользовательской, многопроцессорной, многозадачной, многопоточной, работать в реальном времени и т. д. Операционная система выполняет базовые задачи, включая, но без ограничения: распознавание входных данных с сетевых интерфейсов и/или устройств и подачу на них выходных данных; отслеживание и управление файлами и директориями на машиночитаемых носителях (например, запоминающее устройстве или устройстве хранения); управление периферийными устройствами; и управление трафиком в отношении одного или более каналов связи. Модуль передачи данных по сети включает различные компоненты для установления и поддержания сетевых соединений (например, программное обеспечение для реализации протоколов связи, таких как TCP/IP, HTTP и т. д.).

Архитектура может быть реализована в инфраструктуре параллельной обработки или одноранговой инфраструктуре или на одном устройстве с одним или более процессорами. Программное обеспечение может содержать несколько компонентов программного обеспечения или может представлять собой одно тело кода.

Описанные признаки могут быть преимущественным образом реализованы в одной или более компьютерных программах, которые выполнены с возможностью исполнения на программируемой системе, содержащей по меньшей мере один программируемый процессор, соединенный с возможностью приема данных и команд из системы хранения данных и с возможностью передачи данных и команд в нее, по меньшей мере одно устройство ввода и по меньшей мере одно устройство вывода. Компьютерная программа представляет собой набор команд, которые могут быть использованы, прямо или опосредованно, в компьютере для выполнения определенной деятельности или получения определенного результата. Компьютерная программа может быть написана на языке программирования любой формы (например, Objective-C, Java), включая компилируемые или интерпретируемые языки, и она может быть развернута в любой форме, например, как самостоятельная программа или как модуль, компонент, подпрограмма, веб-приложение, выполняемое в браузере, или другой элемент, подходящий для использования в вычислительной среде.

Подходящие процессоры для исполнения программы, состоящей из команд, включают, в качестве примера, микропроцессоры как общего, так и специального назначения и единственный процессор или один из нескольких процессоров или ядер в компьютере любого типа. В общем, процессор будет принимать команды и данные из постоянного запоминающего устройства, или оперативного запоминающего устройства, или обоих. Ключевыми элементами компьютера являются процессор, предназначенный для исполнения команд, и одно или более запоминающих устройств, предназначенных для хранения команд и данных. В общем, компьютер также будет содержать одно или более устройств хранения большой емкости для хранения файлов данных или будет функционально соединен для осуществления связи с ними; такие устройства включают магнитные диски, такие как внутренние жесткие диски и съемные диски; магнитооптические диски; и оптические диски. Устройства хранения, подходящие для материального воплощения компьютерных программных команд и данных, включают все формы энергонезависимого запоминающего устройства, включая в качестве примера полупроводниковые запоминающие устройства, такие как EPROM, EEPROM и устройства флеш-памяти; магнитные диски, такие как внутренние жесткие диски и съемные диски; магнитооптические диски; и диски CD-ROM и DVD-ROM. Процессор и запоминающее устройство могут быть дополнены ASIC (интегральными схемами специального назначения) или интегрированы в них.

Для обеспечения взаимодействия с пользователем признаки могут быть реализованы на компьютере, содержащем устройство отображения, такое как монитор с CRT (электронно-лучевой трубкой) или LCD (жидкокристаллическим дисплеем) или устройство с дисплеем Retina, для отображения информации пользователю. Компьютер может содержать устройство ввода с сенсорной поверхностью (например, сенсорный экран) или клавиатуру и координатно-указательное устройство, такое как мышь или шаровой манипулятор, посредством которого пользователь может предоставить входные данные в компьютер. Компьютер может содержать устройство голосового ввода для приема голосовых команд от пользователя.

Признаки могут быть реализованы в компьютерной системе, содержащей серверный компонент, такой как сервер данных, или содержащей компонент межплатформенного программного обеспечения, такой как сервер приложений или интернет-сервер, или содержащей клиентский компонент, такой как клиентский компьютер, содержащий графический интерфейс пользователя или интернет-браузер, или любую их комбинацию. Компоненты системы могут быть соединены посредством любой формы или среды цифровой передачи данных, такой как сеть связи. Примеры сетей связи включают, например, LAN, WAN, а также компьютеры и сети, образующие Интернет.

Вычислительная система может включать клиенты и серверы. Клиент и сервер в общем удалены друг от друга и, как правило, взаимодействуют через сеть связи. Взаимосвязь клиента и сервера возникает посредством компьютерных программ, работающих на соответственных компьютерах и имеющих друг с другом взаимосвязь клиент-сервер. В некоторых вариантах осуществления сервер передает данные (например, страницу HTML) на клиентское устройство (например, в целях отображения данных пользователю и приема пользовательского ввода от пользователя, взаимодействующего с клиентским устройством). Данные, генерируемые на клиентском устройстве (например, в результате взаимодействия с пользователем), могут быть приняты с клиентского устройства на сервере.

Система из одного или более компьютеров может быть выполнена с возможностью выполнения конкретных действий за счет наличия программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения или их комбинации, установленных в системе, одно или более из которых при работе предписывают системе выполнять действия. Одна или более компьютерных программ могут быть выполнены с возможностью выполнения конкретных действий за счет того, что содержат команды, которые при исполнении аппаратом обработки данных предписывают аппарату выполнять действия.

Хотя это техническое описание содержит много специфических подробностей реализации, их следует толковать не как ограничения в отношении объема любых изобретений или того, что может быть заявлено, а скорее как описания признаков, специфических для конкретных вариантов осуществления конкретных изобретений. Определенные признаки, описанные в данном техническом описании в контексте отдельных вариантов осуществления, также могут быть реализованы в комбинации в едином варианте осуществления. И наоборот, различные признаки, которые описаны в контексте единого варианта осуществления, также могут быть реализованы в нескольких вариантах осуществления по отдельности или в любой подходящей подкомбинации. Более того, несмотря на то что признаки могут быть описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, один или более признаков из заявленной комбинации в некоторых случаях могут быть исключены из комбинации, а заявленная комбинация может быть направлена на подкомбинацию или вариант подкомбинации.

Подобным образом, хотя операции изображены на графических материалах в конкретном порядке, это не следует понимать как требование того, чтобы такие операции выполнялись в конкретном показанном порядке или в последовательном порядке или чтобы выполнялись все проиллюстрированные операции для достижения желаемых результатов. В некоторых обстоятельствах может оказаться преимущественной многозадачность и параллельная обработка. Более того, разделение различных компонентов системы в вышеописанных вариантах осуществления не следует понимать как требующее такого же разделения во всех вариантах осуществления, а также следует понимать, что описанные программные компоненты и системы в общем могут быть интегрированы вместе в единый продукт программного обеспечения или упакованы в несколько продуктов программного обеспечения.

Если конкретно не указано иное, как очевидно из следующих обсуждений, понятно, что обсуждения на протяжении всего раскрытия настоящего изобретения, в которых используются такие термины, как «обработка», «вычисление», «расчет», «определение», «анализ» или т. п., относятся к действию и/или процессам компьютера, или вычислительной системы, или подобных электронных вычислительных устройств, которые совершают манипуляции и/или преобразование данных, представленных в виде физических, например, электронных, величин, в другие данные, подобным образом представленные в виде физических величин.

Ссылка на протяжении всего раскрытия настоящего изобретения на «один примерный вариант осуществления», «некоторые примерные варианты осуществления» или «примерный вариант осуществления» означает, что конкретные признак, структура или характеристика, описанные в связи с примерным вариантом осуществления, включены в по меньшей мере один примерный вариант осуществления настоящего изобретения. Таким образом, появления фраз «в одном примерном варианте осуществления», «в некоторых примерных вариантах осуществления» или «в примерном варианте осуществления» в различных местах на протяжении всего раскрытия настоящего изобретения не обязательно относятся к одному и тому же примерному варианту осуществления. Кроме того, конкретные признаки, структуры или характеристики могут быть скомбинированы в одном или более примерных вариантах осуществления любым подходящим образом, как будет очевидно из настоящего изобретения специалисту в данной области техники.

В контексте настоящего документа, если не указано иное, использование порядковых числительных «первый», «второй», «третий» и т. д. для описания обычного объекта просто указывает на то, что производится ссылка на разные экземпляры сходных объектов, и они не предназначены для обозначения того, что объекты, описанные таким образом, должны находиться в заданной последовательности, будь то во времени, в пространстве, по рангу или в любом другом смысле.

Также следует понимать, что фразеология и терминология, используемые в настоящем документе, предназначены для целей описания и не должны считаться ограничивающими. Использование слов «включающий», «содержащий» или «имеющий» и их вариаций означает, что они охватывают перечисленные после них элементы и их эквиваленты, а также дополнительные элементы. Если не указано или не ограничено иное, термины «закрепленный», «соединенный», «поддерживаемый», и «связанный», и их вариации используются в широком смысле и охватывают как непосредственные, так и опосредованные крепления, соединения, поддержки и связи.

В приведенной ниже формуле изобретения и в настоящем описании любой из терминов «содержащий», «состоящий из» или «который содержит» является открытым термином, что означает включение по меньшей мере следующих за ним элементов/признаков, но не исключение остальных. Таким образом, термин «содержащий» при его использовании в формуле изобретения не следует интерпретировать как ограничивающий в отношении средств, или элементов, или этапов, перечисляемых после него. Например, объем выражения «устройство, содержащее A и B» не следует ограничивать устройствами, состоящими только из элементов A и B. Любой из используемых в настоящем документе терминов «включающий», или «который включает», или «что включает» также является открытым термином, что также означает включение по меньшей мере следующих за ним элементов/признаков, но не исключение остальных. Таким образом, «включающий» означает «содержащий» и является его синонимом.

Следует понимать, что в приведенном выше описании примерных вариантов осуществления настоящего изобретения различные признаки настоящего изобретения иногда группируются вместе в едином примерном варианте осуществления, на фигуре или в их описании с целью упрощения настоящего изобретения и содействия пониманию одного или более из различных аспектов изобретения. Однако такой способ согласно настоящему изобретению не следует интерпретировать как отражающий намерение того, что формула изобретения требует большего количества признаков, чем те, которые явно перечислены в каждом пункте формулы изобретения. Вместо этого, как отражает следующая формула изобретения, аспекты настоящего изобретения заключаются менее чем во всех признаках одного вышеуказанного раскрытого примерного варианта осуществления. Таким образом, формула изобретения, следующая за разделом «Описание», настоящим явно включена в этот раздел «Описание», причем каждый пункт формулы изобретения самостоятельно представляет собой отдельный примерный вариант осуществления настоящего изобретения.

Кроме того, хотя некоторые примерные варианты осуществления, описанные в настоящем документе, включают некоторые, но не другие признаки, включенные в другие примерные варианты осуществления, комбинации признаков из разных примерных вариантов осуществления подразумеваются как входящие в объем настоящего изобретения и образующие разные примерные варианты осуществления, как будет понятно специалистам в данной области техники. Например, в следующей формуле изобретения любые из заявленных примерных вариантов осуществления могут быть использованы в любой комбинации.

В приведенном в настоящем документе описании изложено множество конкретных деталей. Однако понятно, что примерные варианты осуществления настоящего изобретения могут быть реализованы на практике без этих конкретных деталей. В других случаях хорошо известные способы, структуры и методы не показаны подробно, чтобы не затруднять понимание данного описания.

Таким образом, в то время как здесь описано то, что рассматривается как предпочтительные варианты реализации настоящего изобретения, специалистам в данной области техники будет понятно, что в них могут быть внесены другие и дополнительные модификации без отступления от сущности настоящего изобретения, и подразумевается, что все такие изменения и модификации входят в объем настоящего изобретения. Например, любые приведенные выше формулы всего лишь представляют процедуры, которые могут быть использованы. Функциональные возможности могут добавляться в структурные схемы или удаляться из них, и операции могут взаимно заменяться среди функциональных блоков. Этапы могут добавляться в способы, описанные в пределах объема настоящего изобретения, или удаляться из них.

Различные аспекты настоящего изобретения можно понять из следующих пронумерованных примерных вариантов осуществления (EEE).

EEE1. Способ моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF) на стороне пользователя, причем способ включает:

получение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации показателя высоты тона;

получение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

определение значения модификации показателя высоты тона на основе относительной скорости между слушателем и источником звука в звуковом содержимом и значений первого и второго параметров с использованием предварительно заданной функции модификации показателя высоты тона; и

рендеринг источника звука на основе значения модификации показателя высоты тона,

при этом предварительно заданная функция модификации показателя высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации показателя высоты тона.

EEE2. Способ согласно EEE 1, при этом относительную скорость рассчитывают на основе положений слушателя и источника звука.

EEE3. Способ согласно EEE 1 или 2, при этом один или более первых параметров включают параметры, указывающие на верхний и/или нижний пределы допустимого диапазона значений модификации показателя высоты тона.

EEE4. Способ согласно любому из предыдущих EEE, при этом допустимый диапазон значений модификации показателя высоты тона отражает возможность обработки устройством рендеринга звука, осуществляющим рендеринг звукового содержимого.

EEE5. Способ согласно EEE 4, при этом если устройство рендеринга звука не поддерживает допустимый диапазон значений модификации показателя высоты тона, то устройство рендеринга звука использует заданный по умолчанию диапазон значений модификации показателя высоты тона.

EEE6. Способ согласно любому из предыдущих EEE, при этом второй параметр управляет наклоном функции модификации показателя высоты тона, отражающим агрессивность подлежащего моделированию эффекта Доплера.

EEE7. Способ согласно любому из предыдущих EEE, при этом звуковое содержимое извлекают из принятого битового потока, и значения первого и второго параметров получают из указаний, включенных в битовый поток.

EEE8. Способ согласно любому из EEE 1–6, при этом звуковое содержимое и значения первого и второго параметров получают из отдельных битовых потоков.

EEE9. Способ согласно любому из предыдущих EEE, при этом значение второго параметра установлено создателем содержимого, создавшим звуковое содержимое.

EEE10. Способ согласно любому из предыдущих EEE, при этом значение второго параметра устанавливают путем моделирования эталона из реального мира и/или художественных ожиданий для желаемой интенсивности эффекта Доплера.

EEE11. Способ согласно любому из предыдущих EEE, при этом рендеринг звукового содержимого на основе значения модификации показателя высоты тона включает:

регулировку высоты тона источника звука в звуковом содержимом на основе значения модификации показателя высоты тона.

EEE12. Способ согласно EEE 11, при этом положительное значение модификации показателя высоты тона указывает на увеличение высоты тона источника звука.

EEE13. Способ согласно EEE 11 или 12, при этом регулировку высоты тона источника звука выполняют в единицах полутона.

EEE14. Способ согласно любому из предыдущих EEE, при этом функция модификации показателя высоты тона основана на обобщенной логистической функции.

EEE15. Способ согласно любому из предыдущих EEE, при этом функция модификации показателя высоты тона имеет одно или более из следующих свойств:

является непрерывной и монотонной по отношению к относительным скоростям,

имеет асимптотические пределы, управляемые одним или более первыми параметрами,

дает нулевое значение модификации показателя высоты тона при нулевой относительной скорости и/или

имеет наклон вблизи нулевой скорости, управляемый вторым параметром.

EEE16. Способ согласно любому из предыдущих EEE, при этом функция F модификации показателя высоты тона реализована следующим образом:

где представляет относительную скорость, представляет первые параметры, причем обозначает нижний предел диапазона, а обозначает верхний предел диапазона, и представляет второй параметр.

EEE17. Способ согласно любому из предыдущих EEE, дополнительно включающий:

вывод подвергнутого рендерингу источника звука на динамик или наушник для воспроизведения пользователю.

EEE18. Способ кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), причем способ включает:

определение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации показателя высоты тона;

определение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

кодирование указаний значений первого и второго параметров,

при этом значения первого и второго параметров могут быть использованы для отображения относительной скорости между слушателем и источником звука звукового содержимого в значение модификации показателя высоты тона на основе предварительно заданной функции модификации показателя высоты тона, причем значение модификации показателя высоты тона используют для рендеринга источника звука, и предварительно заданная функция модификации показателя высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации показателя высоты тона.

EEE19. Способ согласно EEE 18, при этом указания значений первого и второго параметров кодируют как метки в битовом потоке.

EEE20. Способ согласно EEE 18 или 19, при этом указания значений первого и второго параметров кодируют вместе со звуковым содержимым в едином битовом потоке или в виде отдельных битовых потоков.

EEE21. Способ согласно любому из EEE 18–20, при этом значения первого и второго параметров определяет создатель содержимого или игровой движок.

EEE22. Устройство рендеринга звука, содержащее процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать устройству рендеринга звука выполнять способ согласно любому из EEE 1–17.

EEE23. Кодер, содержащий процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать кодеру выполнять способ согласно любому из EEE 18–21.

EEE24. Программа, содержащая команды, которые при исполнении процессором предписывают процессору выполнять способ согласно любому из EEE 1–21.

EEE25. Машиночитаемый носитель данных, на котором хранится программа согласно EEE 24.

Изобретение относится к моделированию эффекта Доплера, в частности к способам и устройствам для управления моделированием эффекта Доплера, например, для использования в средах виртуальной реальности или дополненной реальности. Техническим результатом является создание эффективного и гибкого механизма для выполнения моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6DoF с учетом возможности управления значениями модификации показателя высоты тона, представляющими желаемую интенсивность эффекта Доплера, что улучшает воспринимаемый опыт прослушивания. Заявлен способ моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF) на стороне пользователя. В частности, способ может включать получение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации показателя высоты тона. Способ может дополнительно включать получение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера. Способ может также дополнительно включать определение значения модификации показателя высоты тона на основе относительной скорости между слушателем и источником звука в звуковом содержимом и значений первого и второго параметров с использованием предварительно заданной функции модификации показателя высоты тона. В частности, предварительно заданная функция модификации показателя высоты тона может иметь первый и второй параметры и может представлять собой функцию для отображения относительных скоростей в значения модификации показателя высоты тона. Способ может включать рендеринг источника звука на основе значения модификации показателя высоты тона. 6 н. и 15 з.п. ф-лы, 11 ил.

1. Способ моделирования эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF) на стороне пользователя, причем способ включает:

получение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации высоты тона, при этом один или более первых параметров включают параметры, указывающие на верхний и/или нижний пределы допустимого диапазона значений модификации высоты тона;

получение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

определение значения модификации высоты тона на основе относительной скорости между слушателем и источником звука в звуковом содержимом и значений первого и второго параметров с использованием предварительно заданной функции модификации высоты тона; и

рендеринг источника звука на основе значения модификации высоты тона,

при этом предварительно заданная функция модификации высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации высоты тона;

при этом допустимый диапазон значений модификации высоты тона отражает возможность обработки устройством рендеринга звука, осуществляющим рендеринг звукового содержимого; и

при этом второй параметр управляет наклоном функции модификации высоты тона, отражающим интенсивность подлежащего моделированию эффекта Доплера.

2. Способ по п. 1, отличающийся тем, что относительную скорость рассчитывают на основе положений слушателя и источника звука.

3. Способ по п. 1 или п. 2, отличающийся тем, что если устройство рендеринга звука не поддерживает допустимый диапазон значений модификации высоты тона, то устройство рендеринга звука использует заданный по умолчанию диапазон значений модификации высоты тона.

4. Способ по любому из предыдущих пунктов, отличающийся тем, что звуковое содержимое извлекают из принятого битового потока и значения первого и второго параметров получают из указаний, включенных в битовый поток.

5. Способ по любому из предыдущих пунктов, отличающийся тем, что звуковое содержимое и значения первого и второго параметров получают из отдельных битовых потоков.

6. Способ по любому из предыдущих пунктов, отличающийся тем, что значение второго параметра установлено создателем содержимого, создавшим звуковое содержимое.

7. Способ по любому из предыдущих пунктов, отличающийся тем, что значение второго параметра устанавливают путем моделирования эталона из реального мира и/или художественных ожиданий для желаемой интенсивности эффекта Доплера.

8. Способ по любому из предыдущих пунктов, отличающийся тем, что рендеринг звукового содержимого на основе значения модификации высоты тона включает:

регулировку высоты тона источника звука в звуковом содержимом на основе значения модификации высоты тона.

9. Способ по п. 8, отличающийся тем, что положительное значение модификации высоты тона указывает на увеличение высоты тона источника звука.

10. Способ по п. 8 или п. 9, отличающийся тем, что регулировку высоты тона источника звука выполняют в единицах полутона.

11. Способ по любому из предыдущих пунктов, отличающийся тем, что функция модификации высоты тона основана на обобщенной логистической функции; и

при этом функция модификации высоты тона имеет одно или более из следующих свойств:

является непрерывной и монотонной по отношению к относительным скоростям,

имеет асимптотические пределы, управляемые одним или более первыми параметрами,

дает нулевое значение модификации высоты тона при нулевой относительной скорости и/или

имеет наклон вблизи нулевой скорости, управляемый вторым параметром.

12. Способ по любому из предыдущих пунктов, отличающийся тем, что функция модификации высоты тона реализована следующим образом:

,

где представляет относительную скорость, представляет первые параметры, причем обозначает нижний предел диапазона, а обозначает верхний предел диапазона, и представляет второй параметр.

13. Способ по любому из предыдущих пунктов, отличающийся тем, что дополнительно включает:

вывод подвергнутого рендерингу источника звука на динамик или наушник для воспроизведения пользователю.

14. Способ кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), причем способ включает:

определение значений первого параметра, относящихся к одному или более первым параметрам, указывающим на допустимый диапазон значений модификации высоты тона, при этом один или более первых параметров включают параметры, указывающие на верхний и/или нижний пределы допустимого диапазона значений модификации высоты тона;

определение значения второго параметра, относящегося ко второму параметру, указывающему на желаемую интенсивность подлежащего моделированию эффекта Доплера;

кодирование указаний значений первого и второго параметров,

при этом значения первого и второго параметров могут быть использованы для отображения относительной скорости между слушателем и источником звука звукового содержимого в значение модификации высоты тона на основе предварительно заданной функции модификации высоты тона, причем значение модификации высоты тона используют для рендеринга источника звука, и предварительно заданная функция модификации высоты тона имеет первый и второй параметры и представляет собой функцию для отображения относительных скоростей в значения модификации высоты тона;

при этом допустимый диапазон значений модификации высоты тона отражает возможность обработки устройством рендеринга звука, осуществляющим рендеринг звукового содержимого; и

при этом второй параметр управляет наклоном функции модификации высоты тона, отражающим интенсивность подлежащего моделированию эффекта Доплера.

15. Способ по п. 14, отличающийся тем, что указания значений первого и второго параметров кодируют как метки в битовом потоке.

16. Способ по п. 14 или п. 15, отличающийся тем, что указания значений первого и второго параметров кодируют вместе со звуковым содержимым в едином битовом потоке или в виде отдельных битовых потоков.

17. Способ по любому из пп. 14-16, отличающийся тем, что значения первого и второго параметров определяет создатель содержимого или игровой движок.

18. Устройство рендеринга звука, содержащее процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать устройству рендеринга звука выполнять способ по любому из пп. 1-13.

19. Кодер для кодирования параметров для использования в моделировании эффекта Доплера при рендеринге звукового содержимого для среды с 6 степенями свободы (6DoF), содержащий процессор и запоминающее устройство, соединенное с процессором, при этом процессор приспособлен так, чтобы предписывать кодеру выполнять способ по любому из пп. 14-17.

20. Машиночитаемый носитель данных, на котором хранится программа, содержащая команды, которые при исполнении процессором предписывают процессору выполнять способ по любому из пп. 1-13.

21. Машиночитаемый носитель данных, на котором хранится программа, содержащая команды, которые при исполнении процессором предписывают процессору выполнять способ по любому из пп. 14-17.