СИНТЕЗАТОР МУЗЫКИ С ВЫВОДОМ ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ Российский патент 2025 года по МПК G10H1/02 

Перекрестная ссылка на родственные заявки

По данной заявке испрашивается приоритет на основании следующих приоритетных заявок: предварительной заявки на патент США № 63/240,383 (номер дела: D21053USP1), поданной 03 сентября 2021 г., и заявки № EP 21194849.2 (номер дела: D21053EP), поданной 03 сентября 2021 г., которые включены в данный документ путём ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится к способам и к устройству для формирования и/или обработки аудиосигналов. Кроме того, настоящее изобретение описывает технологии для синтезирования или обработки звука с выводом пространственных метаданных. Эти технологии могут применяться, например, к синтезаторам музыки и аудиопроцессорам.

Уровень техники

Синтезатор представляет собой электронный музыкальный инструмент, который формирует аудиосигналы. В общем случае, электронный музыкальный инструмент использует электронную схему для формирования звука, зачастую в качестве реакции на пользовательский ввод. В самом широком смысле, он может включать аналоговые инструменты, инструменты на основе DSP, выполняющиеся либо на специализированных аппаратных средствах, либо на компьютере в качестве «виртуального» инструмента, или инструменты на основе сэмплов.

Существующие синтезаторы формируют аудиосигналы, которые являются моно-, стерео- или многоканальными. Это означает, что при использовании в объектно-ориентированном производстве (например, в производстве Dolby Atmos®), для представления аудиосигналов синтезатора в качестве объектов применяется процесс придания пространственной формы, отдельный от процесса формирования звука. В данный момент это достигается посредством сначала рендеринга вывода синтезатора для конкретной конфигурации каналов, импорта этого рендерированного аудио в цифровую звуковую рабочую станцию (DAW), такую как Pro Tools, и затем формирования ассоциированных пространственных метаданных с помощью панорамирующего регулятора.

В общем, существует потребность в улучшенных технологиях для объектно-ориентированного производства звуковых сигналов, сформированных посредством синтезаторов, и/или для объектно-ориентированного производства звуковых сигналов, обрабатываемых посредством аудиопроцессоров.

Раскрытие изобретения

С учетом вышеизложенного, настоящее изобретение предусматривает устройство для формирования и/или обработки аудиосигналов, а также соответствующие способы, компьютерные программы и машиночитаемые носители данных, имеющие признаки соответствующих независимых пунктов формулы изобретения.

Согласно аспекту изобретения, предложено устройство для формирования или обработки аудиосигналов. Устройство может включать в себя первую ступень для получения аудиосигнала. Устройство дополнительно может включать в себя вторую ступень для модификации аудиосигнала на основе одного или более управляющих сигналов для придания формы (например, модификации, изменения) звуку, представленному посредством аудиосигнала. Управляющие сигналы могут формироваться одним или более модуляторами, которые влияют на то, каким образом модифицируется аудиосигнал. Один или более модуляторов, например, могут быть связаны или содержать низкочастотные осцилляторы (LFO) и/или огибающие. Устройство дополнительно может включать в себя третью ступень для формирования пространственных метаданных, связанных с (модифицированным) аудиосигналом по меньшей мере частично на основе одного или более управляющих сигналов. Пространственные метаданные могут представлять собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал. Например, пространственные метаданные могут представлять собой метаданные для объектно-ориентированного рендеринга. Они могут включать в себя, например, индикатор положения (например, декартова положения в трехмерном пространстве) и/или размера аудиообъекта, связанного (например, представленного посредством) с аудиосигналом. Кроме того, устройство может дополнительно включать в себя выходную ступень для вывода модифицированного аудиосигнала вместе со сформированными пространственными метаданными. В некоторых реализациях, более одного аудиосигнала (т.е. множество аудиосигналов) могут обрабатываться параллельно посредством устройства. В некоторых других реализациях могут последовательно обрабатываться более одного аудиосигнала (т.е. множество аудиосигналов). Например, в некоторых таких реализациях, обработка для данного аудиосигнала может зависеть от более раннего аудиосигнала и/или его метаданных. В качестве другого примера, в некоторых реализациях, обработка может включать в себя модификацию уже существующих пространственных метаданных аудиосигнала, полученного посредством первой ступени.

При вышеописанной конфигурации, технология, реализованная посредством предложенного устройства, значительно расширяет диапазон доступных творческих вариантов в объектно-ориентированном производстве и обеспечивает возможность обработки придания пространственной формы в качестве интегрированной части процесса звукового дизайна. Кроме того, может быть исключено трудоемкое редактирование пространственных метаданных, и творческое намерение, которое приводит к конкретным операциям придания формы для аудиосигналов, может быть непосредственно и эффективно реализовано в пространственных метаданных.

В некоторых вариантах осуществления, вторая ступень может быть выполнена с возможностью применения зависящей от времени модификации к аудиосигналу. Здесь, временная зависимость модификации может зависеть от одного или более управляющих сигналов. Один или более управляющих сигналов могут быть зависящими от времени. В силу этого, базовая временная зависимость намеченного поведения источника звука может легко использоваться для описания пространственных свойств аудиообъекта, описывающего/представляющего источник звука.

В некоторых вариантах осуществления, вторая ступень может включать в себя по меньшей мере одно из следующего для модификации аудиосигнала: фильтра; усилителя; низкочастотного осциллятора; модуля аудиозадержки; модуля возбуждения; и флэнджера.

В некоторых вариантах осуществления, вторая ступень может быть выполнена с возможностью применения фильтра к аудиосигналу. Следует понимать, что вторая ступень может включать в себя фильтр. Фильтр может представлять собой, например, любой из фильтра верхних частот, фильтра нижних частот, полосового фильтра или режекторного фильтра. Характеристическая частота фильтра может управляться посредством (например, на основе) одного или более управляющих сигналов. Соответственно, характеристическая частота может быть зависящей от времени. Характеристическая частота фильтра, например, может представлять собой частоту отсечки. Один или более (зависящих от времени) управляющих сигналов могут формироваться, например, посредством LFO. В силу этого, характеристическая частота может изменяться периодически в некоторых реализациях.

В некоторых вариантах осуществления, вторая ступень может быть выполнена с возможностью применения усилителя к аудиосигналу. Следует понимать, что вторая ступень может включать в себя усилитель. Усиление усилителя может управляться посредством (например, на основе) одного или более управляющих сигналов. Соответственно, усиление может быть зависящим от времени. Один или более управляющих сигналов, например, могут формироваться посредством LFO. В силу этого, усиление может изменяться периодически в некоторых реализациях.

В некоторых вариантах осуществления, вторая ступень может быть выполнена с возможностью применения огибающей к аудиосигналу посредством использования усилителя. После этого, третья ступень может быть выполнена с возможностью формирования пространственных метаданных по меньшей мере частично на основе формы огибающей. Например, пространственные метаданные могут указывать зависящее от времени положение аудиообъекта, причем положение изменяется в соответствии с формой огибающей (например, подвергается линейному перемещению в пространстве, тогда как огибающая указывает неисчезающее усиление).

В некоторых вариантах осуществления, получение аудиосигнала может включать в себя формирование аудиосигнала посредством использования одного или более осцилляторов. Следует понимать, что первая ступень может содержать один или более осцилляторов. Такое устройство, например, может быть связано с синтезаторами, такими как синтезаторы музыки.

В некоторых вариантах осуществления, аудиосигнал может формироваться посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов. Например по меньшей мере одно из частоты, ширины импульса и фазы одного или более осцилляторов может управляться посредством (например, на основе) одного или более управляющих сигналов. В силу этого, управляющие сигналы, которые затрагивают формирование аудиосигнала(ов), могут использоваться в качестве основы для формирования пространственных метаданных. Это обеспечивает дополнительную функциональность для захвата художественного намерения при формировании пространственных метаданных.

В качестве альтернативы, получение аудиосигнала может включать в себя прием аудиосигнала. Аудиосигнал, например, может приниматься из внешнего источника, такого как база звуковых данных. Такое устройство, например, может быть связано с аудиопроцессорами, такими как аудиопроцессоры эффектов.

В некоторых вариантах осуществления, один или более управляющих сигналов могут быть основаны по меньшей мере частично на пользовательском вводе.

В некоторых вариантах осуществления, выходная ступень может быть выполнена с возможностью вывода одного или более аудиопотоков на основе модифицированного аудиосигнала вместе со сформированными пространственными метаданными. Например, может быть предусмотрен один поток пространственных метаданных для каждого выходного аудиопотока. Кроме того, когда более одного аудиосигнала обрабатываются параллельно посредством устройства, может быть предусмотрен один выходной аудиопоток для каждого (модифицированного) аудиосигнала. В качестве альтернативы, по меньшей мере один из выходных аудиопотоков может формироваться посредством сведения двух или более (модифицированных) аудиосигналов.

Согласно другому аспекту изобретения, предложен способ формирования или обработки аудиосигналов. Способ может включать в себя получение аудиосигнала. Способ дополнительно может включать в себя модификацию аудиосигнала на основе одного или более управляющих сигналов для придания формы звуку, представленному посредством аудиосигнала. Способ дополнительно может включать в себя формирование пространственных метаданных, связанных с (модифицированным) аудиосигналом по меньшей мере частично на основе одного или более управляющих сигналов. Способ еще дополнительно может включать в себя вывод модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

В некоторых вариантах осуществления, один или более управляющих сигналов могут быть зависящими от времени.

В некоторых вариантах осуществления, пространственные метаданные могут представлять собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

В некоторых вариантах осуществления, модификация аудиосигнала может включать в себя применение зависящей от времени модификации к аудиосигналу. Здесь временная зависимость модификации может зависеть от одного или более управляющих сигналов.

В некоторых вариантах осуществления, способ дополнительно может включать в себя модификацию аудиосигнала по меньшей мере посредством одного: фильтра; усилителя; низкочастотного осциллятора; модуля аудиозадержки; модуля возбуждения; и флэнджера.

В некоторых вариантах осуществления, модификация аудиосигнала может включать в себя применение фильтра к аудиосигналу. Здесь, характеристическая частота фильтра может управляться одним или более управляющими сигналами.

В некоторых вариантах осуществления, характеристическая частота фильтра может представлять собой частоту отсечки.

В некоторых вариантах осуществления, модификация аудиосигнала может включать в себя применение усилителя к аудиосигналу. Здесь усиление усилителя может управляться одним или более управляющими сигналами.

В некоторых вариантах осуществления, модификация аудиосигнала может включать в себя применение огибающей к аудиосигналу посредством использования усилителя. После этого, формирование пространственных метаданных может быть основано по меньшей мере частично на форме огибающей.

В некоторых вариантах осуществления, получение аудиосигнала может включать в себя формирование аудиосигнала посредством использования одного или более осцилляторов.

В некоторых вариантах осуществления, аудиосигнал может формироваться посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов.

В качестве альтернативы, получение аудиосигнала может включать в себя прием аудиосигнала.

В некоторых вариантах осуществления, один или более управляющих сигналов могут быть основаны по меньшей мере частично на пользовательском вводе.

В некоторых вариантах осуществления, вывод модифицированного аудиосигнала может включать в себя вывод одного или более аудиопотоков на основе модифицированного аудиосигнала, вместе со сформированными пространственными метаданными.

Согласно другому аспекту, предложена компьютерная программа. Компьютерная программа может включать в себя инструкции, которые, при выполнении посредством процессора (например, компьютерного процессора, серверного процессора и т.д.), предписывают процессору выполнять все этапы способов, описанных на протяжении данного описания.

Согласно другому аспекту, предложен машиночитаемый носитель данных. Машиночитаемый носитель данных может сохранять вышеупомянутую компьютерную программу.

Согласно еще одному другому аспекту, предложено устройство, включающее в себя процессор и запоминающее устройство, соединенное с процессором. Процессор может быть выполнен с возможностью выполнения всех этапов способов, описанных во всем описании. Это устройство, например, может быть связано с компьютерной системой, с сервером (например, с облачным сервером) либо с системой серверов (например, с системой облачных серверов).

Следует принимать во внимание, что признаки устройства и этапы способа могут меняться местами множеством способов. В частности, подробности раскрытого способа(ов) могут быть реализованы соответствующим устройством, и наоборот, как следует понимать специалистам в данной области техники. Кроме того, следует понимать, что любые из вышеуказанных утверждений, приведенных относительно способа(ов) (и, например, их этапов), аналогично применяются к соответствующему устройству (и, например, к его блокам, ступеням, узлам и т.д.), и наоборот.

Краткое описание чертежей

Ниже примерные варианты осуществления изобретения поясняются с обращением к прилагаемым чертежам, на которых:

Фиг. 1 является блок-схемой, схематично иллюстрирующей пример синтезатора,

Фиг. 2 является блок-схемой, схематично иллюстрирующей цепочку аудиообработки, включающую в себя синтезатор, модуль придания пространственной формы и модуль объектно-ориентированного рендеринга,

Фиг. 3 является блок-схемой, иллюстрирующей пример синтезатора согласно вариантам осуществления изобретения,

Фиг. 4 является блок-схемой, схематично иллюстрирующей пример способа формирования и/или обработки аудиосигналов согласно вариантам осуществления изобретения, и

Фиг. 5 является блок-схемой устройства для осуществления способов согласно вариантам осуществления изобретения.

Осуществление изобретения

Чертежи (фиг.) и нижеприведенное описание относятся к предпочтительным вариантам осуществления только в качестве иллюстрации. Следует отметить, что, из нижеприведенного пояснения, альтернативные варианты осуществления структур и способов, раскрытых в данном документе, должны легко признаваться в качестве практически осуществимых альтернатив, которые могут использоваться без отступления от принципов, заявленных в формуле изобретения.

Далее приводится подробное описание нескольких вариантов осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. Следует отметить, что, если это осуществимо на практике, на чертежах могут использоваться аналогичные или похожие ссылочные позиции, и они могут указывать аналогичную или похожую функциональность. Чертежи иллюстрируют варианты осуществления раскрытого устройства (или способа) только для целей иллюстрации. Специалисты в данной области техники должны легко распознавать из последующего описания то, что альтернативные варианты осуществления структур и способов, проиллюстрированных в данном документе, могут использоваться без отступления от принципов, описанных в данном документе.

Настоящее изобретение относится в общем к синтезаторам музыки (и аудиопроцессорам) с выводом пространственных метаданных. Формирование метаданных может регулироваться посредством управляющих сигналов, связанных с прямым/литеральным пользовательским вводом, и/или внутренних модулирующих сигналов. В связи с этим, управляющие сигналы обычно являются зависящими от времени.

Вообще говоря, синтезатор может рассматриваться в качестве совокупности соединенных элементов формирования/придания формы звуку и модуляционных элементов. Элементы формирования/придания формы звуку создают или непосредственно действуют на аудиосигналы. Например, осцилляторы могут производить необработанные тона/формы сигналов, а затем фильтры могут придавать форму их тембру, и усилители могут вводить динамику уровня. Чтобы анимировать производимые звуки, эти элементы должны изменяться во времени, и это осуществляется посредством применения модуляционных элементов, которые вместо создания самих звуков, воздействуют на поведение элементов формирования/придания формы звуку.

Простой пример синтезатора 100 показывается на фиг. 1. Синтезатор 100 содержит блок 110 (либо ступень, модуль и т.д.) формирования звука и блок 120 (либо ступень, модуль и т.д.) звуковой модуляции. Блок 110 формирования звука, например, в свою очередь, включает в себя один или более осцилляторов 112 (элементов осциллятора), один или более фильтров 114 (например, управляемых напряжением фильтров (VCF)) и один или более усилителей 116 (например, управляемых напряжением усилителей (VCA)). Блок 120 звуковой модуляции может модулировать фактическое формирование аудиосигналов посредством осциллятора(ов) 112 и/или любого последующего придания формы звуковому сигналу, например, посредством фильтра(ов) 114 или усилителя(ей) 116. Здесь и ниже по тексту, следует понимать, что аудиосигнал может представлять собой электронное представление звукового сигнала. Дополнительно следует понимать, что придание формы звуку соответствует модификации/изменению аудиосигнала, представляющего звук.

Например, блок 120 звуковой модуляции может содержать низкочастотный осциллятор 124 (LFO), который допускает производство циклически субаудио-(например, ниже 20 Гц) частотного вывода. Этот LFO 124 может использоваться для модуляции частоты отсечки фильтра (например, фильтра 114) либо любой другой характеристической частоты фильтра. Другой общий элемент представляет собой огибающую 126, которая формирует одноразовый шаблон модуляции (например, посредством усилителя(ей) 116) в звуковой сигнал, сформированный посредством блока 110 формирования звука. Эти модуляционные элементы зачастую должны спариваться с поверхностью 122 управления, управляемой, например, музыкантом, такой как клавиатура или секвенсер. В связи с этим, модуляция может зависеть от пользовательского ввода и, в общем, может быть зависящей от времени.

Эти вышеупомянутые элементы блока 110 формирования звука и/или блока 120 звуковой модуляции могут быть реализованы с помощью DSP, аналоговых схем, цифровых схем или любых их сочетаний.

Выходная ступень синтезатора 100 (не показана на фиг. 1) может содержать схему сведения, комбинирующую внутренние аудиосигналы (и, при необходимости, эффекты), вывод которой представляет собой один или более аудиосигналов. Если выводится множество аудиосигналов, возможно, что синтезатор 100 может быть выполнен с возможностью вывода набора сигналов, который имеет некоторое понятие пространственности, например, стереосигнал или даже многоканальный сигнал. Кроме того, например, внутренние модулирующие сигналы, например, сформированные сигналы LFO могут использоваться для влияния на пространственное качество, например, положение панорамирования. В этом случае вывод рендерируется эффективно. Внутренние сигналы, которые микшируются между собой в выходной ступени, могут представлять собой выводы элемента 112 осциллятора, микшируемые с возможностью формирования голосового сигнала или (например, в синтезаторе множества голосов) множества голосовых сигналов, которые могут быть основаны на осцилляторах, воспроизведении сэмплов или любой другой подходящей технологии формирования тонов. Вместо сведения между собой, эти сигналы также могут выводиться из синтезатора 100 отдельно.

Соответственно, синтезатор 100 основан на рендерированном канальном выводе, таком как, моно- или стерео-, или даже многоканальный вывод (например, многоканальный вывод 3.1.2, многоканальный вывод 5.1, многоканальный вывод 5.1.2, многоканальный вывод 7.1.4 и т.д.).

Ряд подходов является целесообразным для формирования стереовывода в синтезаторах. Один подход для формирования стерео из моно состоит в использовании эффектов, таких как хор, флэнджер, задержка или реверберация. Архитектура синтезатора может быть главным образом моно-, с процессором эффектов конечной ступени, которая имеет моноввод и затем применяет различную обработку для формирования левого и правого сигналов таким образом, чтобы сформировать стереовывод. В некоторых случаях, процессор эффектов конечной ступени может быть связан со ступенью вывода эффектов хора.

Другой подход состоит в том, чтобы позволить пользователю панорамировать голоса в стереополе. Это панорамирование может быть полностью ручным или может быть привязано к некоторому свойству звука, такому как основной тон, либо может модулироваться во времени, например, с помощью LFO.

Кроме того, мультитембральные синтезаторы способны одновременно воспроизводить более одной программы за раз. Это позволяет назначать одну программу нижнему наложению, а одну - верхнему наложению. Эти различные программы или наложения затем могут размещаться в стереополе.

Рендерированный канальный вывод синтезатора 100 может использоваться в объектно-ориентированном потоке обработки посредством приема этого рендерированного вывода и затем использования вторичного инструментального средства для формирования пространственных метаданных, такого как, например, панорамирующий регулятор Dolby Atmos®.

Соответственно, когда синтезаторы используются в объектно-ориентированном (например, Dolby Atmos®) производстве, вывод должен сначала рендерироваться, а затем, на втором этапе, получать пространственную форму. Это означает, что любые решения по звуковому дизайну финализируются с внутренними модулирующими сигналами, которые использованы для формирования вывода, который теперь недоступен. Это ограничивает доступные творческие варианты и сильно затрудняет рассмотрение придания пространственной формы в качестве интегрированной части процесса звукового дизайна.

Пример цепочки 200 обработки для такого процесса объектно-ориентированного звукового дизайна проиллюстрирован на блок-схеме по фиг. 2. Цепочка 200 обработки содержит синтезатор 205, модуль 230 придания пространственной формы и модуль 240 объектно-ориентированного рендеринга (например, производственный комплект Dolby Atmos). Синтезатор 205 может соответствовать синтезатору 100, описанному выше, и может содержать блок 210 формирования звука и блок 220 звуковой модуляции. Вывод синтезатора 205 рендерируется в конкретную (например, предварительно заданную) конфигурацию каналов, например, в моно- или стерео- или даже многоканальную конфигурацию (например, многоканальный вывод 3.1.2, многоканальный вывод 5.1, многоканальный вывод 5.1.2, многоканальный вывод 7.1.4 и т.д.). Этот рендерированный канально-ориентированный вывод затем подается в модуль 230 придания пространственной формы. Модуль 230 придания пространственной формы обрабатывает канально-ориентированный вывод синтезатора 205 для формирования из него объектно-ориентированного аудиосодержимого. Объектно-ориентированное аудиосодержимое, сформированное модулем 230 придания пространственной формы, затем может использоваться для объектно-ориентированного рендеринга посредством модуля 240 объектно-ориентированного рендеринга в требуемую (в принципе произвольную) конфигурацию каналов (например, в зависимости от намеченной схемы размещения динамиков).

Ниже описан пример, иллюстрирующий потенциальные проблемы, которые могут возникать при использовании цепочки 200 обработки для объектно-ориентированного рендеринга. Согласно примеру, LFO может использоваться для ритмичного изменения частоты отсечки фильтра для фильтра в блоке 210 формирования звука. Может быть желательным также затрагивать пространственный подъем сигнала с помощью LFO таким образом, что частота отсечки фильтра синхронизируется с подъемом. Тем не менее, достижение этого должно быть трудоемким при использовании цепочки 200 обработки. Таким образом, ритмичное изменение частоты отсечки может иметь намерение обозначать или соответствовать перемещению (например, вертикальному перемещению) источника звука. При формировании пространственных метаданных для выражения этого перемещения на основе рендерированного канально-ориентированного вывода синтезатора 205, внутренние модулирующие сигналы, которые управляют адаптацией частоты отсечки, более не доступны. Вместо этого, намеченное пространственное перемещение может только косвенно логически выводиться из канала(ов) канально-ориентированного вывода, что может быть трудоемким и/или неточным. Формирование соответствующих пространственных метаданных для более сложных примеров, таких как ситуации, в которых положения подъема синтезированного голоса отдельно модулируются с помощью одного или более LFO, должно быть еще более трудоемким или даже невозможным, поскольку эти голоса должны микшироваться между собой.

Технологии согласно настоящему изобретению относятся к включению придания пространственной формы объектам в архитектуру синтезатора (или аудиопроцессора). Это изменение обеспечивает возможность использования внутренних управляющих сигналов (внутренних модулирующих сигналов) синтезатора, которые используются для придания формы звуку, также для воздействия на придание пространственной формы. Синтезатор в таком случае должен иметь возможность непосредственно формировать пространственные метаданные вместе с аудио, без необходимости промежуточного этапа рендеринга. Соответственно, технологии согласно настоящему изобретению непосредственно выводят совокупность одного или более аудиопотоков и ассоциированных пространственных метаданных. Эта совокупность сигналов затем может рендерироваться или дополнительно обрабатываться и затем рендерироваться для воспроизведения.

Этот подход означает, что внутренние управляющие сигналы или элементы управления GUI, которые используются для размещения объектного вывода, также могут использоваться для регулирования других аспектов формирования звука (или наоборот). Кроме того, отдельные осцилляторы могут выводиться в качестве объектов, и также отдельные синтезированные голоса могут выводиться в качестве объектов.

Даже если в настоящем описании часто упоминаются синтезаторы (например, синтезаторы музыки), следует понимать, что представленные технологии могут аналогично применяться к аудиопроцессорам (например, к процессорам аудиоэффектов), если не указано иное. В связи с этим, настоящее изобретение может относиться в общем к устройству для формирования или обработки аудиосигналов (звуковых сигналов).

Пример цепочки 300 аудиообработки, содержащей синтезатор 305 в соответствии с технологиями согласно настоящему изобретению, схематично иллюстрируется на фиг. 3. Цепочка 300 обработки содержит синтезатор 305 и модуль 340 объектно-ориентированного рендеринга (отдельный от синтезатора) для объектно-ориентированного рендеринга вывода синтезатора.

В общем случае, настоящее изобретение предлагает включать пространственный выходной элемент (например, третью ступень, описанную ниже), который для каждого сигнала, который должен выводиться, формирует соответствующий поток пространственных метаданных (или пространственные метаданные в общем), при этом пространственные метаданные инструктируют внешний узел рендеринга в отношении того, каким образом следует рендерировать этот сигнал. В частности, поток метаданных может описывать пространственные свойства своего ассоциированного аудиосигнала во времени, такие как декартово положение (например, в трехмерном пространстве) и/или размер. В связи с этим, пространственные метаданные могут представлять собой метаданные для объектно-ориентированного рендеринга аудиообъекта, при этом аудиодорожка аудиообъекта задается посредством аудиосигнала. Один пример таких пространственных метаданных представляет собой метаданные Dolby Atmos®. В общем, эти пространственные метаданные могут формироваться посредством прямого и литерального пользовательского ввода. Но в то же время, они также могут извлекаться из модулирующих сигналов (управляющих сигналов), которые также могут использоваться для формирования ассоциированных аудиосигналов и придания им формы. Кроме того, эти пространственные метаданные могут формироваться посредством сочетания прямого и буквального пользовательского ввода и извлекаться из модулирующих сигналов (управляющих сигналов), которые также могут использоваться для формирования ассоциированных аудиосигналов и придания им формы.

Синтезатор 305 содержит блок 310 формирования звука, блок 320 звуковой модуляции и блок 330 придания пространственной формы. Синтезатор дополнительно может содержать выходную ступень (не показана на фиг. 3) для вывода аудиосигналов/потоков вместе с ассоциированными пространственными метаданными.

Блок 310 формирования звука может содержать любые из элементов, описанных выше для блока 110 формирования звука синтезатора 100, такие как осцилляторы, фильтры и/или усилители, а также и другие элементы для придания формы звуку, который сформирован посредством осциллятора(ов). В связи с этим, формирование звука посредством блока 310 формирования звука может продолжаться таким же образом, как посредством блока 110 формирования звука, описанного выше. Это не исключает того, что блок 310 формирования звука содержит дополнительные элементы и/или имеет дополнительные функциональности, не описанные выше. Ниже приводятся дополнительные примеры возможных элементов блока 310 формирования звука.

В общем, концептуально, блок 310 формирования звука может считаться реализующим первую ступень для получения аудиосигнала и вторую ступень для модификации аудиосигнала (например, для придания формы звуку, представленному аудиосигналом).

В соответствии с вышеизложенным, первая ступень синтезатора 305 на фиг. 3 может содержать один или более осцилляторов (т.е. осциллятор(ы) блока 310 формирования звука). Эти один или более осцилляторов могут использоваться первой ступенью для формирования аудиосигнала(ов). Например, отдельные осцилляторы из числа одного или более осцилляторов могут представлять собой осцилляторы в аналоговом стиле, осцилляторы в стиле FM или осцилляторы в стиле волновой таблицы. В зависимости от своего стиля/реализации, эти осцилляторы могут иметь различные рабочие параметры (например, параметры осциллятора). Например, осциллятор в аналоговом стиле может иметь частоту, ширину импульса и/или усиление/уровень в качестве рабочих параметров. Осциллятор в стиле FM может иметь частоту, коэффициент, глубину FM и/или усиление/уровень в качестве рабочих параметров. Кроме того, осциллятор в стиле волновой таблицы может иметь частоту, волновой индекс, индекс гребенки и/или усиление/уровень в качестве рабочих параметров.

Кроме того, формирование аудиосигнала посредством одного или более осцилляторов может быть основано по меньшей мере частично на одном или более управляющих сигналов. Например, рабочий параметр(ы) одного или более осцилляторов (например, частота, ширина импульса и/или фаза и/или любой из вышеуказанных рабочих параметров) может модулироваться под управлением одного или более управляющих сигналов.

Хотя вышеуказанная реализация первой ступени относится к синтезатору (например, к синтезатору музыки), настоящее изобретение также относится к реализациям (не показаны на фиг. 3), в которых первая ступень принимает аудиосигнал(ы). Например, аудиосигнал(ы) может приниматься из внешнего источника (например, из базы аудиоданных, базы звуковых данных). Такие реализации могут относиться к аудиопроцессорам, таким как аудиопроцессоры эффектов.

В общем, более одного аудиосигнала (т.е. множество аудиосигналов) могут обрабатываться параллельно посредством синтезатора или аудиопроцессора (т.е. устройства для формирования или обработки аудиосигналов в общем). Для таких реализаций, также могут быть целесообразными сочетания (внутреннего) формирования и приема аудиосигналов, например, для реализаций, в которых некоторые аудиосигналы формируются посредством осцилляторов, а некоторые (другие) аудиосигналы принимаются из внешнего источника.

В соответствии с вышеизложенным, при том, что это не подразумевает ограничение, часто упоминаются синтезаторы, варианты осуществления настоящего изобретения аналогичным образом относятся к аудиопроцессорам. Различие между этими различными реализациями состоит в том, являются ли аудиосигналы, которые впоследствии модифицируются и дополняются пространственными метаданными, (внутренне) формируемыми или принимаемыми. Следует понимать, что любые другие элементы/функциональности описанных синтезаторов аналогичным образом применяются к аудиопроцессорам. Таким образом, за исключением того, каким образом получается(ются) (т.е. формируется(ются) или принимается(ются)) аудиосигнал(ы), аудиопроцессоры могут иметь те же функциональности, что и функциональности синтезаторов, описанных в настоящем описании.

Как описано выше, вторая ступень синтезатора 305 представляет собой ступень для модификации аудиосигнала (например, для придания формы звуку, представленному аудиосигналом). Модификация аудиосигнала основана на одном или более (внутренних) управляющих сигналах (например, внутренних модулирующих сигналов). Управляющие сигналы в силу этого также могут называться «управляющими сигналами» для придания формы звуку, представленному посредством аудиосигнала. Как описано выше, управляющие сигналы могут быть зависящими от времени (т.е. могут варьироваться во времени). Соответственно, вторая ступень может быть выполнена с возможностью применения к аудиосигналу зависящей от времени модификации. Временная зависимость модификации может зависеть от одного или более управляющих сигналов.

Вторая ступень может содержать фильтры (например, VCF) и/или усилители (например, VCA). В общем, вторая ступень может содержать любые, некоторые или все из следующих элементов для модификации аудиосигнала: один или более фильтров (например, VCF), один или более усилителей (например, VCA), один или более LFO, один или более модулей аудиозадержки, один или более модулей возбуждения и один или более флэнджеров. Вторая ступень, например, также может содержать элементы придания формы звуку, такие как хор и реверберация. Все эти элементы могут иметь соответствующие рабочие параметры (например, параметры синтезатора или параметры аудиопроцессора), которые могут модифицироваться/изменяться/модулироваться в соответствии с одним или более управляющих сигналов.

Например, усилитель может иметь усиление в качестве рабочего параметра. Фильтр может иметь частоту отсечки и/или резонанс (резонансную частоту) в качестве рабочих параметров. LFO может иметь скорость и/или масштаб в качестве рабочих параметров. Модуль задержки (эффект задержки) может иметь время, сведение и/или обратную связь в качестве рабочих параметров. Модуль возбуждения (эффект возбуждения) может иметь в качестве рабочих параметров возбуждение и/или сведение. Кроме того, флэнджер (эффект флэнджера) может иметь в качестве рабочих параметров центр, ширину, скорость, повторное формирование и/или сведение.

Для каждого из таких рабочих параметров, которые модифицируются, может быть предусмотрен соответствующий управляющий сигнал, который управляет модификацией/модуляцией этого рабочего параметра. Управляющие сигналы могут формироваться посредством соответствующих источников модуляции. Примеры источников модуляции могут включать в себя LFO и/или огибающую(ие).

В первом неограничивающем примере, вторая ступень может содержать или реализовывать фильтр (например, VCF), который может применяться к аудиосигналу, выводимому из первой ступени. В этом случае, характеристическая частота фильтра может управляться одним или более управляющими сигналами. В этом смысле, характеристическая частота фильтра может быть зависящей от времени. Если соответствующий управляющий сигнал является периодическим (например, формируется посредством LFO), характеристическая частота может периодически изменяться. В соответствии с вышеизложенным, характеристическая частота фильтра может представлять собой частоту отсечки. В качестве альтернативы, характеристическая частота может представлять собой резонансную частоту.

Во втором неограничивающем примере, вторая ступень может содержать или реализовывать усилитель (например, VCA), который может применяться к аудиосигналу, выводимому из первой ступени. В этом случае, усиление усилителя может управляться одним или более управляющими сигналами. В этом смысле, усиление усилителя может быть зависящим от времени. Если соответствующий управляющий сигнал является периодическим (например, формируется посредством LFO), усиление может периодически изменяться.

В частности, во втором примере, вторая ступень может использовать усилитель для применения огибающей (например, профиля усилений) к аудиосигналу. В этом случае, соответствующий управляющий сигнал для усилителя может представлять огибающую.

Управляющие сигналы могут формироваться посредством модуляторов (таких как, например, LFO), как описано выше. В некоторых реализациях по меньшей мере некоторые модуляторы, в свою очередь, могут модулироваться посредством других модуляторов, под управлением соответствующих управляющих сигналов. Кроме того, могут быть предусмотрены встроенные эффекты, которые также модулируются.

(Внутренний) управляющий сигнал(ы) синтезатора 305 может формироваться посредством блока 320 звуковой модуляции, который может содержать элементы, одинаковые с элементами блока 120 модуляции синтезатора 100, описанного выше. В связи с этим, звуковая модуляция посредством блока 320 звуковой модуляции может продолжаться таким же образом, как посредством блока 120 звуковой модуляции, описанного выше. Это не исключает того, что блок 320 звуковой модуляции содержит дополнительные элементы и/или имеет дополнительные функциональности, не описанные выше.

В общем, управляющие сигналы могут формироваться посредством одного или более модуляторов, которые затрагивают то, как модифицируется аудиосигнал. Один или более модуляторов, например, могут быть связаны или содержать LFO. Как отмечено выше, также рабочие параметры одного или более модуляторов могут непосредственно подвергаться зависящей от времени модуляции под управлением соответствующих управляющих сигналов. Как проиллюстрировано посредством поверхности 122 управления (например, клавиатуры, панели управления), показанной на фиг. 1, один или более управляющих сигналов также могут быть основаны по меньшей мере частично на пользовательском вводе.

Блок 330 придания пространственной формы может рассматриваться как связанный с третьим каскадом синтезатора 305 для формирования пространственных метаданных, связанных с модифицированным аудиосигналом, или как реализующий его. Как отмечено выше, это осуществляется по меньшей мере частично на основе одного или более управляющих сигналов. Здесь и ниже по тексту, следует понимать, что пространственные метаданные могут представлять собой метаданные для инструктирования внешнего устройства (например, узла рендеринга или модуля рендеринга) в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

Следует понимать, что любые из управляющих сигналов (например, управляющие сигналы, описанные выше) могут применяться в качестве основы для формирования пространственных метаданных. Например, эти управляющие сигналы могут использоваться в качестве основы для определения по меньшей мере одного из положения соответствующего аудиообъекта в горизонтальной плоскости, подъема соответствующего аудиообъекта и размера аудиообъекта. Если положение аудиообъекта в данной плоскости (например, в горизонтальной плоскости) определяется на основе управляющего сигнала(ов), параметры линейного перемещения в пространстве могут определяться (например, вычисляться) из управляющего сигнала, такого как управляющий сигнал, представляющий зависящее от времени усиление или профиль усилений. Аналогичным образом, параметры периодического движения (например, кругового или эллиптического движения) аудиообъекта в данной плоскости (например, в горизонтальной плоскости) могут определяться (например, вычисляться) на основе периодического управляющего сигнала, такого как управляющий сигнал, управляющий характеристической частотой фильтра.

В первом примере, описанном выше, аудиосигнал для аудиообъекта, который должен восприниматься как вращающийся вокруг центрального положения, может формироваться посредством периодического изменения характеристической частоты (например, отсечки, резонансной) фильтра, который применяется к аудиосигналу. Затем, полярный угол аудиообъекта (который может использоваться для извлечения соответствующих декартовых координат) может определяться (например, вычисляться) на основе управляющего сигнала, который используется для модуляции характеристической частоты. В силу этого, пространственные метаданные формируются по меньшей мере частично на основе одного или более управляющих сигналов (в частности, управляющего сигнала, модулирующего характеристическую частоту фильтра).

Во втором примере, описанном выше, аудиосигнал для аудиообъекта, который должен восприниматься как перемещающийся, например, по помещению, может формироваться посредством использования усилителя для применения огибающей к аудиосигналу. Затем зависящее от времени положение, например, соответствующее линейному перемещению аудиообъекта в пространстве (которое может использоваться для извлечения соответствующих декартовых координат), может определяться (например, вычисляться) на основе управляющего сигнала, который используется для модуляции усиления усилителя. В частности, линейное перемещение в пространстве (либо зависящее от времени положение, либо пространственные метаданные в общем) может формироваться на основе формы огибающей (профиля усилений), представленной посредством управляющего сигнала. В силу этого, снова пространственные метаданные формируются на основе по меньшей мере частично одного или более управляющих сигналов (в частности, управляющего сигнала, модулирующего усиление усилителя).

В третьем примере, множество аудиосигналов может формироваться множеством осцилляторов. После этого относительное пространственное положение (т.е. относительно друг друга) ассоциированных аудиообъектов осцилляторов может модулироваться посредством LFO, который также используется для модуляции их частоты. Например, по мере того, как фильтр, который применяется к аудиосигналам, размыкается и замыкается циклически под управлением LFO, объекты должны перемещаться в направлении друг к другу, а затем друг от друга циклически. Это относительное перемещение может надлежащим образом отражаться в сформированных метаданных для множества модифицированных аудиосигналов. Здесь, снова пространственные метаданные формируются на основе по меньшей мере частично одного или более управляющих сигналов (в частности, управляющего сигнала, сформированного посредством LFO).

В четвертом примере, множество аудиосигналов может формироваться множеством осцилляторов. В таком случае, относительное пространственное положение ассоциированных объектов осцилляторов может управляться огибающей, которая также управляет отсечкой фильтра, применяемого к аудиосигналам. Огибающая, например, может инициироваться посредством присоединенной клавиатуры либо другого подходящего средства для приема пользовательского ввода. Например, когда клавиша нажата сначала, кажется, что звук осцилляторов исходит из одинакового пространственного положения, но по мере того, как удерживание клавиши продолжается, кажется, что источники звука пространственно перемещаются в направлении друг от друга. По мере того, как источники звука все больше отдаляются друг от друга, фильтр может размыкаться в большей степени, что приводит к тому, что звук(и) становится(ятся) более ярким(и). Это относительное перемещение может вновь надлежащим образом отражаться в сформированных метаданных для множества модифицированных аудиосигналов. Здесь, пространственные метаданные формируются вновь по меньшей мере частично на основе одного или более управляющих сигналов (в частности, управляющего сигнала, сформированного посредством огибающей).

В пятом примере, случайная форма LFO может использоваться для управления как голосовым положением, так и волновой таблицей осциллятора, формирующего аудиосигнал (т.е. голос). Во времени, голосовой объект должен принимать случайные пространственные положения, причем каждое новое положение соответствует новой волновой таблице. Случайное перемещение голосового объекта может надлежащим образом отражаться в сформированных метаданных для аудиосигнала. Здесь, снова пространственные метаданные формируются на основе по меньшей мере частично одного или более управляющих сигналов (в частности, управляющего сигнала, сформированного посредством случайной формы LFO).

Выходная ступень синтезатора (четвертая ступень) представляет собой выходную ступень для вывода модифицированного аудиосигнала вместе со сформированными пространственными метаданными. В частности, выходная ступень может быть выполнена с возможностью вывода одного или более аудиопотоков на основе модифицированного аудиосигнала, вместе, для каждого аудиопотока, с соответствующими пространственными метаданными, сформированными третьей ступенью. Например, может быть предусмотрен один поток пространственных метаданных для каждого выходного аудиопотока. Когда более одного аудиосигнала обрабатываются параллельно посредством синтезатора 305, может быть предусмотрен один выходной аудиопоток для каждого (модифицированного) аудиосигнала. В качестве альтернативы, модифицированные аудиосигналы могут микшироваться в аудиопотоки для вывода. В таких случаях, соответствующие пространственные метаданные могут формироваться для результирующих аудиопотоков. В качестве альтернативы, пространственные метаданные для выходного аудиопотока могут формироваться на основе пространственных метаданных отдельных модифицированных аудиосигналов, которые микшируются в выходной аудиопоток.

Альтернативно или помимо этого, более одного аудиосигнала (т.е. множество аудиосигналов) могут последовательно обрабатываться посредством синтезатора 305. Например, в некоторых таких реализациях, обработка для данного аудиосигнала может зависеть от аудиосигнала, обработанного ранее, и/или его метаданных. В качестве другого примера, в некоторых реализациях, обработка может включать в себя модификацию уже существующих пространственных метаданных аудиосигнала, полученного первой ступенью. В соответствии с вышеизложенным, эта модификация уже существующих метаданных может быть основана на внутренних управляющих сигналах (внутренних модулирующих сигналах).

Хотя синтезатор 305 описан как выводящий объектно-ориентированное аудиосодержимое (т.е. модифицированный аудиосигнал вместе со сформированными пространственными метаданными), он дополнительно может быть выполнен с возможностью вывода рендерированного (например, канально-ориентированного) аудиосодержимого. Например, синтезатор 305 может рендерировать бинауральный вывод для предварительного просмотра либо для прямого многоканального ввода в систему громкоговорящего оповещения. Соответственно, синтезатор дополнительно может содержать, в дополнение к выходной ступени, ступень рендеринга (или узел рендеринга, модуль рендеринга) для формирования рендерированного аудиосодержимого. Тем не менее, следует понимать, что ступень рендеринга является факультативной, и что синтезатор обычно может обеспечивать объектно-ориентированное аудиосодержимое для внешнего рендеринга.

Соответствующий способ 400 формирования или обработки аудиосигналов схематично иллюстрируется на блок-схеме по фиг. 4. Способ 400 содержит этапы/процессы S410-S440.

На этапе S410, получается аудиосигнал. Как отмечено выше, это может включать в себя формирование или прием аудиосигнала.

На этапе S420, аудиосигнал модифицируется на основе одного или более управляющих сигналов для придания формы звуку, представленному аудиосигналом.

На этапе S430, пространственные метаданные, связанные с модифицированным аудиосигналом, формируются по меньшей мере частично на основе одного или более управляющих сигналов.

В завершение, на этапе S440, модифицированный аудиосигнал выводится вместе со сформированными пространственными метаданными.

Следует понимать, что этап S410 может выполняться первой ступенью вышеописанного устройства для формирования или обработки аудиосигналов, этап S420 может выполняться второй ступенью, этап S430 может выполняться третьей ступенью, и этап S440 может выполняться выходной ступенью. Кроме того, следует понимать, что любые утверждения, приведенные выше в отношении соответствующих ступеней, аналогичным образом применяются к соответствующим им этапам/процессам способа, и что повторное описание может не приводиться из соображений краткости.

Настоящее изобретение аналогично относится к устройству (например, к синтезатору, аудиопроцессору) для осуществления способов и технологий, описанных в настоящем описании. Фиг. 5 показывает пример такого устройства 500. Упомянутое устройство 500 содержит процессор 510 и запоминающее устройство 520, соединенное с процессором 510. Запоминающее устройство 520 может сохранять инструкции для процессора 510. Процессор 510 при необходимости может принимать ввод 530 из внешнего источника, такого как база данных. Ввод 530, например, может быть связан со звуковыми сигналами. Кроме того, процессор 510 может принимать пользовательский ввод 560, например, через подходящий интерфейс(ы) (например, через клавиатуру, панель управления и т.д.). Пользовательский ввод может модифицировать формирование звука или придание формы звуку, как описано выше. Процессор 510 может адаптироваться с возможностью реализации способов/технологий, описанных в настоящем описании. Соответственно, процессор 510 может выводить один или более (модифицированных) звуковых сигналов 540 (аудиопотоков) и ассоциированных метаданных 550 (потоков метаданных).

Настоящее изобретение аналогично относится к компьютерной программе, содержащей инструкции, которые, при выполнении посредством компьютерного процессора, предписывают компьютерному процессору осуществлять способ, описанный в настоящем описании, и к машиночитаемому носителю данных, сохраняющему упомянутую компьютерную программу.

Общим для вариантов осуществления настоящего изобретения может быть что (те же самые) внутренние управляющие сигналы (внутренние модулирующие сигналы), которые используются для управления формированием и/или модификацией/приданием формы аудиосигналам, также используются для формирования пространственных метаданных для аудиосигналов. По сравнению со случаями, в которых управляющие сигналы не доступны для формирования пространственных метаданных, и в которых любые предыдущие операции придания формы, примененные к аудиосигналам, финализируются в канально-ориентированный вывод (например, моно-, стерео- или возможно многоканальный), это обеспечивает дополнительную гибкость в реализации творческого намерения и может помогать исключать трудоемкое и потенциально субоптимальное редактирование вручную пространственных метаданных.

Интерпретация

Аспекты систем, описанных в данном документе, могут быть реализованы в соответствующих компьютерных системах звуковой обработки для формирования и/или обработки звуковых сигналов. Один или более компонентов, блоков, процессов или других функциональных компонентов может быть реализован через одну или более компьютерных программ, которые управляют работой одного или более процессорных вычислительных устройств системы. Также следует отметить, что различные функции, раскрытые в данном документе, могут быть описаны с использованием любого числа сочетаний аппаратных средств, микропрограммного обеспечения и/или в качестве данных и/или инструкций, осуществленных на различных машиночитаемых или считываемых компьютером носителях, с точки зрения их поведения, межрегистровых пересылок, логических компонентов и/или других характеристик. Машиночитаемые носители, на которых могут осуществляться такие отформатированные данные и/или инструкции, включают в себя, но не только, физические (постоянные), энергонезависимые носители данных в различных формах, такие как оптические, магнитные или полупроводниковые носители данных.

В частности, следует понимать, что варианты осуществления могут включать в себя аппаратные средства, программное обеспечение и электронные компоненты или модули, которые, для целей пояснения, могут быть проиллюстрированы и описаны, как если большинство компонентов реализовано исключительно в аппаратных средствах. Тем не менее, специалисты в данной области техники на основе прочтения данного подробного описания должны признавать, что по меньшей мере в одном варианте осуществления, электронные аспекты могут быть реализованы в программном обеспечении (например, сохраненном на постоянном машиночитаемом носителе), выполняемом одним или более электронными процессорами, такими как микропроцессор и/или специализированные интегральные схемы (ASIC). По существу, следует отметить, что для реализации вариантов осуществления может использоваться множество аппаратных и программных устройств, а также множество различных конструктивных компонентов. Например, блоки или ступени, описанные в данном документе, могут включать в себя один или более электронных процессоров, один или более модулей машиночитаемого носителя, один или более интерфейсов ввода-вывода и различные соединения (например, системную шину), соединяющие различные компоненты.

При том, что одна или более реализаций описаны в качестве примера и с точки зрения конкретных вариантов осуществления, следует понимать, что одна или более реализаций не ограничены раскрытыми вариантами осуществления. Наоборот, подразумевается охват различных модификаций и аналогичных конфигураций, как должно быть очевидным специалистам в данной области техники. Следовательно, объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации таким образом, чтобы охватывать все такие модификации и аналогичные конфигурации.

Также следует понимать, что фразеология и терминология, применяемая в настоящем документе, используется для описания и не должна расцениваться как ограничение. Использование понятий «включающий в себя», «содержащий» или «имеющий» и их вариантов подразумевает включение элементов, перечисленных далее, и их эквивалентов, а также дополнительных элементов. Если не указано иное или нет иных ограничений, термины «установленный», «соединенный», «поддерживаемый» и «связанный» и их варианты в данном документе используются в широком смысле и включают в себя непосредственные и опосредованные виды установки, соединений, поддержки и связей.

Пронумерованные примерные варианты осуществления

Различные аспекты и реализации настоящего изобретения также могут приниматься во внимание из следующих пронумерованных примерных вариантов осуществления (EEE), которые не представляют собой формулу изобретения.

EEE1. Устройство для формирования или обработки аудиосигналов, причем устройство содержит: первую ступень для получения аудиосигнала; вторую ступень для модификации аудиосигнала на основе одного или более управляющих сигналов для придания формы звуку, представленному аудиосигналом; третью ступень для формирования пространственных метаданных, связанных с модифицированным аудиосигналом, по меньшей мере частично на основе одного или более управляющих сигналов; и выходную ступень для вывода модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

EEE2. Устройство по EEE1, в котором один или более управляющих сигналов являются зависящими от времени.

EEE3. Устройство по EEE1 или EEE2, в котором пространственные метаданные представляют собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

EEE4. Устройство по любому из EEE1-EEE3, в котором вторая ступень выполнена с возможностью применения к аудиосигналу зависящей от времени модификации, при этом временная зависимость модификации зависит от одного или более управляющих сигналов.

EEE5. Устройство по любому из EEE1-EEE4, в котором вторая ступень содержит по меньшей мере одно из следующего для модификации аудиосигнала: фильтра; усилителя; низкочастотного осциллятора; модуля аудиозадержки; модуля возбуждения; и/или флэнджера.

EEE6. Устройство по любому из EEE1-EEE5, в котором вторая ступень выполнена с возможностью применения фильтра к аудиосигналу; и при этом характеристическая частота фильтра управляется одним или более управляющими сигналами.

EEE17. Устройство по EEE6, в котором характеристическая частота фильтра представляет собой частоту отсечки.

EEE8. Устройство по любому из EEE1-EEE7, в котором вторая ступень выполнена с возможностью применения к аудиосигналу усилителя; и при этом усиление усилителя управляется одним или более управляющими сигналами.

EEE9. Устройство по EEE8, в котором вторая ступень выполнена с возможностью применения огибающей к аудиосигналу посредством использования усилителя; и при этом третья ступень выполнена с возможностью формирования пространственных метаданных по меньшей мере частично на основе формы огибающей.

EEE10. Устройство по любому из EEE1-EEE9, в котором получение аудиосигнала содержит формирование аудиосигнала посредством использования одного или более осцилляторов.

EEE11. Устройство по EEE10, в котором аудиосигнал формируется посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов.

EEE12. Устройство по любому из EEE1-EEE9, в котором получение аудиосигнала содержит прием аудиосигнала.

EEE13. Устройство по любому из EEE1-EEE12, в котором один или более управляющих сигналов основаны по меньшей мере частично на пользовательском вводе.

EEE14. Устройство по любому из EEE1-EEE13, в котором выходная ступень выполнена с возможностью вывода одного или более аудиопотоков на основе модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

EEE15. Способ формирования или обработки аудиосигналов, при этом способ содержит: получение аудиосигнала; модификацию аудиосигнала на основе одного или более управляющих сигналов для придания формы звуку, представленному аудиосигналом; формирование пространственных метаданных, связанных с модифицированным аудиосигналом, по меньшей мере частично на основе одного или более управляющих сигналов; и вывод модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

EEE16. Способ по EEE15, в котором один или более управляющих сигналов являются зависящими от времени.

EEE17. Способ по EEE15 или EEE16, в котором пространственные метаданные представляют собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

EEE18. Способ по любому из EEE15-EEE17, в котором модификация аудиосигнала содержит применение зависящей от времени модификации к аудиосигналу, при этом временная зависимость модификации зависит от одного или более управляющих сигналов.

EEE19. Способ по любому из EEE15-EEE18, содержащий модификацию аудиосигнала по меньшей мере посредством одного из следующего: фильтра; усилителя; низкочастотного осциллятора; модуля аудиозадержки; модуля возбуждения; и/или флэнджера.

EEE20. Способ по любому из EEE15-EEE19, в котором модификация аудиосигнала содержит применение фильтра к аудиосигналу; и при этом характеристическая частота фильтра управляется одним или более управляющими сигналами.

EEE21. Способ по EEE20, в котором характеристическая частота фильтра представляет собой частоту отсечки.

EEE22. Способ по любому из EEE15-EEE21, в котором модификация аудиосигнала содержит применение усилителя к аудиосигналу; и при этом усиление усилителя управляется одним или более управляющими сигналами.

EEE23. Способ по EEE22, в котором модификация аудиосигнала содержит применение огибающей к аудиосигналу посредством использования усилителя; и при этом формирование пространственных метаданных основано по меньшей мере частично на форме огибающей.

EEE24. Способ по любому из EEE15-EEE23, в котором получение аудиосигнала содержит формирование аудиосигнала посредством использования одного или более осцилляторов.

EEE25. Способ по EEE24, в котором аудиосигнал формируется посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов.

EEE26. Способ по любому из EEE15-EEE23, в котором получение аудиосигнала содержит прием аудиосигнала.

EEE29. Способ по любому из EEE15-EEE26, в котором один или более управляющих сигналов основаны по меньшей мере частично на пользовательском вводе.

EEE28. Способ по любому из EEE15-EEE27, в котором вывод модифицированного аудиосигнала содержит вывод одного или более аудиопотоков на основе модифицированного аудиосигнала, вместе со сформированными пространственными метаданными.

EEE29. Компьютерная программа, содержащая инструкции, которые при выполнении посредством компьютерным процессором предписывают компьютерному процессору осуществлять способ по любому из EEE15-EEE28.

EEE30. Машиночитаемый носитель данных, сохраняющий компьютерную программу по EEE29.

Настоящее изобретение описывает технологии для синтезирования или обработки звука с выводом пространственных метаданных. Описано устройство для формирования и/или обработки аудиосигналов. Одно устройство включает в себя: первую ступень для получения аудиосигнала; вторую ступень для модификации аудиосигнала на основе одного или более управляющих сигналов для придания формы звуку, представленному аудиосигналом; третью ступень для формирования пространственных метаданных, связанных с модифицированным аудиосигналом по меньшей мере частично на основе одного или более управляющих сигналов; и выходную ступень для вывода модифицированного аудиосигнала вместе со сформированными пространственными метаданными. Кроме того, описаны соответствующие способы, а также соответствующие программы и машиночитаемые носители данных. Технический результат заключается в обеспечении процесса пространственной обработки сигнала, не отделенного от процесса генерации звука, что позволяет сократить время и избежать дополнительного этапа редактирования пространственных метаданных, чтобы включить операции формирования для аудиосигналов. 4 н. и 25 з.п. ф-лы, 5 ил.

1. Устройство для формирования или обработки аудиосигналов, причем устройство содержит:

- первую ступень для получения аудиосигнала;

- вторую ступень для модификации аудиосигнала на основе одного или более управляющих сигналов, выполненных с возможностью придания формы звуку, представленному аудиосигналом;

- третью ступень для формирования пространственных метаданных, связанных с модифицированным аудиосигналом, по меньшей мере частично на основе одного или более управляющих сигналов; и

- выходную ступень для вывода модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

2. Устройство по п. 1, в котором один или более управляющих сигналов являются зависящими от времени.

3. Устройство по п. 1 или 2, в котором пространственные метаданные представляют собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

4. Устройство по любому из пп. 1-3, в котором вторая ступень выполнена с возможностью применения к аудиосигналу зависящей от времени модификации, при этом временная зависимость модификации зависит от одного или более управляющих сигналов.

5. Устройство по любому из пп. 1-4, в котором вторая ступень содержит по меньшей мере одно из следующего для модификации аудиосигнала:

- фильтра;

- усилителя;

- низкочастотного осциллятора;

- модуля аудиозадержки;

- модуля возбуждения; и/или

- флэнджера.

6. Устройство по любому из пп. 1-5, в котором вторая ступень выполнена с возможностью применения к аудиосигналу фильтра; и - при этом характеристическая частота фильтра управляется одним или более управляющими сигналами.

7. Устройство по п. 6, в котором характеристическая частота фильтра представляет собой частоту отсечки.

8. Устройство по любому из пп. 1-7, в котором вторая ступень выполнена с возможностью применения к аудиосигналу усилителя; и

- при этом усиление усилителя управляется одним или более управляющими сигналами.

9. Устройство по п. 8, в котором вторая ступень выполнена с возможностью применения к аудиосигналу огибающей посредством использования усилителя; и

- при этом третья ступень выполнена с возможностью формирования пространственных метаданных по меньшей мере частично на основе формы огибающей.

10. Устройство по любому из пп. 1-9, в котором получение аудиосигнала содержит формирование аудиосигнала посредством использования одного или более осцилляторов.

11. Устройство по п. 10, в котором аудиосигнал формируется посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов.

12. Устройство по любому из пп. 1-9, в котором получение аудиосигнала содержит прием аудиосигнала.

13. Устройство по любому из пп. 1-12, в котором один или более управляющих сигналов по меньшей мере частично основаны на пользовательском вводе.

14. Устройство по любому из пп. 1-13, в котором выходная ступень выполнена с возможностью вывода одного или более аудиопотоков на основе модифицированного аудиосигнала вместе со сформированными пространственными метаданными.

15. Способ формирования или обработки аудиосигналов, при этом способ содержит этапы, на которых:

- получают аудиосигнал;

- модифицируют аудиосигнал на основе одного или более управляющих сигналов, выполненных с возможностью придания формы звуку, представленному аудиосигналом;

- формируют пространственные метаданные, связанные с модифицированным аудиосигналом, по меньшей мере частично на основе одного или более управляющих сигналов; и

- выводят модифицированный аудиосигнал вместе со сформированными пространственными метаданными.

16. Способ по п. 15, в котором один или более управляющих сигналов являются зависящими от времени.

17. Способ по п. 15 или 16, в котором пространственные метаданные представляют собой метаданные для инструктирования внешнего устройства в отношении того, каким образом следует рендерировать модифицированный аудиосигнал.

18. Способ по любому из пп. 15-17, в котором модификация аудиосигнала содержит этап, на котором применяют к аудиосигналу зависящую от времени модификацию, при этом временная зависимость модификации зависит от одного или более управляющих сигналов.

19. Способ по любому из пп. 15-18, содержащий этап, на котором модифицируют аудиосигнал посредством по меньшей мере одного из: фильтра; усилителя; низкочастотного осциллятора; модуля аудиозадержки; модуля возбуждения; и/или флэнджера.

20. Способ по любому из пп. 15-19, в котором модификация аудиосигнала содержит этап, на котором применяют фильтр к аудиосигналу; и при этом характеристическая частота фильтра управляется одним или более управляющими сигналами.

21. Способ по п. 20, в котором характеристическая частота фильтра представляет собой частоту отсечки.

22. Способ по любому из пп. 15-21, в котором модификация аудиосигнала содержит этап, на котором применяют к аудиосигналу усилитель; и при этом усиление усилителя управляется одним или более управляющими сигналами.

23. Способ по п. 22, в котором модификация аудиосигнала содержит этап, на котором применяют к аудиосигналу огибающую посредством использования усилителя; и при этом формирование пространственных метаданных по меньшей мере частично основано на форме огибающей.

24. Способ по любому из пп. 15-23, в котором получение аудиосигнала содержит этап, на котором формируют аудиосигнал посредством использования одного или более осцилляторов.

25. Способ по п. 24, в котором аудиосигнал формируется посредством одного или более осцилляторов по меньшей мере частично на основе одного или более управляющих сигналов.

26. Способ по любому из пп. 15-23, в котором получение аудиосигнала содержит этап, на котором принимают аудиосигнал.

27. Способ по любому из пп. 15-26, в котором один или более управляющих сигналов по меньшей мере частично основаны на пользовательском вводе.

28. Способ по любому из пп. 15-27, в котором вывод модифицированного аудиосигнала содержит этап, на котором выводят один или более аудиопотоков на основе модифицированного аудиосигнала, вместе со сформированными пространственными метаданными.

29. Машиночитаемый носитель данных, содержащий компьютерную программу, содержащую инструкции, которые при выполнении компьютерным процессором предписывают компьютерному процессору осуществлять способ по любому из пп. 15-28.