УСТРОЙСТВО И СПОСОБ ДЛЯ СИНТЕЗИРОВАНИЯ ВЫХОДНОГО СИГНАЛА Российский патент 2012 года по МПК G10L19/00 H04S3/02 

Настоящее изобретение относится к синтезированию выходного сигнала с применением аудиорендеринга, например выходного стереосигнала или выходного многоканального аудиосигнала, сформированного в результате понижающего микширования с использованием дополнительных управляющих данных. При этом многоканальное понижающее микширование представляет собой понижающее микширование совокупности множества сигналов аудиообъекта.

Последние разработки в области аудиотехники способствуют совершенствованию многоканального воспроизведения аудиосигнала на основе стерео (или моно) сигнала и соответствующих управляющих команд. Эти методы параметрического кодирования звукового окружения обычно включают в себя параметризацию. Параметрический многоканальный аудиодекодер (например, декодер MPEG Surround, описываемый стандартом ISO/IEC 23003-1 (L.Villemoes, J.Herre, J.Breebaart, G.Hotho, S.Disch, H.Purnhagen, and K.Kjörling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond, Pitee, Sweden, June 30 - July 2, 2006 ("MPEG Surround: подготовка нового стандарта ИСО на пространственное аудиокодирование", материалы 28-й международной конференции AES «Передовые аудиотехнологии, современное состояние и перспективы», Пите, Швеция, 30 июня - 2 июля 2006 г., и Breebaart, J.Herre, L.Villemoes, С.Jin, K.Kjörling, J.Plogsties, and J.Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4, 2006 "Мобильные многоканальные устройства: стереофоническое представление формата MPEG Surround", 29-я Международная конференция AES, "Звук для мобильных и портативных устройств", Сеул, 2-4 сентября 2006 г.), реконструирует М каналов, используя K переданных каналов, где М>K, с использованием управляющих данных. Управляющие данные содержат данные параметризации многоканального сигнала, выведенные из IID (межканальной разности мощности) и ICC (межканальной когерентности). Эти параметры, получаемые, как правило, на стадии кодирования, описывают соотношение мощностей и корреляцию пар каналов, задействованных в процессе повышающего микширования. Применение подобного алгоритма кодирования позволяет выполнять кодирование при скорости передачи данных, значительно более низкой, чем передача всех М каналов, обеспечении очень высокой эффективности кодирования и гарантии совместимости с устройствами с K каналами и с устройствами с М каналами.

Аналогичной системой кодирования является соответствующее устройство кодирования аудиообъектов, обеспечивающее при кодировании понижающее микширование нескольких аудиообъектов с последующим выполнением повышающего микширования с использованием управляющих данных С.Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006 ("Комбинированное параметрическое кодирование источников звука". Доклад 6752 на 120-й Конференции AES, Париж, Франция, 20-23 мая 2006 г.; С.Faller, "Parametric Joint-Coding of Audio Sources," Patent application PCT/EP2006/050904, 2006 «Комбинированное параметрическое кодирование источников звука»). Повышающее микширование может также рассматриваться как разделение объектов, смешанных в процессе понижающего микширования (Полученный в результате восходящего микширования сигнал может быть преобразован для воспроизведения в одно- или многоканальном режиме). Говоря точнее, в указанных источниках предлагается метод синтезирования аудиоканалов на базе даунмикса (так называемого суммарного сигнала, полученного в результате понижающего микширования), статистической информации об исходных объектах и параметров, описывающих требуемый выходной формат. Если используются несколько сигналов, полученных понижающим микшированием, эти сигналы состоят из подмножеств различных объектов, и повышающее микширование должно осуществляется по каждому каналу понижающего микширования индивидуально.

Исходя из уровня техники, известно, что при понижающем микшировании стереообъекта и преобразовании объекта в стереоформат или при генерации стереосигнала для последующей обработки, например, с помощью декодера MPEG Surround, существенные эксплуатационные преимущества достигаются благодаря парной обработке каналов по алгоритму матрицирования с частотно-временной зависимостью. Вне рамок кодирования аудиообъектов применяется сходная процедура для частичного преобразования одного стереоаудиосигнала в другой стереоаудиосигнал в WO 2006/103584. Кроме того, известно, что для стандартной системы кодирования аудиообъекта в процесс аудиорендеринга необходимо дополнительно ввести процедуру декорреляции с целью перцептуального воспроизведения заданной сцены. При этом известный уровень техники не содержит описание комплексной оптимизации кодирования с помощью матричной системы (матрицирование) и декорреляции. Простое соединение известных технических решений ведет или к неэффективному и негибкому использованию возможностей многоканального понижающего микширования объекта, или к низкому качеству получаемой в результате аудиорендеринга стереофонограммы исходного объекта.

Задачей настоящего изобретения является скорректированная концепция синтезирования выходного сигнала с использованием аудиорендеринга.

Эта задача решается посредством устройства, синтезирующего преобразованный аудиорендерингом выходной сигнал в соответствии с п.1 формулы изобретения, посредством способа синтезирования выходного сигнала с применением аудиорендеринга по п.27 формулы, или посредством компьютерной программы согласно п.28 формулы изобретения.

Данное изобретение обеспечивает синтез преобразованного с помощью аудиорендеринга выходного сигнала, интегрирующего сигналы двух или более звуковых каналов. При этом при преобразовании множества аудиообъектов число синтезированных сигналов звуковых каналов всегда меньше числа исходных аудиообъектов. Однако, если количество аудиообъектов не велико (например, 2), а количество выходных каналов - 2, 3 или большее число выходных звуковых каналов может превышать число аудиообъектов. Синтез выходного сигнала с использованием аудиорендеринга осуществляют без выполнения операции полного декодирования аудиообъекта до расшифровки составляющих аудиообъектов и без последующего рендеринга синтезируемых аудиообъектов по заданным параметрам. Вместо этого в области значений параметров рассчитывают преобразуемые выходные сигналы на базе характеристик понижающего микширования, на базе предварительно заданных характеристик аудиорендеринга и на базе данных аудиообъектов, описывающих эти аудиообъекты в форме параметров энергии и корреляции. Таким образом, количество декорреляторов, существенно усложняющих реализацию устройства синтеза, может быть сокращено так, что оно будет меньше числа выходных каналов и даже значительно меньше числа аудиообъектов. Говоря точнее, звук высокого качества может быть синтезирован при реализации синтезаторов только с одним или двумя декорреляторами. Более того, благодаря отсутствию необходимости в полном декодировании аудиообъектов и последующем аудиорендеринге по заданным параметрам обеспечивается экономия объема памяти и вычислительного ресурса. Кроме того, каждая операция потенциально вносит дополнительные артефакты. В силу этого, в соответствии с настоящим изобретением предпочтение отдается расчетам только в области значений параметров, чтобы единственными аудиосигналами, представленными не в виде параметров, а в виде, например, сигналов временной области или сигналов частотной области, были, по меньшей мере, те два сигнала, которые получены в результате понижающего микширования объекта. При акустическом синтезировании их вводят в декоррелятор как в форме даунмикса, если применяется один декоррелятор, так и в микшированной форме, если для каждого канала используется отдельный декоррелятор. Другие действия, выполняемые во временной области или в области банка фильтров или с сигналами смешанных каналов, представляют собой лишь взвешенные комбинации, такие как взвешенное сложение или взвешенное вычитание, то есть - линейные операции. Таким образом предотвращается внесение артефактов при выполнении операций полного декодирования аудиообъекта и последующем аудиорендеринге по заданным параметрам.

Информация о аудиообъекте дается предпочтительно в виде энергетических параметров и данных корреляции, например, в форме ковариационной матрицы объекта. Кроме того, такая матрица предпочтительно должна быть применима для каждого поддиапазона и каждого временного интервала, что было бы отражено в частотно-временной карте, где каждое гнездо содержит ковариационную матрицу аудиообъекта, описывающую энергию соответствующих аудиообъектов в этом поддиапазоне и корреляцию между соответствующими парами аудиообъектов в соответствующем поддиапазоне. Естественно, что эта информация привязана к определенным временным рамкам частотного сигнала или аудиосигнала.

Предпочтительным результатом аудиосинтеза является преобразованный выходной стереосигнал, интегрирующий сигнал первого, или левого, звукового канала и сигнал второго, или правого, звукового канала. Благодаря этому можно достичь такого уровня кодирования аудиообъекта, при котором качество воспроизведения объектов в стереофонограмме будет максимально приближено к эталонной стереозвукопередаче.

Во многих случаях при кодировании аудиообъектов очень важно, чтобы стереоаудиорендеринг объектов был максимально приближен к эталонной стереозвукопередаче. Высокое качество акустики, полученное в результате стереоаудиорендеринга, приближенное к эталонной стереофонограмме, важно как в случае, когда стереоаудиорендеринг обеспечивает конечный выходной сигнал декодера объекта, так и в случае, когда стереосигнал передается на последующий элемент контура, такой как декодер MPEG Surround, работающий в режиме понижающего стереомикширования.

Настоящее изобретение предлагает метод наиболее эффективного соединения матрицирования и декорреляции, который обеспечивает декодеру аудиообъекта возможность полного использования потенциала алгоритма кодирования аудиообъекта с задействованием сигнала понижающего микширования объекта одновременно по нескольким каналам.

Реализация данного изобретения отличается тем, что включает в себя:

- декодер аудиообъекта, который предназначен для аудиорендеринга множества отдельных аудиообъектов с использованием многоканального понижающего микширования, управляющих данных, описывающих аудиообъекты, управляющих данных, описывающих понижающее микширование, и параметров аудиорендеринга, включающий в свою конструкцию:

- стереопроцессор, имеющий в своем составе интегрированный блок матричного кодирования (модуль комплексного матрицирования), который линейно сводит каналы многоканального понижающего микширования с получением исходного необработанного (драй-микс = dry mix) сигнала и входного сигнала декоррелятора с последующей передачей входного сигнала декоррелятора на декоррелятор, выходной сигнал которого линейно сведен в сигнал, который после суммирования с исходным необработанным сигналом образует в канале выходной стереосигнал модуля комплексного матрицирования; или

- блок расчета матрицы (матричный вычислитель), рассчитывающий на базе управляющих данных, описывающих аудиообъекты, понижающее микширование и параметры стереоаудиорендеринга, веса для линейного сведения, используемые затем интегрированным блоком матричного кодирования.

Далее изобретение представлено иллюстративным материалом, который не ограничивает его ни по форме, ни по существу, с описанием прилагаемых чертежей,

где на фиг.1 дана блок-схема процесса кодирования аудиообъекта, включая кодирование и декодирование;

на фиг.2А дана блок-схема процесса декодирования аудиообъекта до стереофонограммы;

на фиг.2B дана блок-схема процесса декодирования аудиообъекта;

на фиг.3А дана блок-схема работы стереопроцессора;

на фиг.3B дана блок-схема работы устройства синтезирования преобразованного аудиорендерингом выходного сигнала;

на фиг.4А представлен первый вариант реализации данного изобретения, включающий в себя матрицу С₀ смешения исходного сигнала, матрицу Q преддекорреляционного смешения сигнала и матрицу Р повышающего микширования сигнала декоррелятора;

на фиг.4B представлен вариант реализации данного изобретения без применения матрицы преддекорреляционного смешения сигнала;

на фиг.4С представлен вариант технического решения данного изобретения без применения матрицы повышающего микширования декоррелированного сигнала;

на фиг.4D представлена версия осуществления настоящего изобретения с применением дополнительной матрицы G компенсации усиления;

на фиг.4Е представлен вариант матрицы Q понижающего микширования сигнала декоррелятора и матрицы Р повышающего микширования сигнала декоррелятора с использованием одиночного декоррелятора;

на фиг.4F представлен вариант исполнения матрицы С₀ смешения исходного сигнала;

на фиг.4G дана детализация процесса сведения смешанного исходного сигнала и сигнала декоррелятора или сигнала, полученного в результате повышающего микширования сигнала декоррелятора;

на фиг.5 дана блок-схема многоканальной декорреляции с использованием нескольких декорреляторов;

на фиг.6 дана сводная карта нескольких аудиообъектов, имеющих индивидуальный идентификатор, аудиофайл объекта, и общую матрицу Е параметров аудиообъектов;

на фиг.7 дана расшифровка ковариационной матрицы Е объектов, показанных на фиг.6;

на фиг.8 даны матрица понижающего микширования и кодер аудиообъекта, управляемый матрицей D понижающего микширования;

на фиг.9 даны матрица А параметров аудиорендеринга, представляемая, как правило, пользователем, и частный пример сценария аудиорендеринга по заданным параметрам;

на фиг.10 показан алгоритм предварительных расчетов элементов матриц для четырех различных вариантов исполнения, представленных на фиг.4А-4D;

на фиг.11 показан алгоритм расчета матриц для первого варианта исполнения;

на фиг.12 показан алгоритм расчета матриц для второго варианта исполнения;

на фиг.13 показан алгоритм расчета матриц для третьего варианта исполнения; и

на фиг.14 показан алгоритм расчета матриц для четвертого варианта исполнения.

Варианты осуществления настоящего изобретения представлены ниже исключительно для истолкования основных принципов УСТРОЙСТВА И СПОСОБА СИНТЕЗИРОВАНИЯ ВЫХОДНОГО СИГНАЛА. Подразумевается, что для специалистов в данной области возможность внесения изменений и усовершенствований в компоновку и элементы описанной конструкции очевидна. В силу этого, представленные описания и пояснения вариантов реализации изобретения ограничиваются только рамками патентных требований, а не конкретными деталями.

На фиг.1 дана блок-схема процесса кодирования аудиообъекта, в котором задействованы кодер объекта 101 и декодер объекта 102. Кодер пространственных аудиообъектов 101 кодирует N объектов в данные нисходящего микширования объекта по K > 1 аудиоканалам в соответствии с параметрами кодера. Кодер объекта выводит информацию о примененной весовой матрице D понижающего микширования в сочетании со вспомогательными данными по мощности и корреляция понижающего микширования. Матрица D часто, но не обязательно всегда, постоянна по частотно-временным характеристикам, и поэтому информация о ней требует относительно небольшого объема. В завершение, кодер объекта извлекает параметры каждого объекта в виде частотно-временной функции с разрешением, определяемым условиями восприятия. Декодер пространственного аудиообъекта 102 принимает на входе каналы понижающего микширования объекта, данные понижающего микширования и параметры объекта (сгенерированные кодером) и генерирует выходной сигнал, состоящий из М звуковых каналов, для прослушивания. Аудиорендеринг N объектов в М звуковых каналов выполняют с использованием матрицы звукопередачи (аудиорендеринга), вводимой в декодер объекта как задаваемые пользователем характеристики.

На фиг.2А показаны составные элементы декодера аудиообъекта 102 в варианте комплектации, выход которой задан как стереофонограмма. Даунмикс аудиообъекта вводят в стереопроцессор 201 для обработки сигналов с получением на выходе стереосигнала. Обработка сигнала зависит от характеристик матрицы, рассчитанных вычислителем матриц 202. Информация о матрице выводится из параметров объекта, данных понижающего микширования и задаваемых пользователем характеристик аудиорендеринга объекта, описывающих требования к звукопередаче N объектов в стереоформате с использованием матрицы аудиорендеринга.

На фиг.2B показаны составные элементы декодера аудиообъекта 102 в варианте комплектации, выход которой задан как общий многоканальный аудиосигнал. Даунмикс аудиообъекта вводят в стереопроцессор 201 для обработки сигналов с получением на выходе стереосигнала. Обработка сигнала зависит от характеристик матрицы, рассчитанных вычислителем матрицы 202. Информация о матрице выводится из параметров объекта, данных понижающего микширования и характеристик аудиорендеринга объекта, обработанных и переданных блоком сведения данных аудиорендеринга 204. Сводная информация по аудиорендерингу объекта содержит описание задаваемых характеристик преобразования N объектов в стереофонограмму с использованием матрицы аудиорендеринга и формируется на основании данных аудиорендеринга, описывающих преобразование N объектов в М звуковых каналов, переданных на декодер аудиообъекта 102, параметров объекта и данных понижающего микширования объекта. Вспомогательный процессор 203 преобразует стереосигнал, полученный от стереопроцессора 201, в конечный многоканальный выходной аудиосигнал, сформированный на базе информации о аудиорендеринге, информации о понижающем микшировании и параметров объекта. Как правило, роль базового элемента вспомогательного процессора 203 выполняет декодер формата MPEG Surround, работающий в режиме понижающего стереомикширования.

На фиг.3А представлена схема устройства стереопроцессора 201. Если даунмикс объекта рассматривать как поток двоичных данных, исходящий от K-канального аудиокодера, данный поток битов сначала декодируется аудиодекодером 301 в K аудиосигналов временной области. Далее, с помощью частотно-временного конвертора 302 все эти сигналы трансформируются в частотную область. Относящееся к изобретению усовершенствованное матрицирование с частотно-временным преобразованием, характеристики для которого задаются матричными данными, поступающими на стереопроцессор 201, осуществляется модулем комплексного матрицирования 303 с использованием результирующих сигналов Х частотной области. Получаемый на выходе модуля 303 стереосигнал Y′ в частотной области преобразуется с помощью частотно-временного конвертора 304 в сигнал временной области.

На фиг.3B представлено устройство, синтезирующее преобразованный аудиорендерингом выходной сигнал 350, включающий в себя в случае стереоаудиорендеринга сигнал первого звукового канала и сигнал второго звукового канала или сигналы большего числа выходных звуковых каналов в случае многоканального аудиорендеринга. Однако для большего числа аудиообъектов, например трех или более, количество выходных каналов должно быть меньше количества исходных аудиообъектов, интегрированных в сигнал, полученный понижающим микшированием 352. А именно, сигнал 352, полученный понижающим микшированием, содержит, по меньшей мере, сигнал понижающего микширования первого объекта и сигнал понижающего микширования второго объекта, причем, сигнал, полученный понижающим микшированием, представляет собой результат понижающего микширования множества сигналов аудиообъектов, соответствующий введенной информации о понижающем микшировании 354. А именно, в относящуюся к изобретению конструкцию аудиосинтезатора, как показано на фиг.3B, введен декоррелятор 356, генерирующий декоррелированный сигнал, который включает в себя декоррелированный одноканальный сигнал или, в случае применения двух декорреляторов, сигнал первого декоррелированного канала и сигнал второго декоррелированного канала или, при варианте реализации с тремя или более декорреляторами, включающий в себя сигналы числа декоррелированных каналов, большего двух. При этом предпочтительным является меньшее количество декорреляторов и, следовательно, меньшее число сигналов декоррелированных каналов, поскольку каждый декоррелятор значительно усложняет конструкцию. Предпочтительным является количество декорреляторов, меньшее количества аудиообъектов, интегрированных в сигнал понижающего микширования 352, и равное числу каналов в выходном сигнале 352 или меньшее, чем число звуковых каналов в преобразованном аудиорендерингом выходном сигнале 350. Однако для небольшого количества аудиообъектов (например, 2 или 3) количество декорреляторов может быть равным или большим, чем количество аудиообъектов.

Как показано на фиг.3B, декоррелятор принимает на входе сигнал понижающего микширования 352 и генерирует выходной декоррелированный сигнал 358. Информация о понижающем микшировании 354 дополняется данными, задаваемыми для аудиорендеринга 360 и параметрами аудиообъекта 362. В частности, параметры аудиообъекта используются, по крайней мере, блоком сведения 364 и могут дополнительно быть использованы декоррелятором 356, что будет описано ниже. Параметры аудиообъекта 362 должны преимущественно включать в себя данные энергии и корреляции, параметрически описывающие аудиообъект числом в пределах значений между 0 и 1 или числом в заданном диапазоне значений, служащим показателем энергии, мощности или корреляции между двумя аудиообъектами, как будет рассмотрено позже.

Смеситель 364 предназначен для взвешенного введения сигнала понижающего микширования 352 и декоррелированного сигнала 358. Кроме того, на основе параметров понижающего микширования 354 и заданных характеристик звукопередачи (аудиорендеринга) 360 блок сведения 364 рассчитывает весовые коэффициенты для взвешенного сведения. Задаваемые параметры аудиорендеринга имитируют реальное расположение аудиообъектов в виртуальной звуковой среде и позиционируют аудиообъекты, определяя для воспроизведения каждого из них первый или второй выходной канал, то есть левый выходной канал или правый выходной канал при стереоаудиорендеринге. В то же время, при многоканальном аудиорендеринге в задаваемых характеристиках звукопередачи для каждого канала дополнительно определяется примерное положение относительно левого панорамированного (объемного/пространственного) или правого панорамированного или центрального акустического канала и т.п. Возможна реализация любых сценариев аудиорендеринга, которые, однако, будут отличаться друг от друга параметрами звукопередачи, предварительно задаваемыми преимущественно в форме матрицы аудиорендеринга, предоставляемой, как правило, пользователем, что будет описано далее.

И, наконец, блок сведения 364 использует параметры аудиообъекта 362, содержащие описание аудиообъектов, в основном, в виде энергетических показателей и данных корреляции. Как вариант исполнения допускается, чтобы параметры аудиообъекта были представлены в форме ковариационной матрицы аудиообъекта для каждой "ячейки" частотно-временной плоскости. Формулируя иначе, для каждого поддиапазона и для каждого временного отрезка, в пределах которого выбран этот поддиапазон, в качестве параметров аудиообъекта 362 определяется полная ковариационная матрица объекта, то есть матрица, содержащая информацию о мощности/энергии и информацию о корреляции.

При сравнении фиг.3B и фиг.2А или 2B видно, что декодер аудиообъекта 102 на фиг.1 соответствует устройству синтезирования выходного сигнала с использованием аудиорендеринга.

Кроме того, в (функции стереопроцессора 201 включена фаза декорреляции 356, показанная на фиг.3B. Вместе с тем, блок сведения 364 включает в себя блок расчета матриц 202, показанный на фиг.2А. Одновременно, если декоррелятор 356 выполняет операцию понижающего микширования, здесь часть функций вычислителя матриц 202 ложится на декоррелятор 356, а не на блок сведения 364.

Тем не менее, привязка выполняемых функций к конкретным компонентам элементной базы не имеет решающего значения при реализации настоящего изобретения, поскольку область его применения распространяется и на программное обеспечение, и на специальные средства цифровой обработки сигналов, или даже на персональные компьютеры общего назначения. Следовательно, соотнесение конкретной функции с конкретным модулем - это лишь один из подходов к техническому исполнению данного изобретения. Однако, если все принципиальные схемы конструктивных решений рассматривать как блок-схемы, иллюстрирующие алгоритмы рабочих операций, определенные функции можно легко соотнести с определенными блоками в зависимости от требований, предъявляемых при реализации или программировании.

Более того, при сравнении фиг.3B и фиг.3A становится очевидно, что выполнение функции блока сведения 364 по расчету весовых коэффициентов для взвешенного сведения может быть передано блоку расчета матриц 202. Говоря иначе, матричные данные представляют собой набор весовых коэффициентов, используемых модулем комплексного матричного кодирования 303, который реализован в блоке сведения 364, но который может также частично выполнять функции декоррелятора 356 (с учетом матрицы Q, что будет рассмотрено дальше). Таким образом, модуль комплексного матрицирования 303 выполняет операцию сведения поддиапазонов преимущественно этих, по меньшей мере, двух даунмикс-сигналов объекта (сигналов, полученных понижающим микшированием объекта), где информация о матрице включает в себя весовые коэффициенты для взвешивания этих, по меньшей мере, двух даунмикс-сигналов или сигнал, декоррелированный перед выполнением операции сведения.

Далее подробно рассматриваются предпочтительные варианты конструктивного решения блока сведения 364 и декоррелятора 356. В частности, некоторые версии реализации функциональных возможностей декоррелятора 356 и блока сведения 364 представлены с использованием фиг.4А-4D. На фиг.4Е-4G приведены частные случаи компоновки элементов, показанных на фиг. с 4А по 4D. Перед подробным рассмотрением фиг.4А-4D следует разъяснить общий принцип представления этих чертежей. Контур на каждом чертеже имеет линию верхнего ответвления для прохождения декоррелированного сигнала, и линию нижнего ответвления для прохождения исходного необработанного сигнала. Далее, выходные сигналы каждого ответвления, то есть сигнал на выходе линии 450 и сигнал на выходе линии 452, сводятся блоком сведения 454 для формирования преобразованного аудиорендерингом выходного сигнала 350. В целом, контур на фиг.4А включает в себя три матричных процессора 401, 402, 404. 401 - смеситель исходного сигнала. Эти, по меньшей мере, два даунмикс-сигнала аудиообъекта 352 подвергаются взвешиванию и/или взаимному смешению с получением двух исходных сигналов объекта, соответствующих сигналам ответвления прохождения исходного сигнала, которое заканчивается вводом в сумматор 454. При этом линия прохождения исходного сигнала может быть снабжена дополнительным матричным процессором-компенсатором усиления 409, показанным на фиг.4D на выходе смесителя исходного сигнала 401.

Кроме того, блок сведения 364 может произвольно включать в себя блок повышающего микширования сигнала декоррелятора 404, использующий матрицу Р повышающего микширования декоррелированного сигнала.

Естественно, что разделение блоков матрицирования 404, 401 и 409 (фиг.4D) и блока сведения 454 условно, хотя подобный вариант конструктивного решения, безусловно, возможен. Вместе с тем, функции этих матриц могут быть реализованы с помощью одной "большой матрицы", которая получает на входе декоррелированный сигнал 358 и даунмикс-сигнал 352 и обеспечивает на выходе два, три или более преобразованных аудиорендерингом выходных каналов 350. При осуществлении в варианте "большой матрицы" сигналы по линиям 450 и 452 могут не проходить, и сами эти линии в качестве промежуточных компонентов могут быть конструктивно не реализованы, при этом функции такой "большой матрицы" будут выполняться в виде рабочих операций блоков матричного кодирования 404, 401 или 409 и блока сведения 454.

Кроме того, в декоррелятор 356 произвольно может быть введен блок преддекорреляционного смешения сигнала 402. На фиг.4B показан вариант реализации, не содержащий этот блок. В частности, это применимо в случае использования двух декорреляторов для преобразования сигналов по двум каналам понижающего микширования, когда специальное микширование с понижением не требуется. Естественно, в каждом конкретном случае осуществления для обоих каналов понижающего микширования могут быть применены определенные коэффициенты усиления, или перед вводом в декоррелятор два канала понижающего микширования могут быть смешаны. Вместе с тем, функции матрицы Q могут выполняться матрицей Р. Это означает, что матрица Р на фиг.4B отличается от матрицы Р на фиг.4А, несмотря на то, что достигается одинаковый результат. Ввиду этого декоррелятор 356 может вообще не содержать никакую матрицу, и полный расчет параметров матриц, как и их использование, будут осуществляться внутри блока сведения. Однако для более наглядного отображения технических возможностей, скрывающихся за математическими выкладками, в дальнейшем настоящее изобретение будет описываться в рамках матричных алгоритмов, представленных на фиг.4А-4D.

На фиг.4А показано конструктивное решение изобретения в виде модуля комплексного матричного кодирования 303. Входные данные X, включающие в себя параметры, по крайней мере, двух каналов, вводятся в смеситель исходного сигнала 401, который выполняет матричную операцию в соответствии с матрицей С микширования исходного сигнала и выводит исходный стереосигнал повышающего микширования Y′. Входные данные Х вводятся также в блок преддекорреляционного смешения 402, который выполняет матричную операцию в соответствии с матрицей преддекорреляционного смещения Q и дает на выходе сигнал канала N_d, который подается на декоррелятор 403. Далее результирующий декоррелированный сигнал Z канала N_d вводится в блок повышающего микширования сигнала декоррелятора 404, который выполняет матричную операцию в соответствии с матрицей Р повышающего микширования сигнала декоррелятора и выводит декоррелированный стереосигнал. Наконец, декоррелированный стереосигнал смешивается простым суммированием в канале с необработанным стереосигналом повышающего микширования Y′ с образованием выходного сигнала Y′ модуля комплексного матрицирования. Все три матрицы смешения С, Q, Р описываются матричными данными, рассчитываемыми и пересылаемыми матричным вычислителем 202 на стереопроцессор 201. Один из вариантов системы известного уровня техники содержит только нижнее ответвление линии прохождения исходного сигнала. Такая система работает неудовлетворительно в том простом случае, когда стереофонический музыкальный объект проходит по одному каналу понижающего микширования объекта, а монофонический голосовой объект проходит по другому каналу понижающего микширования объекта. Так происходит потому, что аудиорендеринг музыки в стереофонограмму целиком основывается на частотно-селективном панорамировании, хотя известно, что параметрический принцип преобразования в стереоформат, включающий в себя декорреляцию, дает гораздо более высокое качество воспринимаемого звука. В данном конкретном случае лучший результат могла бы дать целиком отличная система, относящаяся к известному уровню техники, в которой применена декорреляция, но которая базируется на даунмиксах двух отдельных монофонических объектов, однако, с другой стороны, достигаемое качество будет оставаться таким же, как и в первом примере с системой, выдающей необработанный стереосигнал для совместимого назад понижающего микширования, при котором музыка остается в формате истинного стерео, а голос смешивается по равным весам с этими двумя каналами понижающего микширования объекта. В качестве примера можно привести целевой аудиорендеринг для караоке, воспроизводящий только стереофонический музыкальный объект. Последующая раздельная обработка каждого канала понижающего микширования не дает возможность оптимального подавления речевого объекта как при комбинированной обработке, когда учитывается полученная информации о стереоаудиообъекте, такая как межканальная корреляция. Ключевая особенность настоящего изобретения - достижение максимально возможного качества звука не только в обеих этих простых ситуациях, но и при гораздо более сложных сочетаниях понижающего микширования объекта с аудиорендерингом.

На фиг.4B, как уже сказано выше, в отличие от фиг.4А изображена компоновка, при которой матрица Q преддекорреляционного смешения не требуется или интегрирована в матрицу Р повышающего микширования сигнала декоррелятора.

На фиг.4С изображена компоновка, при которой матрица Q преддекоррелятора предусмотрена и выполнена в блоке с декоррелятором 356, и при которой матрица Р повышающего микширования сигнала декоррелятора не требуется или интегрирована в матрицу Q.

В дополнение к этому на фиг.4D изображена компоновка, в которой присутствуют матрицы, показанные на фиг.4А, но в которой предусмотрена дополнительная матрица компенсации усиления G, что особенно применимо в третьем варианте технического решения, который будет обсужден в контексте фиг.13, и четвертом варианте конструктивного решения, который будет обсужден в контексте фиг.14.

Блок декоррелятора 356 может включать в себя одиночный декоррелятор или два декоррелятора. На фиг.4Е изображен вариант компоновки, в котором предусмотрен одиночный декоррелятор 403 и в котором сигнал, полученный понижающим микшированием, является двухканальным сигналом понижающего микширования объекта, а выходной сигнал является двухканальным выходным звуковым сигналом. В данном случае матрица Q понижающего микширования сигнала декоррелятора имеет одну строку и два столбца, а матрица повышающего микширования сигнала декоррелятора имеет один столбец и две строки. Однако, когда сигнал, полученный понижающим микшированием, будет иметь больше двух каналов, количество столбцов Q будет равняться количеству каналов сигнала понижающего микширования, а когда синтезируемый преобразованный аудиорендерингом выходной сигнал будет иметь больше двух каналов, количество строк матрицы Р повышающего микширования декоррелированного сигнала будет равно количеству каналов преобразованного аудиорендерингом выходного сигнала.

На фиг.4F показан напоминающий электрическую цепь вариант реализации смесителя исходного сигнала 401, обозначенный С₀, который при конструктивном решении два-на-два имеет по две строки в двух столбцах. Ячейки матрицы отображены на схеме как весовые коэффициенты c_ij. Кроме того, как видно на фиг.4F, сведение взвешенных каналов выполняется с использованием сумматоров. Однако, когда количество каналов понижающего микширования отлично от количества каналов аудиорендеринга выходного сигнала, матрица микширования исходного сигнала С₀ не будет являться квадратичной матрицей, а будет иметь количество строк, отличное от количества столбцов.

На фиг.4G детально отображена стадия суммирования 454 на фиг.4А. В частности, при наличии двух выходных каналов, например сигнала левого стереоканала и сигнала правого стереоканала, предусматриваются два разных суммирующих звена 454, которые выполняют сведение выходных сигналов верхнего ответвления, относящегося к сигналу декоррелятора, и нижнего ответвления, относящегося к исходному сигналу, как показано на фиг.4G.

Ячейки матрицы компенсации усиления G 409 расположены только по ее диагонали. При конструктивном исполнении "два-на-два", показанном на фиг.4f для матрицы С₀ смешения исходного сигнала, коэффициент усиления для компенсации усиления левого исходного сигнала должен находиться в позиции с₁₁, а коэффициент усиления для компенсации усиления правого исходного сигнала будет в позиции С₂₂ матрицы С₀ на фиг.4F. Значения c₁₂ и C₂₁ должны быть равны 0 для матрицы усиления G, как показано под обозначением 409 на фиг.4D.

На фиг.5 показана работа многоканального декоррелятора 403 известного уровня техники. Подобное инструментальное средство применяется, например, в рамках стандарта MPEG Surround. N_d сигналов - сигнал 1, сигнал 2, …, сигнал N_d раздельно подаются на декоррелятор 1, декоррелятор 2, …, декоррелятор N_d. Каждый декоррелятор обычно состоит из фильтра, предназначенного для выработки выходного сигнала, максимально некоррелированного с входным сигналом с сохранением мощности входного сигнала. Одновременно, фильтры различных декорреляторов подбираются так, чтобы выходной сигнал декоррелятора 1, выходной сигнал декоррелятора 2, …, выходной сигнал декоррелятора N_d также насколько возможно попарно не коррелировали. Поскольку декорреляторы, как правило, характеризуются высокой вычислительной сложностью по сравнению с другими компонентами декодера аудиообъектов, число N_d предпочтительно должно быть как можно меньше.

Представляемое изобретение предусматривает технические решения с числом N_d, равным 1, 2 или более, но предпочтительно - меньшим количества аудиообъектов. Говоря точнее, предпочтительное количество декорреляторов при осуществлении должно соответствовать количеству сигналов звуковых каналов преобразованного аудиорендерингом выходного сигнала или быть меньше количества сигналов аудиоканалов преобразованного аудиорендерингом выходного сигнала 350.

Далее представлено краткое математическое описание данного изобретения. Все рассматриваемые здесь сигналы являются отсчетами поддиапазонов модулированных банков фильтров или оконного анализа БПФ (быстрого преобразования Фурье) дискретных временных сигналов. Подразумевается, что эти поддиапазоны должны быть преобразованы обратно в область дискретного времени с помощью соответствующих операций банка фильтров синтеза. Сигнальный пакет из L отсчетов отображает сигнал в частотно-временном интервале, составляющем часть перцептуально мотивированной фрагментации частотно-временной плоскости, используемой для описания характеристик сигнала. При таком подходе аудиообъекты могут быть представлены матрицей, содержащей N строк длиной L,

На фиг.6 дана сводная карта N аудиообъектов. На фиг.6 каждый объект имеет индивидуальный идентификатор (ID) объекта, соответствующий звуковой файл объекта и обязательно - параметры аудиообъекта, которые предпочтительно должны содержать показатели энергетики аудиообъекта и его взаимной корреляции с другими аудиообъектами. А именно, параметры аудиообъекта включают в себя матрицу Е ковариации объекта для каждого поддиапазона и для каждого временного блока.

Пример такой матрицы Е акустических параметров объекта приведен на фиг.7. Диагонально расположенные ячейки e_ij заключают в себе информацию о мощности или энергии аудиообъекта i в соответствующем поддиапазоне и в соответствующем временном блоке. Для этого сигнал поддиапазона, представляющий некий аудиообъект i, вводится в вычислитель мощности или энергии, который рассчитан, например, на выполнение функции автокорреляции (acf) для получения значения е₁₁ с нормализацией или без таковой. Или же энергия может быть вычислена как сумма квадратов сигнала на определенной длине (то есть как векторное произведение: ss*). Функция acf может в некотором смысле описывать спектральное распределение энергии, но вследствие того, что применение частотно-временного преобразования для частотной селекции в любом случае предпочтительно, энергия может быть рассчитана без применения acf отдельно для каждого поддиапазона. Таким образом, диагональные элементы матрицы Е акустических параметров объекта указывают измеренный уровень мощности или энергии аудиообъекта в конкретном поддиапазоне в конкретный интервал времени.

Вместе с тем, недиагональный элемент e_ij обозначает соответствующую степень тесноты корреляции между аудиообъектами i, j в соответствующем поддиапазоне и временном блоке. Как видно на фиг.7, в матрице Е ячейки с действительным значением располагаются симметрично относительно главной диагонали. Обычно такая матрица является эрмитовой матрицей. Показатель степени тесноты корреляции (коэффициент корреляции) e_ij может быть вычислен, например, с помощью взаимной корреляция двух сигналов поддиапазона соответствующих аудиообъектов, благодаря чему определяется степень тесноты перекрестной корреляции, которая произвольно может быть нормализована. Возможны другие способы измерения корреляции, которые не включают в себя операцию определения взаимной корреляции, а задействуют другие способы вычисления степени тесноты корреляции между двумя сигналами. По практическим соображениям все элементы матрицы Е нормализуются до значений между 0 и 1, где 1 служит показателем максимальной мощности, или максимальной корреляции, 0 обозначает минимальную мощность (нулевую мощность), а -1 показывает минимальную (не совпадающую по фазе) корреляцию.

Матрица D понижающего микширования размерностью K × N, где K > N, формирует K-канальный сигнал понижающего микширования согласно матрице со сквозным количеством К строк при матричном мультиплицировании

На фиг.8 дан пример матрицы D понижающего микширования с ячейкой d_ij. Элемент d_ij показывает, включен или нет, и в какой степени, объект j в сигнал понижающего микширования объекта i. Например, если d₁₂ равно нулю, то объект 2 не включен в даунмикс-сигнал объекта 1. Вместе с тем, значение d₂₃, равное 1, означает, что объект 3 полностью включен в даунмикс-сигнал объекта 2.

Показатели ячеек матрицы понижающего микширования находятся в пределах между 0 и 1. В частности, показатель 0,5 означает, что некий объект участвует в сигнале понижающего микширования половиной своей энергии. Таким образом, если, например, аудиообъект 4 равномерно распределен по обоим каналам микшированного с понижением сигнала, элементы d₂₄ и d₁₄ будут равны 0,5. Этот способ понижающего микширования является энергосберегающим и может быть рекомендован для целого ряда случаев. Тем не менее, метод понижающего микширования, не являющийся экономичным, также может быть задействован, когда аудиообъект целиком вводится в левый канал понижающего микширования и в правый канал понижающего микширования таким образом, что энергия этого аудиообъекта удваивается относительно других аудиообъектов внутри этого сигнала понижающего микширования.

В нижней части фиг.8 дается принципиальная схема кодера объекта 101, показанного на фиг.1. В частности, в кодер объекта 101 введены два разных компонента 101а и 101b. Компонент 101a представляет собой понижающий микшер, который преимущественно осуществляет взвешенное линейное сведение аудиообъектов 1, 2, …, N, второй компонент 101b кодера объекта 101 является вычислителем параметров аудиообъектов, таких как матрица Е, для каждого временного блока или частотного поддиапазона с целью подготовки данных корреляции и мощности звука, которые представляют собой параметрическую информацию и поэтому могут быть переданы с низким битрейтом или сохранены в малом объеме памяти.

Задаваемая пользователем матрица А рендеринга объекта размерностью М × N формирует М-канальный рендеринг аудиообъектов по заданным параметрам в виде матрицы со сквозным количеством М строк при матричном мультиплицировании

В ходе последующего дифференцирования будет принято, что М=2, так как основное внимание уделяется стереоаудиорендерингу (/стереозвукопередаче). Принимая во внимание, что первичный аудиорендеринг осуществляется по более чем двум каналам, и, зная правила понижающего микширования этих нескольких каналов в два канала, квалифицированный специалист без труда рассчитает соответствующую матрицу рендеринга А размерностью 2 × N для выполнения стереоаудиорендеринга. Такое понижение выполняется блоком сведения данных аудиорендеринга 204. Кроме того, для упрощения примем, что K=2, то есть, что даунмикс объекта также является стереосигналом. Тем более что понижающее микширование стереообъекта представляет собой наиболее важный случай прикладного сценария.

На фиг.9 детально рассмотрена матрица А параметров аудиорендеринга. В зависимости от назначения матрица А параметров аудиорендеринга может быть представлена пользователем. Пользователь абсолютно свободен в выборе конечного расположения аудиообъекта в воспроизводимой виртуальной среде. Сильная сторона концепции аудиообъекта заключается в том, что информация о понижающем микшировании и параметры аудиообъекта никак не влияют на желаемое пространственное размещение аудиообъектов. Такое позиционирование аудиообъектов задается пользователем в виде информации пространственно скоординированного аудиорендеринга. Информация такого целевого аудиорендеринга может быть представлена к форме матрицы А параметров аудиорендеринга, вариант которой представлен на фиг.9. В частности, матрица аудиорендеринга А имеет М строк и N столбцов, где М равно количеству каналов преобразованного аудиорендерингом выходного сигнала, и где N равно количеству аудиообъектов. М равно двум согласно предпочтительному сценарию стереоаудиорендеринга, однако если выполняется М-канальный аудиорендеринг, матрица А имеет М строк.

В частности, ячейка матрицы a_ij, включен или нет, и в какой степени, объект j в сигнал понижающего микширования объекта i. В нижней части фиг.9 приведен простой пример матрицы параметров аудиорендеринга для сценария, в котором задействованы шесть аудиообъектов от A01 до А06, причем, только первые пять аудиообъектов должны быть точно позиционированы в пространстве, а шестой аудиообъект рендеринг не должен затрагивать вообще.

По акустическому сценарию пользователя аудиообъект A01 должен звучать слева. Поэтому данный объект помещается в левый динамик в (виртуальной) аудитории, в результате чего первый столбец матрицы аудиорендеринга А приобретает вид (10). Второй аудиообъект имеет показатели а₂₂, равный одному, и а₁₂, равный нулю, что означает, что второй аудиообъект должен звучать справа.

Аудиообъект 3 должен звучать в центре, между левым и правым динамиками, чтобы 50% уровня или сигнала этого аудиообъекта проходило по левому каналу и 50% уровня или сигнала проходило по правому каналу, соответственно третий столбец матрицы А параметров аудиорендеринга получил вид (0,5 пробел 0,5).

Аналогичным образом с помощью матрицы параметров аудиорендеринга может быть задано любое положение между левой и правой акустическими системами. Поскольку матричная ячейка а₂₄ больше, чем а₁₄, аудиообъект 4 смещен вправо. Аналогично этому пятый аудиообъект А05 смещен влево, что отражено элементами матрицы параметров аудиорендеринга а₁₅ и а₂₅. Матрица А параметров аудиорендеринга дополнительно предусматривает возможность вообще не воспроизводить некоторые аудиообъекты. Это показано на примере шестого столбца матрицы А параметров аудиорендеринга, содержащего нулевые ячейки.

В ходе последующего дифференцирования будет принято, что М=2, так как основное внимание уделяется стереоаудиорендерингу. Принимая во внимание, что первичный аудиорендеринг осуществляется по более чем двум каналам, и, зная правила понижающего микширования этих нескольких каналов в два канала, квалифицированный специалист без труда рассчитает соответствующую матрицу рендеринга А размерностью 2×N для выполнения стереоаудиорендеринга. Такое понижение выполняется блоком сведения данных аудиорендеринга 204. Кроме того, для упрощения примем, что K=2, то есть, что даунмикс объекта также является стереосигналом. Тем более что понижающее микширование стереообъекта представляет собой наиболее важный случай прикладного сценария.

Если временно пренебречь потерями кодирования аудиосигнала при понижающем микшировании объекта, основная задача декодера аудиообъекта состоит в приближении исходных аудиообъектов к желаемому пространственному восприятию в ходе аудиорендеринга по заданным параметрам (целевого аудиорендеринга) Y, основанного на матрице аудиорендеринга А, данных понижающего микширования X, матрице D понижающего микширования, и параметрах объекта. Устройство относящегося к изобретению интегрированного модуля матричного кодирования 303 представлено на фиг.4. Учитывая число N_d взаимно ортогональных декорреляторов в составе элемента 403, можно выделить три матрицы смешения:

- С размерностью 2 × 2, которая выполняет смешение исходного сигнала;

- Q размерностью N_d × 2, которая выполняет преддекорреляционное смешение сигнала;

- Р размерностью 2 × N_d, которая выполняет повышающее микширование декоррелированного сигнала.

Если предположить, что декорреляторы являются энергосберегающими, матрица Z декоррелированного сигнала имеет ковариационную матрицу R_z=ZZ^* с диагональю N_d×N_d, диагональные значения которой равны диагональным значениям матрицы ковариации

даунмикса объекта, прошедшего процесс преддекорреляционного смешения. (Здесь и далее звездочкой обозначены матричные операции с комплексно сопряженным транспонированием. Кроме того, подразумевается, что детерминированные матрицы ковариации формы UV^*, используемые повсеместно для удобства вычислений, могут быть заменены на математические ожидания).

Кроме того, все декоррелированные сигналы могут считаться некоррелированными при понижающем микшировании объектов. Таким образом, ковариация R′ сведенного выходного сигнала модуля комплексного матрицирования 303, относящегося к изобретению.

может быть записана как сумма ковариации смешанного исходного сигнала и результирующей ковариации выхода декоррелятора

Параметры объекта обычно содержат информацию относительно мощностей объекта и выбранных межобъектных корреляций. На основании этих параметров может быть построена модель E с N×N ковариацией объектов SS*.

При этом данные, необходимые декодеру аудиообъекта, описываются триплетом матриц (D, E, A), и метод, являющийся частью настоящего изобретения, состоит в использовании этих данных для общей оптимизации волнового согласования сведенного выходного сигнала (5) и его ковариации (6) с сигналом заданного аудиорендеринга (4). Задачей данной матрицы смещения исходного сигнала является корректная конечная ковариации R′=R, которая может быть оценена с использованием

Сопоставляя матрицу ошибок, описываемую как

с (6) получаем требование к конструкции

Поскольку левая часть (10) представляет собой положительную полуопределенную матрицу для любой матрицы P декоррелятора, необходимо, чтобы матрица ошибок (9) также являлась положительной полуопределенной матрицей. Для подробного объяснения приведенных далее формул необходимо параметризировать ковариации смешанного исходного сигнала и заданного аудиорендеринга следующим образом:

Для матрицы ошибок

необходимое требование положительной полуопределенности может быть выражено в виде трех условий:

Далее будет рассмотрена фиг.10. На фиг.10 показана последовательность предварительных расчетов, необходимых для четырех вариантов реализации, на фиг.11-14. Одним из таких предварительных вычислений является расчет ковариационной матрицы R сигнала аудиорендеринга по заданным параметрам, что обозначено элементом 1000 на фиг.10. Блок 1000 соответствует уравнению (8).

Как показано в блоке 1002, матрица микширования исходного сигнала может быть рассчитана с использованием уравнения (15). В частности, результатом расчета матрицы смешения исходного сигнала С₀ является наилучшее согласование сигнала заданного аудиорендеринга, достигнутое с использованием сигналов понижающего микширования, при этом предполагается, что декоррелированный сигнал не используется вообще. Таким образом, матрица микширования исходного сигнала обеспечивает наилучшее согласование формы выходного сигнала матрицы смешивания с сигналом аудиорендеринга по заданным параметрам без какой-либо дополнительной декорреляции сигнала. Это свойство матрицы смешения исходного сигнала особенно важно для поддержания как можно более низкого уровня декоррелированного сигнала в выходном канале. В большинстве случаев декоррелированный сигнал - это сигнал, который был в значительной степени изменен декоррелятором. В силу этого такой сигнал, как правило, содержит артефакты в виде расцвечивания, размытия времени и плохой переходной характеристики. Поэтому преимуществом такого конструктивного решения является обеспечение лучшего качества выходного аудиосигнала вследствие низкого уровня декорреляции сигнала. Благодаря согласованию формы сигнала, то есть взвешиванию и сведению двух или более каналов в сигнал понижающего микширования с формированием исходного звукового сигнала, максимально приближенного к заданным характеристикам аудиорендеринга, требуется минимальная декорреляция сигнала.

В функции блока сведения 364 входит вычисление весовых коэффициентов таким образом, чтобы результат 452 смешения сигнала понижающего микширования первого объекта и сигнала понижающего микширования второго объекта по форме сигнала согласовывался с результатом аудиорендеринга по заданным параметрам, причем такое согласование в максимально возможной степени должно служить предотвращению ситуации, когда при аудиорендеринге исходных аудиообъектов с использованием задаваемых параметров аудиорендеринга 360 параметрическая информация о аудиообъекте 362 была бы утрачена при отсутствии акустических образов аудиообъектов. Из этого следует, что точная реконструкция сигнала не может быть гарантирована даже при наличии неквантованной матрицы Е. Среднеквадратическая ошибка может быть минимизирована. Следовательно, следует стремиться к волновому согласованию, благодаря которому возможна реконструкция уровней мощности и взаимных корреляций.

Сразу же после расчета матрицы С₀ смешения исходного сигнала, например, вышеупомянутым способом может быть вычислена матрица ковариации исходного сигнала. В частности, рекомендуется использовать уравнение, расположенное в правой части фиг.10, то есть C₀DED^*C^* ₀. Благодаря этой формуле при расчете матрицы ковариации результата смешения исходного сигнала требуются только параметры, а отсчеты частотных поддиапазонов не требуются. При этом, как вариант, ковариационная матрица результата смешения исходного сигнала может быть рассчитана с использованием матрицы С₀ смешения исходного сигнала и микшированных с понижением сигналов, но первое вычисление, которое выполняется в области значений параметров может быть только невысокой сложности.

За шагами вычислений 1000, 1002, 1004 могут быть рассчитаны матрица С₀ смешения исходного сигнала, ковариационная матрица R сигнала заданного аудиорендеринга и ковариационная матрица исходного сигнала.

Далее рассматриваются четыре варианта конструктивного решения в зависимости от применения матриц Q, Р. Дополнительно описывается случай фиг.4d (например, для третьего или четвертого варианта реализации), где также определены значения матрицы G компенсации усиления. Для квалифицированного специалиста очевидна возможность варьирования конструктивных решений, помогающих найти значения этих матриц, благодаря существующей степени свободы выбора при вычислении матричных весовых коэффициентов.

В первом варианте реализации настоящего изобретения матричный вычислитель 202 работает но следующему алгоритму.

Матрица повышающего микширования исходного сигнала рассчитывается прежде всего с целью нахождения решения методом наименьших квадратов для согласования формы сигнала

В данном случае имеет силу . Кроме того, здесь выполняется уравнение:

Решение этой задачи находимо с помощью

что имеет известное дополнительное решение методом наименьших квадратов, а на основании (13) также может быть легко подтверждено, что ошибка является ортогональной по отношению к аппроксимации. Поэтому перекрестные члены при дальнейшем вычислении обращаются в нуль,

Из этого следует

что является заведомо неотрицательно определенным, следовательно, (10) может быть решено. Символическим решением является

Здесь второй множитель легко определяется с помощью поэлементной операции на диагонали, и матрица T решает матричное уравнение TT^*=ΔR. Для этого уравнения существует большой выбор решений. Особенность метода данного изобретения состоит в том, что начинать следует с разложения по сингулярным числам матрицы ΔR. Для этой симметричной матрицы он сводится к обычному разложению собственного вектора,

где матрица U собственного вектора унитарна и ее столбцы содержат собственные векторы, соответствующие характеристическим значениям, отсортированным в убывающем порядке. Первый вариант решения по настоящему изобретению с одним декоррелятором (N_d=1) выполняется путем задания λ_min=0 в (19) и подстановки соответствующего натурального приближения

в (18). Полное решение с количеством декорреляторов N_d=2 выполняется внесением недостающего минимально значимого дополнения из наименьшего собственного числа и добавлением второго столбца к (20), соответствующего произведению первого множителя (19) на корень квадратный каждого элемента диагональной матрицы собственных чисел. Подробно это будет выглядеть следующим образом:

Итог по расчету матрицы Р для первого варианта реализации будет подведен в контексте фиг.11. На шаге 1101 рассчитывается ковариационная матрица DR сигнала рассогласования или при рассмотрении фиг.4А - матрица коррелированного сигнала в верхнем ответвлении, с использованием результатов шага 1000 и шага 1004 на фиг.10. Затем выполняется разложение собственных чисел этой матрицы, что обсуждалось в связи с уравнением (19). Далее, в соответствии с одной из множества применимых стратегий, которые будут обсуждаться позднее, выбор переходит на матрицу Q. На базе выбранной матрицы Q рассчитывается ковариационная матрица R_z матрицированного декоррелированного сигнала с использованием уравнения, записанного справа от рамки 1103 на фиг.11, то есть матричного мультиплицирования QDED^*Q^*. Затем, на основании R_z, полученного на шаге 1103, вычисляется матрица Р повышающего микширования сигнала декоррелятора. Понятно, что фактическое выполнение этой матрицей повышающего микширования необязательно, так как на выходе блока Р 404 на фиг.4А сигналов больше, чем на входе. Эта операция может применяться в случае с одиночным коррелятором, в то время как при двух декорреляторах матрица Р повышающего микширования сигнала декоррелятора имеет два канала на входе и два канала на выходе и может быть реализована в виде матрицы повышающего микшера исходного сигнала, показанная на фиг.4F.

Таким образом, основной особенностью первого варианта реализации является то, что вычисляются С₀ и Р. Существует мнение, что для обеспечения на выходе четко коррелированной схемы следует использовать два декоррелятора. Вместе с тем, возможность применения только одного декоррелятора создает свои преимущества. Такое решение представлено уравнением (20). В частности, при осуществлении может быть применен декоррелятор с меньшим характеристическим значением.

Во втором варианте реализации настоящего изобретения матричный вычислитель 202 работает по следующему алгоритму. По своей форме матрица смешения сигнала декоррелятора ограничена

При таком ограничении матрица ковариации одиночного декоррелированного сигнала является скаляром R_z=r_Z, и ковариация сведенного выходного сигнал (6) приобретает вид

где α=c²r_z. Полное согласование с заданной ковариацией R′=R технически не осуществимо, но перцептуально обусловленная необходимость нормализованной корреляции между выходными каналами в целом ряде случаев заставляет по возможности приблизить ее к желаемой. Здесь задаваемая корреляция описывается

а корреляция, достигаемая в сведенном выходном сигнале (23), представляется как

Уравнивание (24) и (25) приводит к квадратному уравнению в α,

Для тех случаев, когда (26) имеет положительное решение α=α₀>0, второй вариант реализации настоящего изобретения предлагает в определении (22) использовать константу . Если оба решения уравнения (26) окажутся положительными, применено должно быть то, норма с которого меньше. В том случае, когда подобное решение не существует, активность декоррелятора устанавливается на ноль выбором с=0, так как сложные решения с приводят к заметным фазовым искажениям декоррелированных сигналов. может быть рассчитано двумя способами - или напрямую из сигнала , или путем объединения ковариационной матрицы объектов с данными понижающего микширования и аудиорендеринга как . Здесь первый метод даст в результате комплексное и поэтому в правой части (26) квадрат должен быть взят из вещественной части или величины соответственно. Тем не менее, даже комплекснозначное может быть использовано. Такое комплексное значение указывает на корреляцию со специфической фазой, что также может оказаться полезным в специфических приложениях.

Как видно из (25), особенность этого конструктивного исполнения в том, что оно может только снизить тесноту корреляции в отличие от корреляции исходного сигнала. Таким образом, .

В итоге получаем, что второй вариант реализации прослежен на фиг.12. Он начинается с расчета ковариационной матрицы DR на шаге 1101, который идентичен шагу 1101 на фиг.11. Затем применяется уравнение (22). А именно, появление матрицы Р предварительно задано, и для нахождения остается только весовой множитель с, одинаковый для обоих элементов Р. В частности, один столбец матрицы Р показывает, что во второй версии реализации используется одиночный декоррелятор. Более того, знаки элементов р показывают, что декоррелированный сигнал вводится в один канал - в левый канал исходного сигнала и вычитается из правого канала исходного сигнала. Следовательно, максимальная декорреляция достигается путем добавления декоррелированного сигнала к одному каналу и вычитания декоррелированного сигнала из другого канала. Для нахождения величины с предпринимаются шаги 1203, 1206, 1103, и 1208. В частности, как видно из уравнения (24), задаваемый корреляционный ряд вычисляется на шаге 1203. Эта величина - показатель межканальной взаимной корреляции между двумя сигналами звукового канала при стереоаудиорендеринге. На основании результата шага 1203 на базе уравнения (26) определяется весовой коэффициент а, как показано на шаге 1206. В дополнение к этому подбираются значения для ячеек матрицы Q и рассчитывается матрица ковариации, которая в данном случае является лишь скалярной величиной R_z, как показано на шаге 1103 и что видно из уравнения справа от рамки 1103 на фиг.12. Наконец, находится множитель с, как показано на шаге 1208. Уравнение (26) представляет собой квадратное уравнение, которое может дать два положительных решения для α. Как уже говорилось выше, в этом случае используется решение с наименьшей нормой с. Однако когда подобное положительное решение не достигается, с задается как 0.

Таким образом, во втором варианте реализации Р вычисляется как частный случай распределения одного декоррелятора на два канала, как показано с помощью матрицы Р в рамке 1201. В некоторых случаях решение отсутствует и декоррелятор просто отключается. Преимущество данного конструктивного решения состоит в том, что при нем не вносится синтезированный сигнал с положительной корреляцией. Это - благоприятный фактор, поскольку такой сигнал может восприниматься как локализованный фантомный источник, что является артефактом, снижающим акустическое качество преобразуемого аудиорендерингом выходного сигнала. Учитывая тот факт, что в этой версии не принимается во внимание уровень мощности, возможно рассогласование выходного сигнала, что означает превышение или занижение мощности в выходном сигнале по сравнению с сигналом понижающего микширования. В подобном случае в выбранном варианте технического исполнения для улучшения качества звука применяют добавочную компенсацию усиления.

В третьем варианте реализации настоящего изобретения матричный вычислитель 202 работает по следующему алгоритму. Отправной точкой является компенсация по усилению исходного сигнала

где, например, некомпенсированный исходный сигнал является результатом аппроксимации наименьших квадратов по матрице смешивания, данной в (15). Кроме того, С=GC₀, где G является диагональной матрицей с ячейками g₁ and g₂. В этом случае

и матрица ошибок

Здесь третьим вариантом осуществления изобретения предписывается выбрать коэффициенты (g₁, g₂) компенсации для минимизации взвешенной суммы рассогласований по мощности

с учетом ограничений, выявленных в (13). Примерами выбора весов для (30) являются (w₁, w₂)=(1, 1) или (w₁, w₂)=(R, L). После этого результирующая матрица ошибок ΔR используется для ввода в вычисления матрицы смешения сигнала декоррелятора Р согласно последовательности уравнений (18)-(21). К преимуществам этого варианта осуществления можно отнести то, что когда сигнал ошибки идентичен микшированному с повышением исходному сигналу, объем декоррелированного сигнала, добавленного к конечному выходному сигналу, гораздо меньше объема, добавляемого к конечному выходному сигналу по первой версии реализации настоящего изобретения.

Подводя итог по третьему варианту конструктивного решения, данному на фиг.13, можно отметить, что за матрицу добавочного усиления G принимается матрица, показанная на фиг.4d. По смыслу уравнений (29) и (30) коэффициенты усиления g₁ и g₂ вычисляются с использованием выбранных w1, w2, на что указывает текст под уравнением (30) и с учетом ограничений по матрице ошибок, очевидных из уравнения (13). По выполнении шагов 1301, 1302 можно рассчитать ковариационную матрицу ΔR рассогласования сигнала, используя g₁ and g₂ согласно шагу 1303. Понятно, что эта матрица ковариации рассогласованного сигнала, рассчитанная на шаге 1303, отличается от матрицы ковариации ΔR, рассчитанной на шаге 1101 на фиг.11 и 12. Затем повторяются шаги 1102, 1103, 1104 согласно более раннему обсуждению в связи с первым вариантом реализации на фиг.11.

Третий вариант конструктивного решения имеет то преимущество, что исходный сигнал не только согласуется по форме волны, но, кроме того, и компенсируется по усилению. Это помогает еще более сократить уровень декоррелированного сигнала, благодаря чему уменьшается и количество возникающих вместе с ним артефактов. Таким образом, в третьем варианте реализации делается попытка наиболее оптимальной комбинации компенсации усиления и дозированной декорреляции. Опять же поставленной целью является целостная передача структуры ковариации, включая уровни мощности каналов, и минимизировать уровень синтезированного сигнала, например, применяя уравнение минимизации (30).

Рассмотрим далее четвертый вариант реализации изобретения. На шаге 1401 используется одиночный декоррелятор. Здесь речь идет о наименее сложном техническом решении, так как на практике применение одиночного декоррелятора наиболее целесообразно. Следующий шаг 1101, включающий расчет ковариационной матрицы ΔR, уже был отображен в виде блок-схемы и обсуждался в контексте шага 1101 для первого варианта реализации. Однако данные матрицы ковариации ΔR также могут быть вычислены в соответствии с шагом 1303 на фиг.13, где компенсация усиления сочетается с согласованием формы сигнала. Далее проверяют знак Δp, который является недиагональным элементом ковариационной матрицы ΔR. Если шаг 1402 определит, что этот знак отрицательный, будет продолжено выполнение шагов 1102, 1103, 1104 первого варианта реализации, где шаг 1103 особенно не сложен благодаря тому, что R_z - скалярная величина, поскольку декоррелятор только один.

Однако если определено, что знак Δp - положительный, ввод декоррелированного сигнала будет немедленно прекращен установкой элемента матрицы Р на ноль. Альтернативным действием может быть снижение уровня вводимого декоррелированного сигнала до значения выше нуля, но ниже той величины, которая была бы при отрицательном знаке. Однако рекомендуется, чтобы элементам матрицы Р не просто задавались меньшие значения, но чтобы они устанавливались на ноль, как показано в рамке 1404 на фиг.14. При этом в соответствии с фиг.4d для компенсации усиления определяются коэффициенты усиления g₁, g₂, как показано в рамке 1406. А именно, коэффициенты усиления рассчитываются так, чтобы элементы главной диагонали матрицы в правой стороне уравнения (29) равнялись нулю. Это означает, что матрица ковариации рассогласованного сигнала на своей главной диагонали имеет нулевые элементы. Таким образом, компенсация усиления достигается в том случае, если сигнал декоррелятора уменьшается или полностью отключается во избежание фантомных артефактов источника, которые могут возникнуть при вводе декоррелированного сигнала, который имеет специфические корреляционные свойства.

Итак, четвертый вариант реализации сочетает в себе возможности первого варианта реализации и использование одиночного декоррелятора, предусматривая при этом проверку качества декоррелированного сигнала таким образом, чтобы декоррелированный сигнал мог быть сокращен или прерван, если индикатор качества, например, такой как значение Δp в ковариационной матрице ΔR сигнала ошибки (добавленный сигнал), становится положительным. Выбор матрицы Q преддекоррелятора должен основываться на условиях чувственного восприятия, поскольку теория второго порядка, приведенная выше, нечувствительна к использованию этой специфической матрицы. Это подразумевает также то, что основания, на которых выбирают Q, никак не связаны с соображениями, по которым выбирают вариант конструктивного исполнения.

Первое основание, предписываемое настоящим изобретением, состоит в использовании для ввода во все декорреляторы монофонического сигнала микшированного с понижением (монодаунмикса) исходного стереосигнала. В виде элементов матрицы это может быть представлено следующим образом:

где - ячейки матрицы Q, a - ячейки матрицы С₀.

Второе основание, предписываемое настоящим изобретением, состоит в том, что матрица Q преддекоррелятора должна быть производной только от одной матрицы D понижающего микширования. Взятие производной подразумевает здесь, что все объекты имеют удельную мощность и некоррелированы. Это допущение распространяется и на формирование матрицы повышающего микширования, начиная от исходных объектов до прогнозирования ошибок по каждому из них. Затем квадрат преддекорреляционных весов выбирается в пропорции к суммарной энергии ошибок прогнозирования объектов по всем каналам понижающего микширования. В конечном итоге те же самые веса используются для всех декорреляторов. Подробнее, эти веса получают, формируя сначала матрицу N × N,

и затем выводят матрицу W₀ ожидаемой энергии ошибок прогнозирования объектов путем приведения всех недиагональных значений (32) к нулю. Обозначив диагональные значения DW₀D^* через t₁, t₂, которые выражают суммарные доли энергии ошибок объектов, проходящие по каждому каналу понижающего микширования, получаем конечный набор элементов матрицы преддекоррелятора, используя

В зависимости от специфики конструкции и назначения применяться могут любые виды декорреляторов, такие как ревербераторы и другие. Тем не менее, предпочтительный вариант осуществления предполагает использование энергосберегающих декорреляторов. Это означает, что мощность выходного сигнала декоррелятора должна быть равной мощности входного сигнала декоррелятора. Тем не менее, отклонения, возникающие при использовании неэкономичного декоррелятора, также могут быть компенсированы, например, учтены при расчете матрицы Р.

Как утверждалось ранее, в предпочтительных вариантах осуществления следует избегать введения синтезированного сигнала с положительной корреляцией, поскольку такой сигнал может восприниматься как локализованный синтезированный фантомный источник. Во втором варианте реализации это однозначно следует избегать вследствие специфики структуры матрицы Р, как показано в рамке 1201. Тем не менее, эту проблему явно удалось обойти в четвертом варианте конструктивного решения с помощью процедуры проверки на шаге 1402. Квалифицированным специалистам доступны также другие способы определения качества декоррелированного сигнала и в особенности корреляционных характеристик во избежание проявления подобных артефактов фантомного источника, при этом такие способы могут быть применены в форме прекращения подачи декоррелированного сигнала техническими средствами, или в форме снижения мощности декоррелированного сигнала и усиления исходного сигнала для получения компенсированного сигнала на выходе.

Несмотря на то, что все матрицы Е, D, А описаны как комплексные матрицы, они могут также быть действительными. Тем не менее, ценность данного изобретения состоит именно в том, что оно рассматривает комплексные матрицы Е, D, А, фактически содержащие комплексные коэффициенты с мнимой частью, отличной от нуля.

В дополнение к этому, матрица D и матрица А часто будут иметь намного более низкую спектральную и временную разрешающую способность по сравнению с матрицей Е, которая имеет самое высокое среди всех матриц разрешение по времени и частоте. В частности, матрица параметров аудиорендеринга и матрица понижающего микширования не будут зависеть от частоты, но могут зависеть от времени. Матрицы понижающего микширования это может коснуться при выполнении определенной специальной оптимизированной операции понижающего микширования. В отношении матрицы параметров аудиорендеринга это может проявиться в связи с перемещающимися аудиообъектами, которые время от времени, возможно, будут менять свое положение между левым и правым каналами. Описанные ниже конструктивные решения даны как иллюстрация основных принципов настоящего изобретения. Подразумевается, что для специалистов в данной области возможность внесения изменений и усовершенствований в компоновку и элементы описанной конструкции очевидна. В силу этого, представленные описания и пояснения вариантов реализации изобретения ограничиваются только рамками патентных требований, а не конкретными деталями. В зависимости от конкретных требований к реализации относящихся к изобретению методов эти методы могут быть осуществлены как в виде аппаратных средств, так и в виде программного обеспечения. Изобретение может быть реализовано с использованием цифрового накопителя данных, в частности диска, DVD-диска или CD-диска, содержащего электронно считываемые управляющие сигналы, совместимого с программируемыми компьютерными системами с целью осуществления методов, имеющих отношение к изобретению. Таким образом, в целом настоящее изобретение представляет собой компьютерный программный продукт с хранящимся на машиночитаемом носителе кодом программы, с помощью которого практически выполняются изобретенные методы при условии исполнения компьютерного программного продукта на компьютере. Другими словами, изобретенные методы, следовательно, являются компьютерной программой, имеющей программный код, необходимый для осуществления, по меньшей мере, одного из изобретенных методов при условии, что компьютерная программа будет выполняться на компьютере.

Изобретение относится к синтезированию с применением аудиорендеринга выходного стереосигнала или выходного многоканального аудиосигнала, сформированных в результате понижающего микширования с использованием дополнительных управляющих данных. Техническим результатом является создание способа кодирования аудиообъекта, при котором качество воспроизведения объектов в стереофонограмме будет максимально приближено к эталонной стереозвукопередаче. Это достигается тем, что устройство для синтезирования выходного сигнала включает декоррелятор (356) и блок сведения (364). Декоррелятор (356) обеспечивает декоррелированный одноканальный сигнал или декоррелированные сигналы первого и второго каналов на базе сигнала понижающего микширования, который включает в себя сигналы понижающего микширования первого и второго аудиообъектов, и является результатом понижающего микширования множества сигналов аудиообъектов в соответствии с информацией о понижающем микшировании (354). Блок сведения (364) выполняет взвешенное сведение сигнала понижающего микширования (352) и декоррелированного сигнала (358) с использованием весовых коэффициентов (Р, Q, C₀, G), вычисление которых осуществляется на основании информации о понижающем микшировании (354), заданных характеристик аудиорендеринга (360), определяющих виртуальное положение аудиообъектов в виртуальном звуковом пространстве, и параметрических данных об аудиообъектах (362), описывающих эти аудиообъекты. 3 н. и 25 з.п. ф-лы, 44 ил.

1. Устройство для синтезирования выходного сигнала (350), обеспечивающее сигнал первого звукового канала и сигнал второго звукового канала, включающее в себя: декоррелятор (356) для генерирования декоррелированного сигнала (358), обеспечивающий декоррелированный одноканальный сигнал или декоррелированный сигнал первого канала и декоррелированный сигнал второго канала на базе сигнала понижающего микширования, при этом сигнал понижающего микширования включает в себя сигнал понижающего микширования первого аудиообъекта и сигнал понижающего микширования второго аудиообъекта и является результатом понижающего микширования множества сигналов аудиообъектов, осуществленного в соответствии с информацией о понижающем микшировании (354); и блок сведения (364) для выполнения взвешенного сведения сигнала понижающего микширования (352) и декоррелированного сигнала (358) с использованием весовых коэффициентов (Р, Q, C₀, G), причем блок сведения (364) предназначается для вычисления весовых коэффициентов (Р, Q, C₀, G) для взвешенного сведения на основании информации о понижающем микшировании (354), на основании заданных характеристик аудиорендеринга (360), определяющих виртуальное положение аудиообъектов в виртуальном звуковом пространстве, и на основании параметрических данных об аудиообъектах (362), описывающих эти аудиообъекты.

2. Устройство по п.1, в котором блок сведения (364) предназначен для вычисления весовых коэффициентов для взвешенного сведения таким образом, чтобы результат 452 смешения сигнала понижающего микширования первого аудиообъекта и сигнала понижающего микширования второго аудиообъекта по форме сигнала согласовывался с результатом аудиорендеринга по заданным параметрам.

3. Устройство по п.1, в котором блок сведения (364) предназначен для вычисления матрицы смешения С₀ для смешения сигнала понижающего микширования первого аудиообъекта и сигнала понижающего микширования второго аудиообъекта на основании уравнения:
C₀=AED*(DED*)^-1,
где С₀ - матрица смешения, где А - матрица параметров аудиорендеринга, задающая характеристики аудиорендеринга (360), где D - матрица понижающего микширования, задающая параметры понижающего микширования (354), где * обозначает операцию комплексно сопряженного транспонирования, и где Е - ковариационная матрица аудиообъектов, задающая параметры аудиообъектов (362).

4. Устройство по п.1, в котором блок сведения (364) предназначен для вычисления весовых множителей на основании уравнения:
R=AEA*,
где R - ковариационная матрица преобразованного аудиорендерингом выходного сигнала (350), полученного приложением к аудиообъектам заданных характеристик аудиорендеринга, где А - матрица параметров аудиорендеринга, задающая характеристики звукопередачи (360), и где Е - ковариационная матрица аудиообъекта, задающая параметры аудиообъекта (362).

5. Устройство по п.3, в котором блок сведения (364) предназначен для вычисления весовых коэффициентов на основании уравнения:
R₀=C₀DED*C₀*,
где R₀ - матрица ковариации результата операции смешения (401) сигнала понижающего микширования.

6. Устройство по п.1, в котором блок сведения (364) предназначен для вычисления весовых множителей для взвешенного сведения таким образом, чтобы взвешенное сведение было выполнимо путем вычисления матрицы С₀ смешения исходных сигналов и применения (401) матрицы смешения исходных сигналов С₂ к сигналу понижающего микширования (352), путем вычисления матрицы Р последующей обработки сигнала декоррелятора и применения (404) матрицы Р последующей обработки сигнала декоррелятора к декоррелированному сигналу (358), и путем сведения (454) результатов операций (404, 401) с получением преобразованного аудиорендерингом выходного сигнала (550).

7. Устройство по п.1, в котором блок декоррелятора (356) выполняет операцию (402) обработки сигнала понижающего микширования (352), вводимого в декоррелятор (403).

8. Устройство по п.7, в котором операция преддекорреляции включает в себя процесс смешения первого канала понижающего микширования аудиообъекта и второго канала понижающего микширования аудиообъекта на основе информации о понижающем микшировании (354), содержащей указания о распределении аудиообъекта по каналам сигнала понижающего микширования.

9. Устройство по п.7, в котором блок сведения (364) выполняет операцию смешения исходного сигнала (401) с использованием первого и второго сигналов понижающего микширования аудиообъекта, содержащее устройство преддекорреляции (402), выполняющее функции, аналогичные операции смешения исходного сигнала (401).

10. Устройство по п.9, в котором блок сведения (364) использует матрицу С₀ смешения исходного сигнала, а преддекоррелятор (402) выполняет свои функции с использованием матрицы Q преддекорреляции, идентичной матрице С₀ смешения исходного сигнала.

11. Устройство по п.6, в котором матрица Р последующей обработки сигнала декоррелятора базируется на выполнении (1102) декомпозиции собственного числа ковариационной матрицы декоррелированного сигнала, добавленного к результату смешения исходного сигнала (452).

12. Устройство по п.11, в котором блок сведения (364) рассчитывает весовые коэффициенты на основании мультиплицирования (1104) матрицы (Т), сформированной на основании собственных чисел, полученных декомпозицией собственного числа (1102) и матрицы ковариации сигнала декоррелятора (358).

13. Устройство по п.11, в котором блок сведения (364) предназначен для расчета весовых коэффициентов таким образом, чтобы использовался одиночный декоррелятор (403), при этом матрица Р последующей обработки сигнала декоррелятора будет содержать один столбец и количество строк, равное количеству каналов в преобразованном аудиоренедрингом выходном сигнале, или чтобы использовались два декоррелятора (403), и матрица Р последующей обработки сигнала декоррелятора содержала два столбца и количество строк, равное числу каналов преобразованного аудиоренедрингом выходного сигнала.

14. Устройство по п.11, в котором блок сведения предусматривает вычисление весовых коэффициентов на основании матрицы ковариации декоррелированного сигнала, которая рассчитывается по уравнению:
R_Z=QDED*Q*,
где R_Z - матрица ковариации декоррелированного сигнала (358), Q - матрица микширования сигнала преддекорреляции, D - матрица понижающего микширования, задающая параметры понижающего микширования (354), Е - ковариационная матрица аудиообъекта, содержащая параметрическую информацию о аудиообъекте (362).

15. Устройство по п.6, в котором блок сведения (364) предусматривает вычисление весовых коэффициентов для взвешенного сведения таким образом, чтобы матрица Р последующей обработки сигнала декоррелятора была рассчитана так, что декоррелированный сигнал суммировался с двумя результирующими каналами (452) операции смешения исходного сигнала с противоположными знаками (1201).

16. Устройство по п.15, в котором блок сведения (364) предусматривает вычисление весовых коэффициентов таким образом, чтобы декоррелированный сигнал (358) взвешивался с использованием весового множителя (с), определяемого контрольным сигналом корреляции между двумя каналами преобразованного аудиорендерингом выходного сигнала, при этом контрольный сигнал корреляции аналогичен величине корреляции, установленной виртуальной операцией заданного аудиорендеринга на основе матрицы параметров аудиорендеринга (А) (1203).

17. Устройство по п.16 выполнено с возможностью решения квадратного уравнения (26) для определения весового коэффициента (с), и в рамках которого при отсутствии удовлетворяющего решения этого квадратного уравнения введение декоррелированного сигнала ограничивается или прекращается (1208).

18. Устройство по п.6, в котором блок сведения (364) предусматривает вычисление весовых коэффициентов для получения взвешенного сведения путем компенсации усиления (409) взвешиванием результата смешения исходного сигнала таким образом, чтобы энергетическая ошибка в рамках результата смешения исходного сигнала при сравнении с сигналом понижающего микширования сводилась к минимуму (1302).

19. Устройство по п.1, в котором блок сведения (364) оценивает вероятность возникновения артефактов (1402) при введении декоррелированного сигнала, и содержащее блок сведения (364), который предусматривает прекращение или сокращение введения декоррелированного сигнала (1404) при распознании риска возникновения артефакта, и уменьшение (1406) искажения мощности, возникающего из-за сокращения или прекращения введения (1404) декоррелированного сигнала.

20. Устройство по п.19, в котором блок сведения (364) предусматривает вычисление весовых коэффициентов, направленное на оптимизацию результата операции смешения исходного сигнала (401).

21. Устройство по п.19, в котором блок сведения (364) предусматривает расчет данных ковариационной матрицы R рассогласования (1104), представляющей корреляционную структуру сигнала рассогласования между исходным сигналом повышающего микширования и выходным сигналом, определяемым виртуальной схемой аудиорендеринга с использованием заданных параметров аудиорендеринга (360), и содержащий блок сведения (364), который предусматривает определение знака (1402) недиагонального элемента данных ковариационной матрицы рассогласования R и прекращение (1104) или сокращение ввода при положительном знаке.

22. Устройство по п.1, включающее в себя также: преобразователь времени-частоты (302) для преобразования микшированного с понижением сигнала в спектральное представление с включением множества сигналов понижающего микширования поддиапазона: причем для каждого сигнала поддиапазона выполняются операция декорреляции (403) и операция сведения (364) с целью генерирования всей совокупности сигналов поддиапазонов выходного массива аудиорендеринга, и преобразователь частоты-времени (304) для преобразования множества сигналов поддиапазона преобразованного аудиоренедрингом выходного сигнала во временную область.

23. Устройство по п.1, также включающее в себя контроллер, предназначенный для генерирования блоков величин отсчетов сигнала, полученного понижающим микшированием, и для управления декоррелятором (356) и блоком сведения (364) с целью обработки индивидуальных блоков величин отсчетов.

24. Устройство по п.22, которое формирует для каждого блока и для каждого сигнала поддиапазона информацию о аудиообъекте, причем заданные параметры аудиорендеринга и характеристики сигнала понижающего микширования аудиообъекта остаются постоянными по частоте для временного блока.

25. Устройство по п.1, в котором блок сведения (364) включает в себя модуль комплексного матрицирования (303), предназначенный для линейного сведения сигнала понижающего микширования первого аудиообъекта и сигнала понижающего микширования второго аудиообъекта в исходный сигнал (452), причем в данном блоке сведения (364) предусматривается также линейное сведение декоррелированного сигнала (358) в сигнал, который после суммирования в канале с исходным сигналом образует выходной стереосигнал интегрированного модуля матричного кодирования (303), и кроме того, блок сведения (364) включает в себя вычислитель матриц (202) для расчета весовых коэффициентов для линейного сведения, используемых модулем комплексного матрицирования (303), на базе параметрической информации об аудиообъекте (362), информации о понижающем микшировании (354) и заданных параметров аудиорендеринга (360).

26. Устройство по п.1, в котором блок сведения (364) предназначен для расчета весовых коэффициентов таким образом, чтобы доля энергии декоррелированного сигнала (358) в преобразованном аудиорендерингом выходном сигнале была минимальной, и чтобы доля энергии исходного сигнала (452), полученного линейным сведением сигнала понижающего микширования первого аудиообъекта и сигнала понижающего микширования второго аудиообъекта, была максимальной.

27. Способ синтезирования выходного сигнала (350), включающего в себя сигнал первого звукового канала и сигнал второго звукового канала, содержащий генерирование (356) декоррелированного сигнала (358), включающего в себя декоррелированный одноканальный сигнал или декоррелированный сигнал первого канала и декоррелированный сигнал второго канала, полученные из сигнала понижающего микширования, при этом сигнал понижающего микширования содержит сигнал понижающего микширования первого аудиообъекта и сигнал понижающего микширования второго аудиообъекта, причем микшированный с понижением сигнал содержит даунмикс - результат понижающего микширования множества сигналов аудиообъектов согласно информации о понижающем микшировании (354); и взвешенное сведение (364) сигнала понижающего микширования (352) и декоррелированного сигнала (358) с использованием весовых коэффициентов (Р, Q, С₀, G) на основе расчета весовых коэффициентов (Р, Q, C₀, G) для взвешенного сведения на основании информации о понижающем микшировании (354), на основании заданных характеристик аудиорендеринга (360), определяющих виртуальное положение аудиообъектов в виртуальном звуковом пространстве, и на основании параметрических данных об аудиообъектах (362), описывающих эти аудиообъекты.

28. Машиночитаемый носитель, содержащий сохраненный на нем компьютерный программный продукт с кодом программы для выполнения способа по п.27 при условии исполнения компьютерного программного продукта на компьютере.