УСОВЕРШЕНСТВОВАННЫЙ МЕТОД КОДИРОВАНИЯ И ПАРАМЕТРИЧЕСКОГО ПРЕДСТАВЛЕНИЯ КОДИРОВАНИЯ МНОГОКАНАЛЬНОГО ОБЪЕКТА ПОСЛЕ ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ Российский патент 2013 года по МПК G10L19/00 

Изобретение относится к декодированию множественных объектов путем преобразования закодированного многообъектного сигнала на базе доступного многоканального понижающего микширования и вспомогательных управляющих данных.

Последние разработки в области технологии обработки звука делают возможным воссоздание многоканального аудиосигнала на базе стерео- (или моно-) сигнала и соответствующих управляющих данных. Эти методы параметрического кодирования звукового окружения обычно включают в себя параметризацию. Параметрический многоканальный аудиодекодер (например, MPEG Surround стандарта ISO/TEC 23003-1, L.Villemoes, J.Herre, J.Breebaart, G.Hotho, S.Disch, H.Pumhagen, and K.Kjorling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond, Pitea, Sweden, June 30-July 2, 2006; J.Breebaart, J.Herre, L.Villemoes, C.Jin,, K.Kjorling, J.Plogsties, and J.Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4,2006) реконструирует M каналов на базе K принятых каналов, где М>K, с использованием управляющих данных. Управляющие данные представляют собой параметризацию многоканального сигнала на базе разности интенсивности сигнала между каналами (IID) и межканальной когерентности, согласованности (ICC). Как правило, такие параметры выделяются на стадии кодирования и описывают отношения мощностей и корреляцию между парами каналов используемых при повышающем микшировании. Применение такого алгоритма кодирования позволяет выполнять кодирование при скорости передачи данных, значительно более низкой, чем передача всей совокупности М каналов, при высокой эффективности кодирования и одновременной гарантии совместимости как с устройствами каналов K, так и с устройствами каналов М.

Схожую систему кодирования осуществляет соответствующий кодер аудиообъекта [С.Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006], [C.Faller, "Parametric Joint-Coding of Audio Sources," Patent application PCT/EP2006/050904, 2006], где несколько аудиообъектов микшируются "вниз" кодером, а позже микшируются "вверх" с использованием управляющих команд. Процесс повышающего микширования может также рассматриваться как разделение объектов, смешанных при понижающем микшировании. Полученный в результате повышающего микширования сигнал может быть преобразован для воспроизведения в одно- или многоканальный вид. Определяя точнее, упомянутые выше публикации представляют метод синтеза звуковых каналов на основании результатов понижающего микширования (именуемых суммарным сигналом), статистической информации об источниках и характеристик, задающих необходимый выходной формат. Если используются несколько сигналов, полученных понижающим микшированием, эти сигналы состоят из подмножеств различных объектов, и повышающее микширование должно осуществляться по каждому каналу понижающего микширования индивидуально. Новизна предлагаемого метода заключается в осуществлении повышающего микширования одновременно по всем каналам понижающего микширования. Методы кодирования объекта, представленные до настоящего изобретения, не предлагали вариант декодирования результатов понижающего микширования по нескольким каналам одновременно.

Первый аспект изобретения относится к кодеру аудиообъекта, генерирующему закодированный сигнал аудиообъекта с использованием совокупности аудиообъектов, включая:

генератор информации (данных) понижающего микширования, генерирующий параметры распределения множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования;

генератор параметров аудиообъектов и выходной интерфейс для генерирования кодированного сигнала аудиообъекта с использованием характеристик понижающего микширования и параметров объекта.

Второй аспект изобретения относится к методу кодирования аудиообъекта. обеспечивающему генерирование кодированного сигнала аудиообъекта с использованием совокупности аудиообъектов, включая:

генерирование данных понижающего микширования, характеризующих порядок распределения совокупности аудиообъектов, по крайней мере, по двум каналам понижающего микширования;

генерирование параметров аудиообъектов и генерирование кодированных сигналов аудиообъекта с использованием данных понижающего микширования и параметров объекта.

Третий аспект изобретения относится к звуковому синтезатору (аудиосинтезатору), генерирующему выходные данные с использованием кодированного сигнала аудиообъекта, включая:

синтезатор выходных данных, используемых для представления множества выходных каналов с заданной конфигурацией выходного аудиосигнала, отображающего совокупность аудиообъектов, где синтезатор выходных данных распознает характеристики понижающего микширования для распределения множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования и параметры аудиообъекта.

Четвертый аспект изобретения относится к методу синтезирования звука, позволяющего генерировать выходные данные с использованием кодированного сигнала аудиообъекта, включая:

генерирование выходных данных для формирования множества выходных каналов с заданной конфигурацией выходного аудиосигнала, отображающей совокупность аудиообъектов, с применением синтезатора выходных данных, способным считывать характеристики понижающего микширования для распределения множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования и параметры аудиообъекта.

Пятый аспект изобретения относится к кодированному сигналу аудиообъекта, содержащему характеристики понижающего микширования, указывающие порядок распределения множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования, и параметры объектов, позволяющие реконструировать аудиообъекты с использованием параметров объектов и, по крайней мере, двух каналов понижающего микширования.

Шестой аспект изобретения относится к компьютерному программному обеспечению, предназначенному для осуществления метода кодирования аудиообъекта или метода декодирования аудиообъекта на компьютере.

Далее изобретение будет представлено иллюстративным материалом, не ограничивающим его ни по форме, ни по существу, с пояснениями прилагаемых чертежей, где:

на фиг.1а представлена блок-схема алгоритма кодирования пространственного аудиообъекта, включая кодирование и декодирование;

на фиг.1b представлена блок-схема алгоритма кодирования пространственного аудиообъекта с использованием декодера MPEG Surround;

на фиг.2 представлен алгоритм работы кодера пространственного аудиообъекта;

на фиг.3 представлена схема алгоритма работы экстрактора (выделителя) параметров аудиообъекта в режиме дифференциации мощности;

на фиг.4 представлена схема алгоритма работы экстрактора (выделителя) параметров аудиообъекта в режиме предсказания;

на фиг.5 представлена схема устройства транскодера SAOC - MPEG Surround;

на фиг.6 схематически представлены различные режимы работы понижающего микшера для понижающего микширования;

на фиг.7 представлена принципиальная схема декодера MPEG Surround для нисходящего микширования стереосигнала;

на фиг.8 дана схема частного случая реализации с использованием кодера SAOC;

на фиг.9 представлена схема варианта осуществления кодера;

на фиг.10 представлена схема варианта осуществления декодера;

на фиг.11 представлена таблица оптимальных режимов работы декодера/синтезатора;

на фиг.12 представлена блок-схема методики расчета некоторых пространственных параметров повышающего микширования;

на фиг.13а представлена блок-схема методики расчета дополнительных пространственных параметров повышающего микширования;

на фиг.13b представлена блок-схема методики расчетов с применением параметров предсказания;

на фиг.14 дана общая принципиальная схема системы кодер/декодер;

на фиг.15 представлена блок-схема алгоритма расчета прогностических параметров объекта; и

фиг.16 иллюстрирует способ стерео представления (рендеринга).

Описанные ниже варианты осуществления изобретения являются не более чем иллюстрацией принципов усовершенствованного метода кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования. Подразумевается, что для специалистов в данной области возможность внесения изменений и усовершенствований в компоновку и элементы описанной конструкции очевидна. В силу этого представленные описания и пояснения вариантов реализации изобретения ограничиваются только рамками патентных требований, но не конкретными деталями.

Предпочтительные варианты осуществления предусматривают метод кодирования, который сочетает в себе функциональные возможности алгоритма кодирования объекта с возможностями аудио представления (аудиорендеринга) многоканального декодера. Пересылаемые управляющие данные относятся к индивидуальным объектам и в силу этого позволяют управлять при воспроизведении пространственным положением и уровнем сигнала. Таким образом, управляющая информация непосредственно связана с так называемым 'описанием сцены', дающим информацию о расположении объектов в окружающем пространстве. Описанием сцены можно управлять или со стороны декодера в интерактивном режиме со слушателем или со стороны кодера от источника звука.

Суть изобретения заключается в том, что вводится транскодер для того, чтобы преобразовать (перекодировать) относящуюся к объекту управляющую информацию и сигнал понижающего микширования в управляющие данные и сигнал понижающего микширования, предназначенные для системы воспроизведения, например, декодера MPEG Surround. В представленном методе кодирования объекты могут быть произвольно распределены по имеющимся в наличии каналам нисходящего микширования кодера. Транскодер точно использует многоканальные параметры нисходящего микширования, обеспечивая перекодированный сигнал понижающего микширования и относящиеся к объекту управляющие данные. Благодаря этому повышающее микширование на декодере выполняется не для каждого канала индивидуально, как предложено в [С.Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006], а все каналы понижающего микширования обрабатываются одновременно за один процесс повышающего микширования. По новой схеме параметры многоканального понижающего микширования должны быть частью управляющих данных и кодируются кодером объекта.

Распределение объектов по каналам понижающего микширования может выполниться автоматически, или это может быть конструктивное решение, связанное с кодером. В последнем случае систему понижающего (нисходящего) микширования можно включить в уже существующую многоканальную систему воспроизведения (например, в стереоустановку), делая упор на воспроизведение, опуская стадию перекодирования и многоканального декодирования. Это еще одно преимущество перед более ранними алгоритмами кодирования, известными из уровня техники, предусматривавшими один канал понижающего микширования или множественные каналы понижающего микширования, содержащие подмножества объектов-источников.

В то время как алгоритмы кодирования объекта известного уровня техники описывают технологию декодирования, используя исключительно единственный канал понижающего микширования, данное изобретение не имеет такого ограничения, поскольку предлагает метод одновременного декодирования материала понижающего микширования, содержащего сигналы понижающего микширования по нескольким каналам. Качество разделения объектов возрастает по мере увеличения числа каналов понижающего микширования. Таким образом, изобретение успешно заполняет пробел между алгоритмом кодирования объекта по одиночному моноканалу понижающего микширования и алгоритмом многоканального кодирования, где каждый объект передается по выделенному каналу. Таким образом, предлагаемый метод дает возможность гибкого управления качеством при разделении объектов в зависимости от предъявляемых, прикладных требований и эксплуатационных свойств системы передачи (таких, как емкость канала).

В дополнение к этому, преимущество использования более чем одного канала заключается в том, что оно позволяет также принимать во внимание корреляцию между различными объектами в отличие от описания, учитывающего лишь разницу в интенсивности звуковых сигналов, как в алгоритмах кодирования объекта в более ранней практике. Более ранняя практика исходила из предпосылки, что все объекты независимы друг от друга и взаимно не согласованы (нулевая взаимная корреляция), в то время как в действительности маловероятно, что объекты не могут быть коррелированы, как, например, левый и правый каналы стереофонического сигнала. В соответствии с концепцией данного изобретения включение параметров корреляции в описание (управляющие данные) делает его более полным и таким образом способствует созданию дополнительной возможности разделения объектов. Предпочтительные варианты осуществления включают в себя, по крайней мере, один из следующих отличительных признаков.

Система для передачи и создания множества отдельных аудиообъектов с использованием многоканального понижающего микширования и вспомогательных управляющих данных, описывающих эти объекты, включающая в себя:

кодер пространственных аудиообъектов, кодирующий множество аудиообъектов для многоканального понижающего микширования, информацию о многоканальном понижающем микшировании и параметры объекта; или декодер пространственных аудиообъектов, расшифровывающий данные многоканального понижающего микширования, информацию о многоканальном понижающем микшировании, параметры объекта и матрицу аудиорендеринга (матрицу представления) объекта во второй многоканальный аудиосигнал, применимый для аудиовоспроизведения.

На фиг.1а показан алгоритм кодирования пространственного аудиообъекта (SAOC), включающий в себя кодер SAOC 101 и декодер SAOC 104. Кодер пространственных аудиообъектов 101 кодирует N объектов в данные понижающего микширования объекта о K>1 аудиоканалах в соответствии с параметрами кодера. Информация о примененной весовой матрице понижающего микширования D выводится кодером SAOC вместе со вспомогательными данными относительно мощности и корреляции понижающего микширования. Матрица D часто, но не обязательно всегда, постоянна по времени и по частоте и поэтому содержит относительно мало информации. В завершение, кодер SAOC фиксирует параметры каждого объекта как частотно-временную функцию с глубиной разрешения, определяемой на основе принципов восприятия (перцептуального кодирования). Декодер пространственных аудиообъектов 104 принимает вводимые в него данные каналов понижающего микширования объектов, информацию о понижающем микшировании и параметры объектов (сгенерированные кодером) и генерирует выходные данные, содержащие М аудиоканалов для представления пользователю. Аудиорендеринг N объектов в М аудиоканалов производится посредством матрицы аудиорендеринга, представляющей собой набор параметров, вводимых пользователем в декодер SAOC.

На фиг.1b показана блок-схема алгоритма кодирования пространственного аудиообъекта с последующим применением декодера MPEG Surround. Декодер SAOC 104, примененный в настоящем изобретении, может быть реализован в виде транскодера SAOC - MPEG Surround 102 в сочетании с декодером MPEG Surround 103 с понижающим микшированием до стереосигнала. Управляемая пользователем матрица аудиорендеринга А размерности M×N определяет заданное соотношение преобразования N объектов в М аудиоканалов. Функции этой матрицы могут зависеть как от настроек, так и от частотных показателей, и это окончательный результат наиболее дружественного интерфейса для управления аудиообъектами (куда, кроме того, извне может быть введено описание сцены). В случае применения настроек для акустической системы 5. 1, количество выходных аудиоканалов будет М=6. Задача декодера SAOC заключается в перцептуальном воссоздании исходных аудиообъектов как конечного результата аудиорендеринга. На входе транскодер SAOC - MPEG Surround 102 получает матрицу аудиорендеринга А, данные понижающего микширования объекта, результаты понижающего микширования, включая весовую матрицу понижающего микширования D, и описание объекта, и генерирует понижающее микширование стереосигнала и информацию MPEG Surround. Если транскодер реализуется в соответствии с настоящим изобретением, следующий за ним декодер MPEG Surround 103, получив на входе эти данные, на выходе дает М-канальный акустический сигнал с требуемыми характеристиками.

Декодер SAOC, вводимый в настоящем изобретении, состоит из транскодера SAOC - MPEG Surround 102 и декодера MPEG Surround 103 с нисходящим микшированием до стереосигнала. Управляемая пользователем матрица аудиорендеринга А размерности M×N определяет заданное соотношение преобразования N объектов в M аудиоканалов. Эта матрица может зависеть как от настроек, так и от частоты, что является показателем более дружественного интерфейса управления аудиообъектами. При применении настроек для акустической системы 5.1 количество выходных аудиоканалов будет М=6. Декодер SAOC предназначен для перцептуального воссоздания исходных аудиообъектов как конечного результата аудиорендеринга. На входе транскодер SAOC - MPEG Surround 102 получает матрицу аудиорендеринга А, данные понижающего микширования объекта, результаты понижающего микширования, включая весовую матрицу понижающего микширования D, и описание объекта и генерирует понижающее микширование стереосигнала и информацию MPEG Surround. Если транскодер реализуется в соответствии с настоящим изобретением, следующий за ним декодер MPEG Surround 103, получив на входе эти данные, на выходе дает М-канальный акустический сигнал с требуемыми характеристиками.

На фиг.2 представлен алгоритм работы кодера пространственного аудиообъекта (SAOC) 101, вводимого настоящим изобретением. N аудиообъектов вводятся в блок понижающего микширования 201, а также в экстрактор (выделитель) параметров аудиообъекта 202. Блок понижающего микширования 201 смешивает объекты в поток итоговых данных понижающего микширования объекта, состоящий из K>1 аудиоканалов, в соответствии с параметрами кодера, а также выводит информацию о понижающем микшировании. Эта информация включает в себя описание примененной весовой матрицы понижающего микширования D и дополнительно, если последовательно задействуемый экстрактор параметров аудиообъекта работает в режиме предсказания, параметры, описывающие мощность и корреляцию результатов понижающего микширования объекта.

Как будет обсуждаться в одном из следующих параграфов, роль подобных дополнительных параметров заключается в предоставлении доступа к энергетическим и корреляционным показателям подмножеств преобразуемых аудиоканалов в тех случаях, когда параметры объектов выражены только относительно понижающего микширования, и главным примером здесь являются синхросигналы "тыльный/фронтальный" для акустических систем 5.1. Экстрактор параметров аудиообъектов 202 выделяет параметры объекта в соответствии с параметрами кодера. Средства управления кодером по частотно-временным изменениям определяют, какой из двух режимов кодера применен, на энергетической или прогностической основе. В режиме дифференциации мощности параметры кодера далее содержат информацию о группировании N аудиообъектов в Р стереообъектов и N-2P монообъектов. Каждый режим будет описан далее на фиг.3 и 4.

На фиг.3 представлена схема алгоритма работы экстрактора параметров аудиообъекта 202 в режиме дифференциации мощности. Группирование 301 в Р стереообъектов и N-2P монообъектов осуществляется согласно информации о группировании, содержавшейся в параметрах кодера. Для каждого заданного частотно-временного интервала тогда выполняются следующие операции. Два показателя мощности объекта и одна нормализованная корреляция выделяются экстрактором стереопараметров 302 для каждого из Р стереообъектов. Один энергетический показатель выделяется экстрактором параметров 303 для каждого из N-2Р монообъектов. Затем полный набор из N параметров мощности и Р параметров нормализованной корреляции кодируются в 304 вместе с данными группирования, формируя параметры объекта. Кодирование может включать в себя операцию нормализации с учетом самого высокого показателя мощности объекта или с учетом суммы выделенных мощностей объекта.

На фиг.4 представлена схема алгоритма работы экстрактора параметров аудиообъекта 202 в режиме предсказания. Для каждого заданного частотно-временного интервала тогда выполняются следующие операции. Для каждого из N объектов выводится линейная комбинация из K каналов понижающего микширования объектов, которая соответствует данному объекту по методу наименьших квадратов. K весов этой линейной комбинации называются коэффициентами предсказания объекта (ОРС), и они вычисляются экстрактором ОРС 401. Полный набор ОРС в количестве N-K кодируется в 402 с формированием параметров объекта. Кодирование может включать сокращение общего числа ОРС на основании линейных взаимозависимостей. Отличительной особенностью данного изобретения является то, что это общее число может быть сокращено максимально до {K·(N-K),0}, ест весовая матрица понижающего микширования D имеет полный ранг.

На фиг.5 представлена схема устройства транскодера SAOC - MPEG Surround 102 согласно настоящему изобретению. Для каждого частотно-временного интервала информация о понижающем микшировании и параметры объекта объединяются с матрицей аудиорендеринга счетчиком параметров 502 с формированием параметров MPEG Surround типа CLD (разность уровней каналов), СРС (коэффициент предсказания канала) и ICC (межканальная согласованность) и матрицы G преобразователя нисходящего микширования размерности 2×K. Преобразователь результатов понижающего микширования 501 преобразует понижающее микширование объекта в стерео понижающего микширования с помощью матричной операции в соответствии с матрицей G. В упрощенном режиме транскодера для K-2 эта матрица работает как единичная матрица, и понижающее микширование объекта проходит без изменения как стерео понижающего микширования. На схеме этот режим показан в виде переключателя 503 в положении А, тогда как при нормальном режиме работы переключатель находится в положении В. Дополнительное преимущество транскодера - его пригодность к использованию в качестве автономного устройства там, где игнорируются параметры MPEG Surround, и выходные данные преобразователя понижающего микширования используются непосредственно как стереоаудиорендеринг.

На фиг.6 схематически представлены различные режимы работы преобразователя 501 данных понижающего микширования согласно настоящему изобретению. Учитывая, что переданный объект понижающего микширования в формате битстрима является выходом K-канального аудиокодера, этот битстрим сначала дешифруется аудиодекодером 601 в K аудиосигналов временной области. Затем все эти сигналы преобразуются в частотную область гибридным банком фильтров QMF (квадратурный зеркальный фильтр) MPEG Surround в блоке T/F (время/частота) 602. Работа матрицы варьирования времени и частоты, определяемая данными матрицы преобразователя, осуществляется на результирующих сигналах гибридной области QMF блоком матрицирования 603, который выводит стереосигнал в гибридной области QMF. Гибридный блок синтеза 604 преобразует стереосигнал гибридной области QMF в стереосигнал области QMF. Гибридная область QMF задана для улучшения частотного разрешения в сторону низких частот путем последующей фильтрации поддиапазонов QMF. При выполнении в дальнейшем такой фильтрации с использованием банков фильтров Nyquist преобразование из гибридной в стандартную область QMF состоит в простом суммировании групп сигналов гибридных поддиапазонов, см. [Е.Schuijers, J.Breebart, and H.Purnhagen "Low complexity parametric stereo coding" Proc 116^th AES convention Berlin. Germany 2004, Preprint 6073]. Этот сигнал является первым возможным выходным форматом преобразователя понижающего микширования, что соответствует положению А переключателя 607. Подобный сигнал домена QMF может быть подан непосредственно на соответствующий интерфейс области QMF декодера MPEG Surround, и это является наиболее предпочтительным режимом работы с точки зрения задержки, сложности и качества. Другой возможностью является формирование стереосигнала временной области с применением синтеза банка фильтров QMF 605. При положении В переключателя 607 преобразователь выдает цифровой стереосигнал, который также может быть введен в интерфейс временной области последующего декодера MPEG Surround или подан напрямую на воспроизводящее стереоустройство. Третьей возможностью при положении С переключателя 607 является кодирование стереосигнала музыкального домена с помощью стерео аудиокодера 606. В этом случае выходным форматом преобразователя понижающего микширования будет стерео аудиобитстрим, совместимый с центральным декодером, являющимся компонентом MPEG-декодера. Этот третий режим работы применим в случае, когда транскодер SAOC - MPEG Surround блокирован MPEG-декодером из-за соединения, ограничивающего скорость передачи данных, или когда пользователю необходимо сохранить образ определенного объекта для будущего воспроизведения.

На фиг.7 представлена принципиальная схема декодера MPEG Surround для понижающего микширования стереосигнала. Стерео понижающего микширования с помощью окна "два-к-трем" (ТТТ) делится на три промежуточных канала. Далее каждый промежуточный канал с помощью трех окон "один-к-двум" (ОТТ) делится на два с образованием шести каналов 5.1-канальной конфигурации.

На фиг.8 дана схема частного случая реализации с использованием кодера SAOC. Аудиомикшер 802 дает на выходе стереосигнал (левый и правый), который обычно создается путем смешения сигналов на входе микшера (здесь - входные каналы 1-6) и произвольных дополнительных входных данных от электронных эффектов типа ревербератора и т.п. Кроме того, микшер имеет один индивидуальный выходной канал (здесь канал 5). Этот канал может использоваться, например, для обычных функций микшера, таких как "прямой выход" или "дополнительная пересылка" для вывода индивидуальных данных без задействования каких-либо промежуточных процессов (таких как динамическая обработка и эквалайзер). Стереосигнал (левый и правый) и индивидуальный выходной канал (obj5) являются вводом в кодер SAOC 801, который представляет собой лишь частный случай кодера SAOC 101 на фиг.1. Однако он служит типичным примером применения, когда аудиообъект obj5 (содержащий, например, речь) должен быть полностью подконтролен пользователю с правом внесения корректировок на входе декодера, оставаясь, однако, частью смешанной стереофонограммы (с правым и левым каналами). Из концепции также очевидно, что к панели "object input" ("вход объекта") в рамке 801 может быть подключено два или более аудиообъектов, и в дополнение к этому, стереофонограмма может быть расширена за счет многоканального соединения, например 5.1-канального устройства.

Далее представлено краткое математическое описание изобретения. Для дискретных комплексных сигналов х, y комплексное внутреннее произведение и возведенная в квадрат норма (энергия) определяются по:

где y(k) обозначает комплексно сопряженный сигнал y(k). Все рассматриваемые здесь сигналы представляют собой отсчеты поддиапазонов из модулированного банка фильтров или оконного анализа БПФ (быстрое преобразование Фурье) дискретных сигналов времени. Подразумевается, что эти поддиапазоны должны быть преобразованы обратно в дискретную временную область с помощью соответствующих операций банка фильтров синтеза. Блок сигналов из L отсчетов представляет сигнал в частотно-временном интервале, являющемся частью перцептуально мотивированного мозаичного заполнения (тайлинга) частотно-временной плоскости, используемой для описания свойств сигнала. При таком разбиении определенные аудиообъекты могут быть представлены как N рядов длины L в матрице,

Весовая матрица понижающего микширования D размерности K×N,

где K>1 определяет K-канальный сигнал нисходящего микширования в форме матрицы с K рядами матричного умножения

Управляемая пользователем матрица аудиорендеринга объекта А размерности М×N определяет М-канальный аудиорендеринг с заданными показателями аудиообъектов в форме матрицы с М рядами матричного умножения

Если временно не принимать во внимание эффекты основного потока аудиокодирования, задача декодера SAOC состоит в том, чтобы генерировать близкий к желаемому восприятию Y как результат аудиорендеринга первоначальных аудиообъектов на базе матрицы аудиорендеринга А, результатов понижающего микширования X, матрицы понижающего микширования D и параметров объекта.

Параметры объекта в энергетическом режиме согласно настоящему изобретению несут информацию о ковариации оригинальных объектов. В детерминированной версии, удобной для последовательного получения результатов, а также наглядной для описания типичных операций кодера, ковариация представляется в ненормализованной форме произведением матриц SS*, где звездочка обозначает операцию с комплексной сопряженной транспонированной матрицей. Таким образом, параметры объекта, полученные в энергетическом режиме, обеспечивают положительную полуопределенную матрицу А размерностью N×N таким образом, что, возможно до коэффициента масштабирования,

Известный уровень техники кодирования аудиообъектов часто рассматривает модель объекта, где все объекты не коррелируют. В таком случае матрица Е является диагональной и содержит лишь аппроксимацию к энергиям объекта S_n=||S_n||² для n=1, 2, …, N. Согласно фиг.3 экстрактор параметров объекта вносит существенную корректировку в эту идею, что особенно актуально в случаях, когда объекты представлены стереофоническими сигналами, для которых предположение об отсутствии корреляции не действует. Группирование Р отобранных стереопар объектов описывается наборами индексов {(n_p, m_p), р=1, 2, Р}. Для этих стереопар корреляция <S_n, S_m> вычислена, и комплексная, реальная или абсолютная величина нормализованной корреляции (ICC)

выделена экстрактором стереопараметров 302. После этого в декодере данные ICC могут быть объединены с энергетическими показателями для формирования матрицы Е, на 2Р отстоящей от диагональных элементов. Например, для общего числа объектов N=3, из которых первые два составляют единую пару (1, 2), переданные энергетические и корреляционные данные имеют вид:

S₁, S₂, S₃ и p₁.

В этом случае объединение в матрицу Е дает:

Параметры объекта в режиме предсказания согласно настоящему изобретению предназначены для формирования матрицы С коэффициента предсказания объекта (ОРС) размерностью N×K, доступной для декодера таким образом, что

Другими словами, для каждого объекта существует линейная комбинация каналов нисходящего микширования таким образом, что объект может быть восстановлен приблизительно согласно:

В предпочтительном варианте реализации экстрактор коэффициента предсказания объекта (ОРС) 401 решает нормальные уравнения

или, для более привлекательной реальной оценки коэффициента предсказания объекта (ОРС), он решает:

В обоих случаях, если принять реально оцененную весовую матрицу понижающего микширования D и несингулярную ковариацию понижающего микширования, то из умножения слева с D следует, что

где I - единичная матрица размерностью K.

Если D имеет полный ранг, то согласно элементарной линейной алгебре набор решений для (9) может быть параметрирован макс {K·(N-K),0} параметрами. Этот принцип задействован в 402 при совместном кодировании данных ОРС. Полная матрица предсказания С может быть восстановлена в декодере из сокращенного набора параметров и матрицы понижающего микширования.

Для примера рассмотрим случай понижающего микширования с получением стерео понижающего микширования (K=2), включающего в себя три объекта (N=3>) - музыкальную стереофонограмму (s₁,s₂) и центральный панорамированный одиночный музыкальный инструмент или трек вокала s₃.

Матрица понижающего микширования имеет вид:

То есть левый канал понижающего микширования представляет собой x₁=s₁+s₃/√2, и правый канал - х₂=s₂+s₃/√2.

Коэффициенты предсказания объекта (ОРС) для одиночного трека стремятся приблизиться к s₃≈c₃₁x₁+c₃₂x₂, и в этом случае уравнение (11) может быть решено с получением с₁₁=1-c₃₁/√2, с₁₂=-с₃2/√2, с₂₁=-c₃₁/√2 и с₂₂=1-c₃₂/√2.

Отсюда следует, что достаточное количество коэффициентов предсказания объекта (ОРС) определяется через K(N-K)=2·(3-2)=2.

ОРС c₃₁, c₃₂ могут быть найдены из нормальных уравнений

Транскодер SAOC - MPEG Surround

Что касается фигуры 7, М=6 выходных каналов конфигурации 5.1 представляют собой

(y₁, y₂, …, y₆)=(I_f,I_s,r_f,r_s,c,lfe).

Транскодер должен давать на выходе стерео понижающего микширования (l₀,r₀) и параметры для конфигураций ТТТ и ОТТ. Поскольку внимание теперь сосредоточено на стерео понижающем микшировании, в дальнейшем будет принято, что K=2. Поскольку и параметры объекта, и параметры MPS ТТТ существуют и в энергетическом, и в прогностическом режиме, необходимо рассматривать все четыре комбинации.

Энергетический режим эффективен, например, когда аудиокодер понижающего микширования не является волновым кодером в рассматриваемом частотном диапазоне. Подразумевается, что параметры MPEG Surround, речь о которых пойдет ниже, перед их пересылкой должны пройти надлежащее квантование и кодировку. Для дальнейшего разъяснения четырех вышеупомянутых комбинаций следует напомнить, что это:

1) параметры объекта в энергетическом режиме и транскодер в режиме предсказания;

2) параметры объекта в энергетическом режиме и транскодер в энергетическом режиме;

3) параметры объекта в режиме предсказания (коэффициент предсказания объекта ОРС) и транскодер в режим предсказания;

4) параметры объекта в режиме предсказания (ОРС) и транскодер в энергетическом режиме.

Если в рассматриваемом интервале частот аудиокодер понижающего микширования представляет собой кодер волнового типа, параметры объекта могут фиксироваться как в энергетическом режиме, так и в режиме предсказания, при этом транскодер должен предпочтительно работать в режиме предсказания. Если в рассматриваемом интервале частот аудиокодер понижающего микширования не является кодером волнового типа, кодер объекта и транскодер оба должны работать в энергетическом режиме. Четвертая комбинация менее актуальна, вследствие чего дальнейшее описание затронет только первые три комбинации.

Параметры объекта в энергетическом режиме

В энергетическом режиме данные, доступные для транскодера, описываются тройкой матриц (D, Е, А). Параметры ОТТ MPEG Surround формируются путем оценки энергетических и корреляционных показателей при виртуальном аудиорендеринге переданных параметров и матрицы аудиорендеринга А размерностью 6×N. Заданная шестиканальная ковариация представляется как

Введение (5) в (13) дает приближение

которое полностью определяется доступными данными. Пусть f_a обозначает элементы F. Тогда параметры CLD и ICC определяются из:

где J> - или абсолютная величина <р(z)=\z\, или оператор действительного значения <р(z)-Ре{z}. В качестве наглядного примера рассмотрим случай с тремя объектами, описанный ранее в отношении уравнения (12). Представим матрицу аудиорендеринга в виде

Таким образом, задача аудиорендеринга состоит в размещении объекта 1 между правой фронтальной и правой панорамной позициями, объекта 2 - между левой фронтальной и левой панорамной позициями и объекта 3 - впереди справа, в центре и по каналу оптимизации низких частот (lfe). Для упрощения предположим также, что все эти три объекта некоррелированы и обладают одинаковой энергией так, что

В таком случае правая сторона формулы (14) приобретает вид

Подстановкой соответствующих значений в формулы (15)-(19) получаем:

В качестве реакции декодер MPEG Surround получит инструкцию на введение некоторой декорреляции между правой фронтальной и правой панорамной позициями, но не допускать декорреляцию между левым фронтальным и левым панорамным позиционированием.

Для ТТТ-параметров MPEG Surround в режиме предсказания первым шагом должно быть формирование сокращенной матрицы аудиорендеринга А₃ размерностью 3×N для комбинированных каналов (l,r,qc), где q=1/√2. Это подразумевает, что А₃=D₃₆A, где матрица частичного понижающего микширования от 6 до 3 определяется с помощью

Веса неполного понижающего микширования w_p, р=1, 2, 3 корректируются таким образом, что энергия w_p(y_2p-1+y_2p) равна сумме энергий ||y_2p-1||²+||y_2p||² до предельного коэффициента. Все данные, необходимые для выведения матрицы частичного понижающего микширования, D₃₆ доступны в F. Затем формируется матрица предсказания С₃ размерностью 3×2 таким образом, что

Более предпочтительно такую матрицу выводить, предварительно принимая во внимание нормальные уравнения C₃(DED*)=A₃S.

Результат решения нормальных уравнений наилучшим образом удовлетворяет форме сигнала для (21), принимая во внимание модель ковариации объекта Е. Рекомендуется выполнить некоторую постобработку матрицы С₃, включая рядные коэффициенты, для полной или выборочной компенсации прогнозируемых потерь по каналам.

Чтобы проиллюстрировать и пояснить указанные выше шаги, необходимо продолжить рассмотрение примера аудиорендеринга определенных ранее шести каналов. При рассмотрении элементов матрицы F следует учитывать, что веса понижающего микширования представляют собой решения уравнений

, p=1, 2, 3,

что в частном примере приобретает вид,

Таким образом, что (w₁,w₂,w₃)=(1/√1,√3/5,1/√2).

Подстановка в (20) дает:

После чего решением системы уравнений С₃(DED*)=A₃ED* находим (переключаясь теперь на достижение конечной точности),

Матрица С₃ содержит лучшие веса для аппроксимации к желаемому результату аудиорендеринга объекта по комбинированным каналам (l,r,qc) в ходе нисходящего микширования. Этот общий тип матричной операции не может выполняться декодером MPEG Surround, который связан ограниченным пространством матриц ТТТ из-за использования всего двух параметров. Цель преобразователя понижающего микширования (результата понижающего микширования), относящегося к данному изобретению, стоит в предварительной обработке понижающего микширования объекта таким образом, чтобы комбинированный эффект от предварительной обработки и от матрицы ТТТ MPEG Surround соответствовал желаемому результату повышающего микширования (upmix), описанного с помощью С₃.

В MPEG Surround матрица ТТТ для предсказания (l,r,qc) на основании (l₀, r₀) параметризуется по трем параметрам (α,β,γ) через

Матрица G преобразователя понижающего микширования (результатов нисходящего микширования) согласно настоящему изобретению формируется выбором 7=1 и решением системы уравнений

Легко подтверждается, что D_TTTC_TTT=I, где I - единичная матрица два-на-два и

Таким образом, перемножение матриц слева на D_TTT обеих сторон (23) дает в результате

В общем случае G обратима, и (23) имеет единственное решение для C_TTT, удовлетворяющее условию C_TTTG_TTT=I.

Параметры ТТТ (α,β) определяются этим решением.

Для рассмотренного ранее частного примера можно легко подтвердить, что решения соответствуют

.

Следует обратить внимание на то, что основной объем потока стерео понижающего микширования при этой матрице преобразования меняет положение между левой и правой сторонами, отражая тот факт, что в процессе приведенного в примере аудиорендеринга объекты, проходящие по левому каналу понижающего микширования, перемещаются в правую часть акустической сцены, и наоборот. Подобное явление невозможно при использовании декодера MPEG Surround в режиме стерео.

При отсутствии возможности использования преобразователя понижающего микширования может быть выработан описываемый далее, близкий к оптимальному, метод. При работе в энергетическом режиме для параметров ТТТ MPEG Surround требуется распределение энергии объединенных каналов (α,β). Поэтому соответствующие параметры разности уровней каналов CLD могут быть выведены непосредственно из элементов F через

В данном случае целесообразно использовать только диагональную матрицу G с положительными ячейками для преобразователя понижающего микширования. Функционально важно достичь правильного распределения энергии каналов нисходящего микширования до начала восходящего микширования (upmix) ТТТ. При наличии матрицы понижающего микширования с шести каналов до двух D₂₆=D_TTTD₃₆ и определений из

просто выбирается

Дальнейшее наблюдение показывает, что подобный диагональный преобразователь понижающего микширования может быть пропущен на пути от объекта к транскодеру MPEG Surround и реализован введением в действие параметров произвольного усиления понижающего микширования (ADG) декодера MPEG Surround. В этом случае приращения в логарифмической области будут соответствовать ADG_i=10log₁₀(w_n/z_n) при i=1, 2.

Параметры объекта, в режиме предсказания (ОРС)

В режиме предсказания объекта доступные данные представляются тремя матрицами (D, С, А), где С - матрица N×2, содержащая N пар коэффициентов предсказания объекта ОРС. В силу относительности коэффициентов предсказания далее для оценки энергетических параметров MPEG Surround будет необходим доступ к показателям аппроксимации к матрице ковариации 2×2 понижающего микширования объекта,

Предпочтительнее, если эта информация поступит от кодера объекта как часть сведений о нисходящем микшировании, однако она может также быть оценена на транскодере, исходя из измерений принятого понижающего микширования, или косвенно выведена из (D, С) через анализ приближенной модели объекта. При наличии Z ковариация объекта может быть оценена путем введения модели предсказания Y=СХ, давая в результате

и все параметры ОТТ MPEG Surround и ТТТ энергетического режима могут быть оценены, исходя из Е, как и в случае с энергетическими параметрами объекта. Однако наибольшее преимущество применения коэффициентов предсказания объекта ОРС проявляется в сочетании с параметрами ТТТ MPEG Surround в режиме предсказания. В этом случае аппроксимация формы сигнала D₃₆Y≈А₃СХ сразу же дает редуцированную матрицу предсказания:

С₃=А₃С,

при опоре на которую остающиеся шаги к формированию параметров ТТТ (α,β) и преобразователя понижающего микширования аналогичны получению параметров объекта в энергетическом режиме. Фактически, шаги от формулы (22) к формуле (25) полностью идентичны.

Результирующая матрица G подается на преобразователь результатов понижающего микширования, и параметры ТТТ (α,β) пересылаются на декодер MPEG Surround.

Автономное применение преобразователя понижающего микширования для стерео понижающего микширования

Во всех описанных выше случаях преобразователь 501 объекта в стерео понижающего микширования на выходе предоставляет данные, приближенные к 5.1-канальному стерео понижающего микширования как результату аудиорендеринга исходных аудиообъектов. Этот стереоаудиорендеринг может быть выражен матрицей А₂ размерностью 2×N, определяемой как А₂=D₂₆A. Во многих реализациях это понижающее микширование представляет самостоятельный интерес, при этом внимание привлекает возможность прямого управления стереоаудиорендерингом А₂. В качестве наглядного примера опять рассмотрим случай стереофонограммы с наложением по центру панорамированной монофонической голосовой дорожки, закодированной по частному случаю методики, кратко изложенной при описании фигуры 8 с пояснениями в контексте формулы (12). Регулирование пользователем динамического диапазона голоса может осуществляться через аудиорендеринг согласно

где ν - регулирование соотношения голос-музыка. Структура матрицы преобразования результатов понижающего микширования основывается на выражении

Для параметров объекта, полученных на базе предсказания, следует лишь подставить приближение S≈CDS и получать матрицу преобразователя G=А₂С. Для параметров объекта на базе энергетических показателей следует решить нормальные уравнения

На фиг.9 представлена схема предпочтительного варианта осуществления кодера аудиообъектов в соответствии с одним из аспектов настоящего изобретения. Кодер аудиообъектов 101 в целом уже был описан при пояснении предшествующих графических схем. Кодер аудиообъектов, генерирующий закодированный сигнал объекта, использует множество аудиообъектов 90, обозначенных на фиг.9 как входные данные понижающего микшера 92 и генератора параметров объекта 94. Кроме того, кодер аудиообъектов 101 включает в себя генератор информации понижающего микширования 96, генерирующий параметры понижающего микширования 97, фиксируя порядок распределения множества аудиообъектов по крайней мере по двум каналам понижающего микширования, обозначенным на схеме как тракты 93, исходящие из понижающего микшера 92.

Генератор параметров объекта предназначен для генерирования параметров аудиообъектов 95, причем параметры объекта рассчитываются таким образом, что реконструкция аудиообъекта возможна с использованием параметров объекта и, по крайней мере, двух каналов понижающего микширования 93. При этом важно, что реконструкция осуществляется не со стороны кодера, а со стороны декодера. Однако полноценная реконструкция со стороны декодера возможна благодаря расчету параметров объектов 95, выполняемому генератором параметров объектов кодера.

Кроме того, кодер аудиообъектов 101 включает в себя выходной интерфейс 98 для генерирования закодированного сигнала аудиообъекта 99 с использованием данных понижающего микширования 97 и параметров объекта 95. В зависимости от назначения каналы понижающего микширования 93 могут, кроме того, использоваться и кодироваться как сигнал аудиообъекта. При этом могут возникать ситуации, при которых выходной интерфейс 98 генерирует кодированный сигнал аудиообъекта 99, который не содержит каналы понижающего микширования. Такая ситуация может возникнуть, когда какие-либо каналы понижающего микширования, которые должны быть использованы декодером, уже находятся в распоряжении декодера таким образом, что информация по понижающему микшированию и параметры аудиообъекта передаются по каналам понижающего микширования раздельно. Пользу из такой ситуации можно извлечь, когда каналы понижающего микширования объектов 93 могут быть куплены отдельно от параметров объектов и информации по нисходящему микшированию за меньшую сумму денег, а параметры объектов и информация по понижающему микшированию могут быть куплены за дополнительные средства с целью предоставления пользователю на стороне декодера возможности получить добавленную стоимость.

При отсутствии параметров объекта и информации по понижающему микшированию пользователь может преобразовывать каналы понижающего микширования в стерео- или многоканальный сигнал в зависимости от количества каналов, задействованных в понижающем микшировании. Естественно, пользователь может также сформировать монофонический сигнал простым добавлением, по крайней мере, двух переданных каналов понижающего микширования объектов.

Параметры объекта и данные понижающего микширования обеспечивают пользователю гибкость акустических преобразований и повышение качества и полноценности звучания акустических объектов, позволяя осуществлять многоцелевой аудиорендеринг для воспроизведения в дальнейшем аудиоматериала на звуковой аппаратуре любого типа - на стереосистемах, на многоканальных системах или даже на системах синтеза волнового поля. Если установки синтеза волнового поля еще не очень популярны, то многоканальные системы формата 5.1 или 7.1 все шире распространяются на потребительском рынке.

На фиг.10 представлена схема звукового синтезатора для генерирования выходных данных. Для осуществления своих функций аудиосинтезатор содержит синтезатор выходных данных 100. Синтезатор выходных данных принимает на входе данные понижающего микширования 97 и параметры аудиообъекта 95, а также, возможно, характеристики предполагаемого источника звука, такие как пространственное расположение источников звука или определяемый пользователем динамический диапазон конкретного источника в результате аудиорендеринга с использованием 101.

Синтезатор выходных данных 100 предназначен для генерирования выходных данных, необходимых для формирования множества выходных каналов с заданной конфигурацией выходного аудиосигнала, реконструирующих множество аудиообъектов. Наилучшим образом синтезатор выходных данных 100 реализует свои функциональные возможности, используя параметры понижающего микширования 97 и параметры аудиообъекта 95. Согласно пояснениям к фиг.11, данным ниже, выходные данные представляют собой многочисленные показатели различного назначения, включая специфический рендеринг выходных каналов или простое воссоздание исходных сигналов, или же перекодирование параметров в характеристики пространственного преобразования с формированием пространственной конфигурации для повышающего микширования без какого-либо аудиорендеринга выходных каналов, например для хранения или пересылки этих пространственных параметров.

Общая схема реализации данного изобретения отображена на фиг.14. Здесь блок кодера 140 включает в себя кодер аудиообъектов 101, который принимает на входе N аудиообъектов.

На выходе преимущественного варианта технического исполнения кодера аудиообъектов кроме информации по понижающему микшированию и параметров объекта, не показанных на фиг.14, формируется число К каналов понижающего микширования. В соответствии с настоящим изобретением количество каналов понижающего микширования должно быть больше или равно двум.

Каналы понижающего микширования передаются на блок декодера 142, в состав которого входит пространственный повышающий микшер 143. Пространственный повышающий микшер 143 может включать в себя аудиосинтезатор, являющийся частью данного изобретения, если аудиосинтезатор работает в режиме транскодера. Однако, если аудиосинтезатор 101, как показано на фиг.10, работает в режиме пространственного повышающего микширования, то в данной реализации и пространственный повышающий микшер 143, и аудиосинтезатор представляют собой одно и то же устройство. Пространственный повышающий микшер генерирует М выходных каналов для воспроизведения через М динамиков. Эти динамики размещаются в заранее определенных точках окружающего пространства и совокупно формируют выходной акустический сигнал заданной конфигурации. Выходной канал выходного аудиосигнала заданной конфигурации может рассматриваться как цифровой или аналоговый электродинамический акустический сигнал, транслируемый от выхода пространственного повышающего микшера 143 на вход громкоговорителя с заданным позиционированием в среде определенным образом сконфигурированного множества источников выходных аудиосигналов. В зависимости от конкретной ситуации, если выполняется стереоаудиорендеринг, количество М выходных каналов может быть равным двум. При выполнении многоканального аудиорендеринга число М выходных каналов будет больше двух.

Чаще всего распространена ситуация, при которой количество каналов понижающего микширования меньше числа выходных каналов из-за технических требований трактов передачи данных. В подобных случаях число М может быть значительно большим, чем число K, превышая его в два или даже более раз.

На фиг.14 дополнительно дано матричное представление функций, выполняемых блоком кодера и блоком декодера в рамках данного изобретения. В большинстве случаев обрабатываются блоки величин отсчетов. Поэтому, как видно из уравнения (2), аудиообъект отображается в виде ряда L величин отсчетов. Матрица S содержит N строк, соответствующих количеству объектов, и L столбцов, соответствующих количеству отсчетов. Матрица Е рассчитана по уравнению (5) и включает в себя N колонок и N строк. Матрица Е содержит параметры объекта, когда параметры объекта даются в энергетическом режиме. Для некоррелированных объектов матрица Е, как показано в контексте уравнения (6), имеет только основные диагональные элементы, каждый из которых отображает энергию аудиообъекта. Все недиагональные элементы, как было указано ранее, представляют корреляцию двух аудиообъектов, что особенно важно, когда несколько объектов представляют собой два канала стереофонического сигнала.

В зависимости от особенностей конструктивного исполнения уравнение (2) представляет сигнал временной области. После этого генерируется единый энергетический показатель для всего диапазона аудиообъектов. Однако предпочтительнее, если аудиообъекты обрабатываются частотно-временным преобразователем на основе, например, какого-либо алгоритма преобразования или банка фильтров, причем, в последнем случае, уравнение (2) справедливо для каждого поддиапазона, в результате чего обеспечивается формирование матрицы Е для каждого поддиапазона и, безусловно, для каждого интервала времени.

Матрица X каналов понижающего микширования имеет K строк и L столбцов и рассчитывается по уравнению (3). Как видно из уравнения (4), М выходных каналов рассчитаны, исходя из N объектов с использованием так называемой матрицы аудиорендеринга А для N объектов. В зависимости от ситуации N объектов могут быть реконструированы блоком декодера с использованием результатов понижающего микширования и параметров объекта, при этом аудиорендеринг может быть применен непосредственно к сигналам реконструируемых объектов.

С другой стороны, массив понижающего микширования может быть напрямую преобразован в сигналы выходных каналов без точного расчета сигналов источника. Матрица аудиорендеринга А, главным образом, индивидуально позиционирует источники в соответствии с заданной конфигурацией выходных аудиосигналов. Предположим, имеется шесть объектов и шесть выходных каналов, тогда каждый объект можно ассоциировать с каждым выходным каналом, и эта схема будет отражена матрицей аудиорендеринга. Однако при необходимости расположить все объекты внутри акустического пространства между двумя динамиками матрица аудиорендеринга А, отражая новое позиционирование, примет иной вид.

Матрица аудиорендеринга, или в более общем смысле, планируемая пространственная локализация объектов, как и предполагаемое соотношение динамических диапазонов источников звука, могут в целом быть рассчитаны кодером и переданы декодеру в виде так называемого описания сцены. Однако в других вариантах осуществления такое описание сцены может быть выполнено непосредственно пользователем с целью генерировать заданное им самим повышающее микширование для получения заданной им самим конфигурации выходных акустических сигналов. Таким образом, передача описания сцены не является обязательной процедурой, такое описание сцены может быть реализовано пользователем с достижением удовлетворения его собственных запросов. Пользователь может, например, по своему желанию локализовать некоторые аудиообъекты в местах, отличных от позиций, в которых эти объекты изначально находились и которые были для них сгенерированы. Возможны также случаи, когда аудиообъекты внедрены как таковые, без наличия "оригинала" и его месторасположения относительно других, реальных, объектов. В подобных ситуациях источники звука изначально позиционируются относительно друг друга пользователем.

Возвращаясь к фиг.9, рассмотрим понижающий микшер 92. Он предназначен для сокращения при микшировании фонограммы множества аудиообъектов до количества каналов понижающего микширования, причем количество аудиообъектов превосходит количество каналов понижающего микширования, при этом понижающий микшер сопряжен с генератором информации понижающего микширования так, что распределение множества аудиообъектов по множеству каналов понижающего микширования выполняется в соответствии с показателями понижающего микширования. Показатели понижающего микширования, генерируемые генератором информации понижающего микширования 96 на фиг.9, могут создаваться автоматически или управляться вручную. Рекомендуется данные понижающего микширования обрабатывать с меньшей разрешающей способностью, чем параметры объектов. Благодаря этому биты служебной информации могут быть сохранены без потери качества, поскольку фиксированные показатели понижающего микширования для отдельных частей фонограммы или одиночное медленно изменяющееся состояние понижающего микширования, не требующее обязательной частотной избирательности, оказываются вполне достаточными. Возможен вариант осуществления изобретения, при котором информация о понижающем микшировании представляет собой матрицу понижающего микширования, имеющую K строк и N столбцов.

Показатель в строке матрицы понижающего микширования имеет определенное значение, когда аудиообъект, соответствующий этому показателю в матрице понижающего микширования, присутствует в канале понижающего микширования, представленном в ряду матрицы понижающего микширования. Когда аудиообъект включен в более чем один канал понижающего микширования, конкретное значение имеют более одного ряда матрицы понижающего микширования. При этом предпочтенее, если квадратичные значения при сложении для отдельного аудиообъекта дают в сумме не более 1,0. Тем не менее, возможны и другие значения.

Кроме того, аудиообъекты могут быть введены в один или более каналов понижающего микширования с различными уровнями, и эти уровни могут быть обозначены внутри матрицы понижающего микширования весами, отличными от единицы и не составляющими в целом 1,0 для конкретного аудиообъекта.

Когда каналы понижающего микширования включаются в закодированный сигнал аудиообъекта, сгенерированный выходным интерфейсом 98, закодированный сигнал аудиообъекта может представлять собой, например, мультиплексный сигнал с временным уплотнением в определенном формате. И наоборот, закодированный сигнал аудиообъекта может быть любым сигналом, который позволяет с помощью блока декодера разделять параметры объектов 95, параметры понижающего микширования 97 и каналы понижающего микширования 93. В дополнение к этому, интерфейс вывода данных 98 может включать в себя кодеры параметров объектов, информацию по понижающему микшированию или каналы понижающего микширования. Кодеры для параметров объектов и для данных по понижающему микшированию могут быть дифференциальными кодерами и/или энтропийными кодерами, а кодеры для каналов понижающего микширования могут представлять собой моно- или стереоаудиокодеры, такие как кодеры МР3 или ААС (усовершенствованный аудиокодек). Все эти операции кодирования дают в результате дополнительное сжатие данных с целью последующего уменьшения скорости передачи данных, необходимой для кодированного сигнала аудиообъекта 99.

В зависимости от конкретного применения понижающего микшера 92 его функции предусматривают стереофоническое представление музыкального фона, по меньшей мере, по двум каналам понижающего микширования и введение в эти, по крайней мере, два канала понижающего микширования голосовой фонограммы в предварительно заданном соотношении. При такой версии реализации первый канал музыкального фона проходит по первому каналу понижающего микширования и второй канал музыкального фона - по второму каналу понижающего микширования. Результатом подобной компоновки является оптимальное стереофоническое воспроизведение музыкального фона на стереоаппаратуре. При этом пользователь имеет возможность позиционировать голосовую фонограмму между левым стереодинамиком и правым стереодинамиком. В качестве варианта первый и второй каналы музыкального фона могут проходить по одному каналу понижающего микширования, а голосовая фонограмма может быть проведена по другому каналу понижающего микширования.

Таким образом, исключая один канал понижающего микширования, можно полностью отделить голосовую фонограмму от фона музыкального сопровождения, что, в частности, отвечает требованиям караоке. Однако при этом качество воспроизведения каналов стереофонограммы музыкального сопровождения страдает из-за параметризации объекта, которая, безусловно, является методом сжатия с потерями.

Понижающий микшер 92 имеет конфигурацию, позволяющую суммировать во временной области отсчет за отсчетом. Для такого суммирования используются отсчеты аудиообъектов, предназначенных для понижающего микширования до одного канала понижающего микширования. Если аудиообъект вводится в канал понижающего микширования в определенном процентном отношении, перед суммированием отсчетов должно выполняться предварительное взвешивание. Кроме того, суммирование может выполняться и в частотной области, или в поддиапазоне, то есть в области, следующей за частотно-временным преобразованием. Таким образом, понижающее микширование может выполняться даже в области банка фильтров, когда частотно-временное преобразование осуществляется в банке фильтров, или в области преобразования, когда частотно-временное преобразование представляет собой FFT (быстрое преобразование Фурье, БПФ), MDCT (модифицированное дискретное косинусное преобразование, МДКП), или любое другое преобразование.

Согласно одному из аспектов настоящего изобретения генератор параметров объекта 94 генерирует энергетические параметры и дополнительно - параметры корреляции между двумя объектами, когда два аудиообъекта совокупно представляют стереосигнал, что видно из последующего уравнения (6). С другой стороны, параметры объекта являются параметрами режима предсказания.

На фиг.15 представлена блок-схема алгоритма или способа расчета прогностических параметров аудиообъекта. Как уже пояснялось относительно уравнений с (7) по (12), расчету подлежат некоторая статистическая информация относительно каналов понижающего микширования в матрице X и аудиообъекты в матрице S. В частности, блок 150 показывает первый шаг вычисления действительной части S·X* и действительной части X·X*. Эти действительные части - не просто числа, а матрицы, и эти матрицы в одном из вариантов реализации определяются через системы обозначений в уравнении (1) при рассмотрении реализации, следующей за уравнением (12). В большинстве случаев значения шага 150 могут быть рассчитаны с использованием данных, доступных в кодере аудиообъектов 101. Затем, как показано в шаге 152, рассчитывается матрица предсказания С. В частности, как принято на существующем уровне техники, необходимо решить систему уравнений таким образом, чтобы были получены все значения матрицы предсказания С размерностью N строк и K столбцов. Главным образом, весовые множители c_n,i, как в уравнении (8), рассчитаны так, что взвешенное линейное суммирование всех каналов понижающего микширования реконструирует соответствующий аудиообъект с возможно высоким качеством. Подобная матрица предсказания дает тем лучший результат реконструкции аудиообъектов, чем большее количество каналов понижающего микширования задействуется.

Далее более подробно будет рассмотрена фиг.11. В частности, на фиг.7 отображены несколько видов выходных данных, используемых для создания множества выходных каналов с заданной конфигурацией выходного сигнала. В строке 111 отображена ситуация, в которой выходными данными синтезатора выходных данных 100 являются реконструированные источники звука.

Входные данные, необходимые синтезатору выходных данных 100 для реконструирования аудиоисточников, включают в себя информацию по понижающему микшированию, каналы понижающего микширования и параметры аудиообъекта. При этом для дальнейшего воспроизведения реконструированных источников нет необходимости создавать конфигурацию выходного сигнала и предварительно позиционировать сами акустические источники внутри пространственной конфигурации выходного аудиосигнала. В режиме, обозначенном на фиг.11 номером 1, на выходе синтезатора выходных данных 100 будут формироваться реконструированные источники звуковых сигналов. В случае использования в качестве параметров аудиообъекта параметров предсказания синтезатор выходных данных 100 работает согласно определению, сформулированному в уравнении (7). Когда параметры объекта фиксируются в энергетическом режиме, для воссоздания исходных сигналов синтезатор выходных данных использует инверсию матрицы понижающего микширования и энергетическую матрицу.

В качестве альтернативы синтезатор выходных данных 100 может выполнять функции транскодера, как показано, например, в блоке 102 на фиг.1b. При работе синтезатора выходного сигнала в режиме транскодера, генерирующего параметры микшера пространственного звучания, требуются данные понижающего микширования, параметры аудиообъекта, конфигурация выходного сигнала и планируемая пространственная локализация источников звука. В частности, конфигурация выходного сигнала и планируемое пространственное позиционирование обеспечиваются с помощью матрицы аудиорендеринга А. При этом для генерирования параметров микшера пространственного звучания нет необходимости в наличии каналов понижающего микширования, более подробное объяснение чему будет дано в контексте фиг.12. В зависимости от ситуации параметры микшера пространственного звучания, сгенерированные синтезатором выходных данных 100, в дальнейшем могут быть напрямую использованы микшером пространственного звучания типа MPEG Surround для повышающего микширования каналов нисходящего микширования. При такой версии конструктивного исполнения корректировка каналов понижающего микширования объектов не обязательна, достаточно применение простой матрицы преобразования, имеющей только диагональные элементы, что описывалось в отношении уравнения (13). В формате 2 в строке 112 на фиг.11 синтезатор выходных данных 100 выдавает параметры микшера пространственного звучания и, предпочтительно, матрицу конверсии G согласно уравнению (13), включающую в себя показатели усиления, которые могут быть использованы как параметры произвольного усиления понижающего микширования (ADG) декодера MPEG-surround.

В формате 3 в строке 113 на фиг.11 выходные данные содержат параметры микшера пространственного звучания в виде конверсионной матрицы, такой как показана в контексте уравнения (25). В этом контексте синтезатор выходных данных 100 не обязательно должен фактически конвертировать понижающее микширование объекта в стерео понижающего микширования. Номером 4 в строке 114 на фиг.11 обозначен другой формат работы синтезатора выходных данных 100, представленный на фиг.10. В данном случае транскодер работает, как элемент 102 на фиг.1b, и выдает на выходе не только параметры микшера пространственного звучания, но и дополнительные преобразованные результаты понижающего микширования.

При этом отпадает необходимость вывода конверсионной матрицы G в дополнение к преобразованному понижающему микшированию. Вывода преобразованного понижающего микширования и параметров микшера пространственного звучания достаточно, что очевидно из фиг.1b.

Формат 5 характеризует еще одно приложение синтезатора выходных данных 100, показанное на фиг.10. В условиях, обозначенных в строке 115 на фиг.11, выходные данные, сгенерированные синтезатором выходных данных, не содержат никакие параметры микшера пространственного звучания, а только включают в себя, например, матрицу конверсии G согласно уравнению (35) или фактически содержат непосредственно выходные стереофонические сигналы, как показано в строке 115. При таком варианте реализации интерес представляет только стереоаудиорендеринг, а какие-либо параметры микшера пространственного звучания не требуются. Однако для генерирования стереовыхода требуется вся имеющаяся в наличии входная информация, как показано на фиг.11.

Еще один режим работы синтезатора выходных данных отображен в формате 6 в строке 116. В данном случае синтезатор выходных данных 100 генерирует многоканальный выход и является аналогом компонента 104 на фиг.1b. Для этого синтезатору выходных данных 100 необходима вся доступная входная информация, на основе которой он формирует многоканальный выходной сигнал, состоящий из более чем двух выходных каналов, подлежащих воспроизведению с использованием соответствующего количества акустических динамиков, локализованных в пространстве в соответствии с заданной конфигурацией выходного аудиосигнала. Таким многоканальным выходным сигналом может быть 5.1-канальный выход, 7.1-канальный выход или 3.0-канальный выход при наличии левого, центрального и правого громкоговорителей.

Далее дается ссылка на фиг.11 для наглядности пояснения примера вычисления нескольких параметров, снятых с декодера MPEG-surround, на основании принципа параметризации, представленного на фиг.7. Как уже сказано, фиг.7 иллюстрирует процесс параметризации с использованием блока декодера MPEG-Surround, начиная с ввода стерео понижающего микширования 70, содержащего левый I₀ и правый r₀ каналы понижающего микширования. Схематически оба канала понижающего микширования вводятся в так называемый блок "два-к-трем" 71. Блок "два-к-трем" управляется несколькими входными параметрами 72. Блок 71 генерирует три выходных канала 73а, 73b, 73с. Каждый выходной канал вводится в блок "один-к-двум". Это означает, что канал 73а вводится в блок 74а, канал 73b вводится в блок 74b, и канал 73с вводится в блок 74с. Каждый блок имеет два выходных канала. Блок 74а выводит левый фронтальный l_f и левый панорамный l_s каналы. Одновременно блок 74b выводит правый фронтальный r_f и правый панорамный r_s каналы. Вместе с тем блок 74с дает на выходе центральный канал с и канал оптимизации низких частот (lfe). Важно, что весь процесс повышающего микширования от каналов понижающего микширования 70 до выходных каналов осуществляется с использованием матричной операции, и древовидная структура, показанная на фиг.7, не обязательно должна реализовываться шаг-за-шагом, а может быть осуществлена через одну или через несколько операций над матрицами. Более того, промежуточные сигналы, обозначенные как 73а, 73b и 73с, не рассчитываются определенно каким-либо конкретным реализованным устройством, а показаны на фиг.7 только для наглядности. Вместе с тем, блоки 74а, 74b принимают некоторые остаточные сигналы res₁ ^OTT, res₂ ^OTT, которые могут использоваться для введения в выходные сигналы определенного момента случайности.

Как известно из описания декодера MPEG-surround, управление блоком 71 осуществляется с использованием или параметров предсказания СРС, или энергетических параметров CLDrrr. Для повышающего микширования с двух каналов на три канала требуются, по крайней мере, два параметра предсказания СРС1, СРС2 или, по крайней мере, два энергетических параметра и . Вместе с тем, в блок 71 может быть введен показатель степени корреляции, ICC_TTT, который, однако, является лишь вспомогательной характеристикой, не обязательной к использованию в одном и том же варианте технического решения изобретения. На фиг.12 и 13 представлен алгоритм и/или необходимые средства вычисления всего комплекса параметров объекта 95 на фиг.9 - CPC/CLD_TTT, CLD0, CLD1, ICC1, CLD2, ICC2, информация по понижающему микшированию 97 на фиг.9 и планируемое пространственное позиционирование источников звука, например, описание сцены 101, как отображено на фиг.10. Эти параметры представляют собой предварительно задаваемый формат вывода звукового сигнала для 5.1-канальной системы звукового окружения.

Естественно, что подобный специальный расчет параметров для данного конкретного технического решения может быть адаптирован к другим форматам вывода сигнала или разновидностям параметризации в соответствии с концепцией данного изобретения. Более того, последовательность шагов алгоритма или компоновка средств на фиг.12 и 13а, b даны лишь в качестве наглядного примера и могут претерпевать изменения в границах логики математических уравнений.

Шаг 120 обеспечивает функционирование матрицы аудиорендеринга А. Матрица аудиорендеринга позиционирует в акустическом пространстве каждый источник из множества источников с учетом предварительно заданной конфигурации выходного сигнала.

Шаг 121 обеспечивает образование матрицы частичного понижающего микширования D₃₆ в соответствии с уравнением (20). Эта матрица обеспечивает возможность нисходящего микширования с шести выходных каналов до трех каналов и имеет размерность 3×N. При необходимости генерировать большее число выходных каналов, чем при конфигурации 5.1, например, при создании 8-канального формата выходного сигнала (7.1), матрица, представленная в блоке 121, станет матрицей D₃₈.

Шаг 122 обеспечивает формирование редуцированной матрицы аудиорендеринга А₃ путем перемножения матрицы D₃₆ и полной матрицы аудиорендеринга, как определено в шаге 120.

Шаг 123 обеспечивает введение матрицы понижающего микширования D. Эта матрица понижающего микширования D может быть извлечена из закодированного сигнала аудиообъекта, когда матрица целиком содержится в этом сигнале. Или же матрица понижающего микширования может быть параметризирована, например, для введения специальных данных по понижающему микшированию и формирования матрицы понижающего микширования G.

Шаг 124 обеспечивает в дополнение к этому энергетическую матрицу объекта. Эта энергетическая матрица объекта отражена в параметрах объекта для N объектов и может быть выделена из импортируемых аудиообъектов или реконструирована с использованием определенного набора правил. Такой набор правил восстановления может включать в себя энтропийное декодирование и т.п.

Шаг 125 обеспечивает формирование "сокращенной" матрицы предсказания С₃. Значения этой матрицы могут быть рассчитаны путем решения системы линейных уравнений согласно шагу 125. В частности, элементы матрицы С₃ могут быть вычислены умножением обеих частей уравнения на инверсию (DED*).

Шаг 126 обеспечивает расчет конверсионной матрицы G. Конверсионная матрица G размерностью K*K сформирована согласно уравнению (25). Для решения уравнения на шаге 126 необходима специальная матрица D_TTT, формируемая на шаге 127. Пример для этой матрицы дан в уравнении (24), а определение можно получить, исходя из соответствующего уравнения для C_TTT, что описано уравнением (22). Таким образом, уравнение (22) определяет порядок действий на шаге 128. Шаг 129 определяет уравнения для расчета матрицы C_TTT. Как только на основании уравнения блока 129 будет определена матрица C_TTT, могут быть выведены параметры α, β и γ, являющиеся параметрами СРС (коэффициента предсказания канала). Рекомендуется задать γ значение, равное 1, после чего единственными входными параметрами СРС в блок 71 останутся α и β.

Остальные параметры, необходимые для алгоритма на фиг.7, представляют собой параметры, вводимые в блоки 74а, 74b и 74с. Расчет этих параметров описан в контексте фиг.13а. Шаг 130 обеспечивает формирование матрицы аудиорендеринга А. Размерность матрицы аудиорендеринга А составляет N строк для числа аудиообъектов и М столбцов для числа выходных каналов. Эта матрица аудиорендеринга содержит информацию, основанную на векторе сцены, когда вектор сцены используется. Чаще всего матрица аудиорендеринга включает в себя информацию об определенном местоположении в заданной конфигурации выходного сигнала. Если рассматривать матрицу аудиорендеринга А, например, в контексте ниже уравнения (19), становится понятно, каким образом может быть закодирована определенная локализация объектов в структуре матрицы аудиорендеринга. Естественно, могут использоваться и другие способы строго определенного позиционирования, такие как по значениям, не равным 1. Кроме того, используя значения, с одной стороны, меньше 1 и, с другой стороны, больше 1, можно управлять уровнем громкости конкретных аудиообъектов.

Возможен вариант конструктивного исполнения, при котором матрица аудиорендеринга формируется модулем декодера без использования какой-либо информации со стороны кодера.

Это дает возможность пользователю размещать аудиообъекты произвольно по своему желанию, без учета их взаимного пространственного расположения, зафиксированного данными кодера.

Возможна также версия технического решения, при которой относительное или абсолютное позиционирование акустических источников может быть закодировано модулем кодера и передано на декодер в виде определенного вектора сцены. Затем, на модуле декодера информация относительно локализации источников звука, предпочтительно не зависящая от заданных установок аудиорендеринга, обрабатывается с формированием в результате матрицы аудиорендеринга, отражающей пространственное расположение аудиоисточников, сориентированных на специфическую конфигурацию выходного аудиосигнала.

Шаг 131 обеспечивает формирование матрицы Е энергетических показателей объекта, которая уже рассматривалась в связи с шагом 124 на фиг.12. Эта матрица имеет размерность N×N и содержит параметры аудиообъекта. Один из вариантов осуществления изобретения предусматривает подобную матрицу энергетических параметров объекта для каждого поддиапазона и каждого модуля временных отсчетов или отсчетов поддиапазонов.

Шаг 132 обеспечивает расчет матрицы энергетических параметров выходного сигнала F.

F - матрица ковариации выходных каналов. Поскольку при этом выходные каналы сохраняют неопределенность, матрица F энергетических параметров выходного сигнала рассчитывается с использованием матрицы аудиорендеринга и матрицы энергетических характеристик. Эти матрицы формируются при выполнении шагов 130 и 131 с непосредственным доступом к матрицам в модуле декодера. После этого с применением специальных уравнений (15), (16), (17), (18) и (19) производится расчет показателей разности уровней каналов CLD₀, CLD₁, CLD₂ и характеристик межканальной когерентности ICC₁ и ICC₂ с целью получения параметров для блоков 74а, 74b, 74с. Важно, что пространственные характеристики рассчитываются путем комбинирования специфических элементов матрицы энергетических показателей выходного сигнала F.

По выполнении шага 133 все параметры для пространственного повышающего микшера, такого, например, какой схематично показан на фиг.7, подготовлены.

В описанных ранее реализациях изобретения параметры объекта представлялись как энергетические характеристики. Однако когда параметры объектов даются в прогностическом представлении, то есть в виде матрицы С предсказания объектов, показанной под пунктом 124а на фиг.12, для расчета сокращенной матрицы предсказания С₃ достаточно простого перемножения матриц согласно иллюстрации блока 125а и пояснениям в контексте уравнения (32). Матрица, использованная в блоке 125а, является той же самой матрицей A₃, которая упоминается в блоке 122 на фиг.12.

Когда матрица С предсказания объектов генерируется кодером аудиообъектов и передается на декодер, требуются дополнительные вычисления для подготовки параметров для блоков 74а, 74b, 74с. Эти вспомогательные шаги представлены на фиг.13b. Вновь матрица С предсказания объекта формируется как блок 124а на фиг.13b, что аналогично описанию блока 124а на фиг.12. Затем, как описывалось в связи с уравнением (31), матрица ковариации Z понижающего микширования объекта рассчитывается с использованием переданного понижающего микширования или генерируется и передается как дополнительная служебная информация. После передачи данных о матрице Z декодер не должен выполнять какие-либо расчеты энергетических параметров, ведущие, по существу, к возобновлению отсроченной обработки некоторых данных и увеличению совокупной загрузки блока декодера. Однако, когда эти вопросы не являются решающими для того или иного приложения, полоса частот пропускания может быть сохранена, и матрица ковариации Z понижающего микширования объекта также может быть рассчитана с использованием отсчетов понижающего микширования, которые, безусловно, доступны в модуле декодера. Как только действия шага 134 будут завершены и матрица ковариации понижающего микширования объекта будет готова, матрица Е энергетических параметров объекта может быть рассчитана согласно указаниям шага 135 с использованием матрицы предсказания С и матрицы ковариации понижающего микширования или матрицы Z "энергии понижающего микширования". По завершении шага 135 могут быть выполнены все описанные выше шаги, относящиеся к фиг.13а, а именно - 132, 133, с целью формирования всех необходимых параметров для блоков 74а, 74b, 74с на фиг.7.

На фиг.16 представлено еще одно конструктивное решение, реализующее только стереоаудиорендеринг. Стереоаудиорендеринг - это формирование выходного сигнала в соответствии с режимом номер 5 или строкой 115 фиг.11. Здесь синтезатору выходных данных 100 на фиг.10 не требуются какие-либо пространственные параметры восходящего микширования, главным образом ему необходима специальная конверсионная матрица G, чтобы преобразовать понижающее микширование объекта в функциональное и, безусловно, быстро настраиваемое и легко управляемое стерео понижающее микширование.

Шаг 160 на фиг.16 содержит в себе расчет матрицы частичного понижающего микширования с М до 2 каналов. При варианте с шестью выходными каналами матрица частичного понижающего микширования будет выполнять функции матрицы понижающего микширования с шести до двух каналов, сохраняя возможность применения других матриц понижающего микширования. Расчет такой матрицы частичного понижающего микширования может быть выполнен, например, путем выведения из матрицы частичного понижающего микширования D₃₆, как это имело место на шаге 121, и матрицы D_TTT, как это было сделано на ступени 127 фиг.12.

В дополнение к этому, на основании результата шага 160 генерируется матрица стереоаудиорендеринга А₂, и на шаге 161 представлена "большая" матрица аудиорендеринга А. Матрица аудиорендеринга А - это та же самая матрица, которая рассматривалась в связи с блоком 120 фиг.12.

Далее, на шаге 162, матрица стереоаудиорендеринга может быть параметрирована показателями локализации µ и κ. При задании и для µ, и для κ значения 1 получается уравнение (33), которое дает возможность варьировать динамический диапазон голоса, что уже описывалось в примере, приведенном в контексте уравнения (33). Вместе с тем, при изменении других параметров, таких как µ и κ, может варьироваться также расположение источников.

Затем, как показано на шаге 163, рассчитывается матрица конверсии G с применением уравнения (33).

Исправления, внесенные в описание

В частности, матрица (DED*) может быть рассчитана, инвертирована, и инвертированная матрица может быть умножена на правую часть уравнения блока 163. Безусловно, могут быть применены и другие способы решения уравнения блока 163. После того как получена матрица конверсии G, понижающее микширование объекта X может быть преобразовано путем умножения матрицы конвертирования и понижающего микширования объекта, что отображено в блоке 164. После этого может быть выполнен стереоаудиорендеринг конвертированного понижающего микширования X' с использованием двух акустических стереосистем. В зависимости от технического решения для µ, ν и κ могут быть заданы определенные значения для расчета матрицы конвертирования G. Или же конверсионная матрица G может быть рассчитана с использованием всех этих трех параметров в качестве переменных таким образом, что параметры будут задаваться в соответствии с требованиями пользователя после прохождения шага 163.

В предпочтительных вариантах реализации изобретения были найдены решения проблемы передачи нескольких самостоятельных аудиообъектов (с использованием многоканального понижающего микширования и вспомогательных управляющих данных, описывающих объектыи аудиорендеринга объектов для заданной воспроизводящей системы (конфигурации громкоговорителей)). Вводится способ преобразования относящихся к объекту управляющих данных в управляющие данные, совместимые с системой воспроизведения. Далее предлагаются соответствующие методы кодирования, основанные на алгоритме кодирования MPEG Surround.

В зависимости от технических требований конкретного варианта конструктивного исполнения вводимые методы и результирующий сигнал могут иметь форму реализации в аппаратных средствах или в программном обеспечении. Данная часть изобретения может быть осуществлена с использованием цифрового носителя информации, в частности диска или CD, предназначенного для хранения в электронно считываемом виде управляющих сигналов, совместимого с программируемой компьютерной системой таким образом, чтобы могли быть выполнены вводимые методы. Таким образом, в общем смысле настоящее изобретение представляет собой компьютерный программный продукт с присвоенным ему программным кодом, хранящимся на машинно-считываемом накопителе, и предназначенный для выполнения, по меньшей мере, одного из изобретенных методов при запуске данного программного продукта на компьютере. Формулируя иначе, изобретенные методы являются, таким образом, программой для компьютера, имеющей программный код, предназначенной для осуществления изобретенных методов при запуске данной программы на компьютере.

Другими словами, конструктивное исполнение предлагаемого изобретения представляет собой кодер аудиообъектов, предназначенный для генерирования закодированного сигнала аудиообъекта как одного из множества аудиообъектов, включающий в свою конструкцию генератор информации понижающего микширования для формирования информации понижающего микширования, отображающей порядок распределения множества аудиообъектов, по меньшей мере, между двумя каналами понижающего микширования;

генератор параметров аудиообъектов; и выходной интерфейс для генерирования кодированного сигнала аудиообъекта с использованием информации понижающего микширования и параметров объекта.

Как вариант, интерфейс вывода данных может генерировать закодированный аудиосигнал, дополнительно используя множество каналов понижающего микширования.

Кроме этого, или вместо этого, генератор параметров отличается тем, что способен формировать характеристики объекта с первичным временным и частотным разрешением, а в случаях, когда генератор информации понижающего микширования имеет функцию генерирования информации понижающего микширования с вторичным временным и частотным разрешением, вторичная разрешающая способность по времени и частоте ниже, чем первичная.

Кроме того, генератор информации понижающего микширования отличается тем, что способен генерировать информацию понижающего микширования таким образом, что параметры понижающего микширования равномерно охватывают весь диапазон частот аудиообъектов.

Кроме того, генератор информации понижающего микширования отличается тем, что способен генерировать информацию понижающего микширования таким образом, что информация понижающего микширования может содержать матрицу понижающего микширования, определяемую как:

X=DS,

где S - матрица, представляющая аудиообъекты и содержащая число строк, равное количеству аудиообъектов,

где D - матрица понижающего микширования, и

где X - матрица, представляющая множество каналов понижающего микширования и содержащая число строк, равное количеству каналов понижающего микширования.

Кроме того, информация о части объекта может иметь показатель, меньший чем 1 и больший чем 0.

Кроме того, понижающий микшер отличается тем, что способен формировать стереофоническое представление музыкального фона, по крайней мере, по двум каналам понижающего микширования и вводить голосовую фонограмму, по крайней мере, в эти два канала понижающего микширования в заданном соотношении.

Кроме того, понижающий микшер отличается тем, что способен выполнять сложение отсчетов сигналов для дальнейшего введения в канал понижающего микширования согласно данным по понижающему микшированию.

Кроме того, интерфейс вывода данных отличается тем, что способен выполнять сжатие данных по понижающему микшированию и параметров объекта перед генерированием закодированного сигнала аудиообъекта.

Кроме того, множество аудиообъектов может включать в себя стереофонический объект, представленный двумя аудиообъектами с некоторой ненулевой корреляцией и содержащий данные о группировании, сформированные генератором информации понижающего микширования, указывающие на эти два аудиообъекта, образующие данный стереофонический объект.

Кроме того, генератор параметров объекта отличается тем, что способен формировать параметры предсказания аудиообъектов, рассчитывая их таким образом, что взвешенное добавление каналов понижающего микширования к исходному объекту, регулируемому с помощью параметров предсказания, или просто к исходному объекту дает в результате аппроксимацию объекта-источника.

Кроме того, параметры предсказания могут формироваться на основе полосы частот, причем аудиообъекты охватывают весь частотный диапазон.

Кроме того, количество аудиообъектов может быть равным N, количество каналов понижающего микширования равно K, а число параметров предсказания объектов, вычисляемое генератором параметров объектов, равно или меньше чем N·K.

Кроме того, генератор параметров объекта отличается тем, что способен рассчитывать наибольшее число параметров предсказания объектов K·(N-K).

Кроме того, генератор параметров объекта может включать в себя повышающий микшер для увеличения числа каналов, полученных понижающим микшированием с использованием различных сочетаний контролируемых параметров предсказания объектов;

при этом входящий в состав повышающего микшера кодер аудиообъектов включает в свою конструкцию итеративный контроллер, предназначенный для обнаружения параметров предсказания объекта, подлежащих тестированию, в результате чего сводятся к минимуму отклонения сигнала, реконструируемого повышающим микшером, от соответствующего оригинального сигнала среди различных наборов контролируемых параметров предсказания объекта.

Кроме того, синтезатор выходных данных отличается тем, что способен определять матрицу конвертирования, используя информацию по понижающему микшированию, причем матрица преобразования рассчитывается таким образом, что, по крайней мере, частично меняется расположение каналов понижающего микширования, когда аудиообъект, содержащийся в первом канале нисходящего микширования, представляющий первую половину стереоплоскости, должен быть воспроизведен во второй половине стереоплоскости.

Кроме того, аудиосинтезатор может включать в себя аудиорендерер каналов, предназначенный для выполнения аудиорендеринга выходных аудиоканалов с получением акустического сигнала предварительно заданной конфигурации благодаря использованию пространственных параметров и, по меньшей мере, двух каналов понижающего микширования или конвертированных каналов понижающего микширования.

Кроме того, синтезатор выходных данных отличается тем, что способен формировать выходные аудиоканалы заданной конфигурации, дополнительно задействуя, по крайней мере, два канала понижающего микширования.

Кроме того, синтезатор выходных данных отличается тем, что способен вычислять фактические веса понижающего микширования для матрицы частичного понижающего микширования таким образом, что энергия взвешенной суммы двух каналов равна энергиям каналов в пределах ограничения.

Кроме того, веса понижающего микширования для матрицы частичного понижающего микширования могут быть определены следующим образом:

, p=1, 2, 3,

где w_p - вес понижающего микширования, р - целочисленная переменная индекса, f_j,i - ячейка матрицы энергетических характеристик, представляющая приближение матрицы ковариации выходных каналов, предварительно заданной конфигурации выходного сигнала.

Кроме того, синтезатор выходных данных отличается тем, что способен вычислять отдельные коэффициенты матрицы предсказания путем решения системы линейных уравнений.

Кроме того, синтезатор выходных данных отличается тем, что способен решать систему линейных уравнений, основываясь на:

C₃(DED*)=A₃ED*,

где С₃ - матрица предсказания "два-к-трем", D - матрица понижающего микширования, полученная, исходя из информации по нисходящему микшированию, Е - матрица энергетических характеристик, выведенная на основании исходных аудиообъектов, и А₃ - сокращенная матрица понижающего микширования, и где "*" обозначает комплексно сопряженную операцию.

Кроме того, параметры предсказания для повышающего микширования "два-к-трем" могут быть получены параметризацией матрицы предсказания таким образом, что матрица предсказания определяется всего двумя параметрами, и

при этом синтезатор выходных данных отличается тем, что способен предварительно обрабатывать, по меньшей мере, два канала понижающего микширования таким образом, что результат воздействия предварительной обработки и матрицы параметризированного предсказания соответствует желаемой матрице повышающего микширования.

Кроме того, параметризация матрицы предсказания может иметь следующий вид:

где индекс ТТТ - матрица параметризированного предсказания, a α, β и γ - коэффициенты.

Кроме того, матрица конверсии G понижающего микширования может быть рассчитана следующим образом:

G=D_TTTC₃

где С₃ - матрица предсказания "два-к-трем", где D_TTT и C_TTT равны I, где I - единичная матрица "два-к-двум", и где C_TTT основывается на:

где α, β, γ - постоянные коэффициенты.

Далее, прогностические параметры для повышающего микширования "два-к-трем" могут быть определены как α и β, при этом γ задан как 1.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитывать энергетические параметры для повышающего микширования "три-к-шести" с использованием матрицы энергетических характеристик F на основании:

YY*≈F=AEA*,

где A - матрица аудиорендеринга, E - матрица энергетических характеристик, сформированная на основании аудиообъектов-источников, Y - матрица выходного канала, а "*" служит указателем комплексно сопряженной операции.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитывать энергетические параметры, комбинируя элементы матрицы энергетических характеристик.

Кроме того, синтезатор выходных данных отличается тем, что способен вычислять энергетические параметры на основании приведенных ниже уравнений:

,

,

,

,

,

где φ - абсолютная величина φ(z)=|z| или оператор действительного значения φ(z)=Pe{z},

где CLD₀ - первый энергетический параметр разности уровней каналов, где CLD₁ - второй энергетический параметр разности уровней каналов, где CLD₂ - третий энергетический параметр разности уровней каналов, где ICC₁ - первый энергетический параметр межканальной когерентности, a ICC₂ - второй энергетический параметр межканальной когерентности, и где f_i,j - элементы матрицы энергетических характеристик F в позициях i, j в этой матрице.

Кроме того, первая группа параметров может содержать энергетические параметры, и при этом синтезатор выходных данных отличается тем, что способен формировать энергетические параметры, комбинируя элементы матрицы энергетических характеристик F.

Кроме того, энергетические параметры могут быть получены, исходя из того, что:

,

,

где - первый энергетический параметр первой группы, и где - второй энергетический параметр первой группы параметров.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитывать весовые коэффициенты для взвешивания каналов понижающего микширования, весовые коэффициенты для управления коэффициентами произвольного усиления понижающего микширования (ADG) пространственного декодера.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитывать весовые коэффициенты, исходя из:

Z=DED*,

W=D₂₆ED*₂₆,

,

где D - матрица понижающего микширования, Е - матрица энергетических характеристик, полученная на основании аудиообъектов-источников, где W - промежуточная матрица, где D₂₆ - матрица частичного понижающего микширования для сокращения числа каналов с 6 до 2 с заданной конфигурацией выходного сигнала, и где G - матрица преобразования, содержащая коэффициенты произвольного усиления понижающего микширования пространственного декодера.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитать матрицу энергетических характеристик, исходя из:

E=CZC*,

где Е - матрица энергетических характеристик, С - матрица параметра предсказания, и Z - матрица ковариации, по меньшей мере, двух каналов нисходящего микширования.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитать матрицу конвертирования, исходя из:

G=A₂·C,

где G - матрица преобразования, А₂ - неполная матрица аудиорендеринга, и С - матрица параметров предсказания.

Кроме того, синтезатор выходных данных отличается тем, что способен рассчитать матрицу конвертирования, исходя из:

G(DED*)=A₂ED*,

где G - матрица энергетических характеристик, сформированная на базе источника звука на фонограмме, D - матрица понижающего микширования, полученная на основании информации по понижающему микшированию, А₂ - редуцированная матрица аудиорендеринга, а "*" служит указателем полной сопряженной операции.

Кроме того, параметризованная матрица стереоаудиорендеринга А₂ может быть сформирована следующим образом:

где µ, ν и κ - действительные параметры, задаваемые в соответствии с расположением и динамическим диапазоном одного или большего количества исходных аудиообъектов.

Изобретение относится к декодированию множественных объектов путем преобразования закодированного многообъектного сигнала на базе доступного многоканального понижающего микширования и вспомогательных управляющих данных. Техническим результатом является обеспечение осуществления повышающего микширования по всем каналам понижающего микширования. Кодер аудиообъектов, предназначенный для генерирования закодированных сигналов объектов с использованием множества аудиообъектов, который включает в себя генератор данных по нисходящему микшированию, формирующий параметры нисходящего микширования, содержащие указания на порядок распределения множества аудиообъектов, по меньшей мере, по двум каналам понижающего микширования (даунмикс-каналам), генератор параметров аудиообъектов, формирующий параметры аудиообъекта, и выходной интерфейс, обрабатывающий импортированный выходной аудиосигнал с использованием данных по понижающему микшированию и параметры объекта. Аудиосинтезатор, использующий данные понижающего микширования для генерирования выходных данных, применимых для создания множества выходных каналов для воспроизведения аудиосигнала заданной конфигурации. 7 н. и 6 з.п. ф-лы, 18 ил.

1. Аудиосинтезатор (104), предназначенный для генерирования выходных данных с использованием закодированного сигнала аудиообъекта (95, 97), характеризующийся тем, что включает в себя синтезатор выходных данных (100), генерирующий на выходе параметры, применимые для представления множества выходных каналов с предварительно заданной конфигурацией выходного аудиосигнала, отображающего множество аудиообъектов, при этом синтезатор выходных данных предусматривает возможность использования информации понижающего микширования, содержащей указания на распределение множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования, и параметр объекта для аудиообъектов, причем синтезатор выходных данных (100) перекодирует (502) параметры аудиообъекта в пространственные параметры для предварительно заданной конфигурации выходного аудиосигнала, дополнительно используя заданное расположение (А) аудиообъектов (90) в конфигурации выходного аудиосигнала.

2. Аудиосинтезатор по п.1, характеризующийся тем, что синтезатор выходных данных (100) предназначен для преобразования множества каналов понижающего микширования в понижающее стереомикширование для предварительно заданной конфигурации выходного аудиосигнала, с использованием матрицы преобразования (G), сформированной, исходя из заданного пространственного расположения аудиообъектов (А).

3. Аудиосинтезатор по п.1, характеризующийся тем, что пространственные параметры включают в себя первую группу параметров для повышающего микширования "два-к-трем" и вторую группу энергетических параметров для повышающего микширования "три-к-шести", а синтезатор выходных данных (100) предусматривает возможность вычисления параметров предсказания для матрицы предсказания "два-к-трем" с использованием матрицы представления (А) согласно заданному расположению аудиообъектов (90), матрицы частичного понижающего микширования (D₃₆), описывающую понижающее микширование выходных каналов до трех каналов, генерируемых в ходе гипотетической операции повышающего микширования "два-к-трем", и матрицы понижающего микширования (D).

4. Аудиосинтезатор по п.3, характеризующийся тем, что в нем параметры объекта представляют собой параметры предсказания объекта, и в составе которого синтезатор выходных данных (100) предварительного расчетывает матрицу энергии (Е) с использованием параметров предсказания объекта (С), информации понижающего микширования (D) и энергетических показателей (Z), соответствующих каналам понижающего микширования.

5. Аудиосинтезатор по п.1, характеризующийся тем, что синтезатор выходных данных (100) формирует (165) два стереоканала для формирования конфигурации выходного стереосигнала путем расчета параметризованной матрицы стереопредставления (А₂) и матрицы преобразования (G) в зависимости от параметризованной матрицы стереопредставления (А₂).

6. Способ синтезирования звука, предусматривающий генерирование выходных данных с использованием закодированного сигнала аудиообъекта (95, 97), характеризующийся тем, что включает генерирование выходных данных для формирования множества выходных каналов с заданной конфигурацией выходного аудиосигнала, отображающей множество аудиообъектов (90), при этом используется информация понижающего микширования, указывающая порядок распределения множества аудиообъектов, по крайней мере, по двум каналам понижающего микширования и параметры аудиообъекта для аудиообъектов, причем параметры аудиообъекта перекодируют (502) в пространственные параметры расчетной конфигурации с дополнительным учетом данных заданного расположения (А) аудиообъектов (90) в конфигурации выходного аудиосигнала.

7. Кодер аудиообъектов (101), предназначенный для генерирования закодированных сигналов аудиообъектов множества аудиообъектов (90), характеризующийся тем, что он включает в себя генератор информации понижающего микширования (96) для вырабатывания информации понижающего микширования (97), отражающей порядок распределения множества аудиообъектов, по меньшей мере, между двумя каналами понижающего микширования; причем генератор информации понижающего микширования (96) сконфигурирован с возможностью генерирования (150) энергетических характеристик (XX*) и данных корреляции (SX*), отражающих мощностные характеристики и корреляционные характеристики этих, по меньшей мере, двух каналов понижающего микширования (93); генератор параметров аудиообъекта (94); и выходной интерфейс (98), предназначенный для вывода сгенерированного закодированного сигнала аудиообъекта (99), при этом закодированный сигнал аудиообъекта содержит информацию понижающего микширования, информацию о мощности, информацию о корреляции и параметры объекта.

8. Кодер аудиообъектов по п.7, характеризующийся тем, что он дополнительно включает понижающий микшер (92) для понижающего микширования множества аудиообъектов по множеству каналов понижающего микширования, где количество аудиообъектов превосходит число каналов понижающего микширования и где понижающий микшер (92) соединен с генератором информации понижающего микширования таким образом, что распределение множества аудиообъектов по множеству каналов понижающего микширования выполняется в соответствии с информацией понижающего микширования.

9. Кодер аудиообъектов по п.7, характеризующийся тем, что генератор информации понижающего микширования (96) рассчитывает параметры понижающего микширования таким образом, что она содержит информацию: о аудиообъекте, который полностью или частично распределен по одному или более из множества каналов понижающего микширования, и при распределении аудиообъекта по более, чем одному каналу понижающего микширования, о части аудиообъектов, распределенных по одному каналу понижающего микширования из нескольких каналов понижающего микширования.

10. Способ кодирования аудиообъектов (101) с формированием закодированного сигнала множества аудиообъектов, характеризующийся тем, что включает генерирование информации понижающего микширования (97), содержащей указания по распределению множества аудиообъектов (90), по меньшей мере, по двум каналам понижающего микширования, выработку (150) энергетических показателей (XX*) и данных корреляции (SX*), отражающих мощностные характеристики и корреляционные характеристики этих, по меньшей мере, двух каналов понижающего микширования; выработке параметров аудиообъектов (94); и выдаче закодированного сигнала аудиообъекта (99), при этом закодированный сигнал аудиообъекта содержит, информацию о мощности, информацию о корреляции, информацию понижающего микширования и параметры объекта.

11. Считываемый компьютером носитель данных с сохраненным на нем закодированным сигналом аудиообъекта, характеризующийся тем, что содержит информацию понижающего микширования, определяющую порядок распределения множества аудиообъектов, по меньшей мере, по двум каналам понижающего микширования, энергетические показатели (XX*) и данные корреляции (SX*), отражающие мощностные характеристики и корреляционные характеристики этих, по меньшей мере, двух каналов понижающего микширования, и параметры объектов, позволяющие в сочетании с, по крайней мере, этими двумя каналами низведения воссоздать аудиообъекты.

12. Машиночитаемый носитель с сохраненной на нем компьютерной программой для осуществления способа по п.6.

13. Машиночитаемый носитель с сохраненной на нем компьютерной программой для осуществления способа по п.10.