СПОСОБ И УСТРОЙСТВО ДЛЯ ДЕКОДИРОВАНИЯ АУДИОСИГНАЛА Российский патент 2010 года по МПК G10L19/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к обработке аудиосигналов, а более конкретно, к устройству декодирования аудиосигнала и способу для этого. Хотя настоящее изобретение применимо для широкого диапазона применений, оно конкретно применимо для декодирования аудиосигналов.

Уровень техники

В общем, когда кодер кодирует аудиосигнал, в случае если аудиосигнал, который должен быть закодирован, является многоканальным аудиосигналом, многоканальный аудиосигнал через понижающее микширование преобразуется на два канала или один канал, чтобы сформировать аудиосигнал понижающего микширования, и из многоканального аудиосигнала извлекается пространственная информация. Пространственная информация - это информация, используемая при повышающем микшировании многоканального аудиосигнала из аудиосигнала понижающего микширования. Между тем, кодер выполняет понижающее микширование многоканального аудиосигнала согласно заранее определенной древовидной конфигурации. В этом случае заранее определенной древовидной конфигурацией может быть структура(ы), согласованная между декодером аудиосигнала и кодером аудиосигнала. В частности, если идентификационная информация, указывающая тип одной из заранее определенных древовидных конфигураций, присутствует, декодер может знать структуру аудиосигнала, для которого выполняется повышающее микширование, к примеру число каналов, позицию каждого из каналов и т.д.

Таким образом, если кодер выполняет понижающее микширование многоканального сигнала согласно заранее определенной древовидной конфигурации, пространственная информация, извлекаемая в этом процессе, также зависит от структуры. Таким образом, в случае если декодер выполняет повышающее микширование аудиосигнала понижающего микширования с помощью пространственной информации, зависимой от структуры, то формируется многоканальный аудиосигнал согласно упомянутой структуре. То есть в случае, если декодер использует пространственную информацию, сформированную кодером, как есть, повышающее микширование выполняется согласно структуре, согласованной только между кодером и декодером. Таким образом, невозможно сформировать аудиосигнал выходного канала, если не следовать согласованной структуре. Например, невозможно выполнить повышающее микширование сигнала в аудиосигнал, имеющий номер канала, отличающийся (меньше или больше) от числа каналов, определенных согласно согласованной структуре.

Сущность изобретения

Следовательно, настоящее изобретение направлено на устройство декодирования аудиосигнала и способ для этого, которые во многом устраняют одну или более проблем, обусловленных ограничениями и недостатками предшествующего уровня техники.

Цель настоящего изобретения заключается в том, чтобы предоставить устройство декодирования аудиосигнала и способ для этого, посредством которых аудиосигнал может быть декодирован так, чтобы иметь структуру, отличающуюся от определенной кодером.

Другая цель настоящего изобретения заключается в том, чтобы предоставить устройство декодирования аудиосигнала и способ для этого, посредством которых аудиосигнал может быть декодирован с помощью пространственной информации, сформированной из модификации предыдущей пространственной информации, сформированной из кодирования.

Дополнительные признаки и преимущества изобретения будут изложены в последующем описании и частично должны явствовать из описания или могут быть изучены при практическом использовании изобретения. Цели и другие преимущества изобретения должны быть реализованы и достигнуты посредством структуры, в частности, раскрытой в письменном описании и формуле изобретения, а также на прилагаемых чертежах.

Чтобы достичь этих и других преимуществ в соответствии с назначением настоящего изобретения, осуществленным и подробно описанным в данном документе, способ декодирования аудиосигнала согласно настоящему изобретению включает в себя прием аудиосигнала и пространственной информации, идентификацию типа модифицированной пространственной информации, формирование модифицированной пространственной информации с использованием пространственной информации и декодирование аудиосигнала с использованием модифицированной пространственной информации, при этом тип модифицированной пространственной информации включает в себя, по меньшей мере, одно из частичной пространственной информации, комбинированной пространственной информации и расширенной пространственной информации.

Чтобы дополнительно достичь этих и других преимуществ в соответствии с назначением настоящего изобретения, способ декодирования аудиосигнала включает в себя прием пространственной информации, формирование комбинированной пространственной информации с использованием пространственной информации и декодирование аудиосигнала с использованием комбинированной пространственной информации, при этом комбинированная пространственная информация формируется посредством комбинирования пространственных параметров, включенных в пространственную информацию.

Чтобы дополнительно достичь этих и других преимуществ в соответствии с назначением настоящего изобретения, способ декодирования аудиосигнала включает в себя прием пространственной информации, включающей в себя, по меньшей мере, одну пространственную информацию, и информации пространственной фильтрации, включающей в себя, по меньшей мере, один параметр фильтрации, формирование комбинированной пространственной информации, имеющей эффект объемного звучания, посредством комбинирования пространственного параметра и параметра фильтрации и преобразование аудиосигнала в виртуальный сигнал объемного звучания с использованием комбинированной пространственной информации.

Чтобы дополнительно достичь этих и других преимуществ в соответствии с назначением настоящего изобретения, способ декодирования аудиосигнала включает в себя прием аудиосигнала, прием пространственной информации, включающей в себя информацию древовидной конфигурации и пространственные параметры, формирование модифицированной пространственной информации посредством добавления расширенной пространственной информации к пространственной информации и повышающее микширование аудиосигнала с использованием модифицированной пространственной информации, которое содержит включение преобразования аудиосигнала в первичный подвергнутый повышающему микшированию аудиосигнал на основе пространственной информации и преобразования первичного подвергнутого повышающему микшированию аудиосигнала во вторичный подвергнутый повышающему микшированию аудиосигнал на основе расширенной пространственной информации.

Следует понимать, что вышеприведенное общее описание и последующее подробное описание являются примерными и пояснительными и предназначены для того, чтобы предоставить дополнительное пояснение изобретения согласно формуле изобретения.

Краткое описание чертежей

Прилагаемые чертежи, которые включены для того, чтобы обеспечить дополнительное понимание изобретения, и включены, и составляют часть данного подробного описания, иллюстрируют варианты осуществления изобретения и вместе с описанием служат, чтобы объяснять принципы изобретения.

На чертежах:

фиг.1 - блок-схема устройства кодирования аудиосигналов и устройства декодирования аудиосигналов согласно настоящему изобретению;

фиг.2 - схематичное представление примера применения частичной пространственной информации;

фиг.3 - схематичное представление другого примера применения частичной пространственной информации;

фиг.4 - схематичное представление дополнительного примера применения частичной пространственной информации;

фиг.5 - схематичное представление примера применения комбинированной пространственной информации;

фиг.6 - схематичное представление другого примера применения комбинированной пространственной информации;

фиг.7 - схема путей звука от громкоговорителей к слушателю, на которой показаны позиции громкоговорителей;

фиг.8 - схема для пояснения сигнала, выводимого из каждой позиции громкоговорителя для эффекта объемного звучания;

фиг.9 - концептуальная схема для пояснения способа формирования 3-канального сигнала с помощью 5-канального сигнала;

фиг.10 - схема примера конфигурирования расширенных каналов на основе конфигурационной информации расширенных каналов;

фиг.11 - схема для пояснения конфигурации расширенных каналов, показанной на фиг.10, и взаимосвязь с расширенным пространственным параметром;

фиг.12 - схема позиций многоканального аудиосигнала для 5.1-каналов и аудиосигнала выходного канала для 6.1-каналов;

фиг.13 - схема для пояснения взаимосвязи между позицией виртуального источника звука и разностью уровней между двумя каналами;

фиг.14 - схема для пояснения уровней двух задних каналов и уровня заднего центрального канала;

Фиг.15 - схема для пояснения позиции многоканального аудиосигнала для 5.1-каналов и позиции аудиосигнала выходного канала для 7.1-каналов;

фиг.16 - схема для пояснения уровней двух левых каналов и уровня левого переднего бокового канала (Lfs); и

фиг.17 - это схема для пояснения уровней трех передних каналов и уровня левого переднего бокового канала (Lfs).

Оптимальный режим осуществления изобретения

Далее приводится подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах.

Общие термины, глобально используемые в настоящее время, выбираются в качестве терминов в настоящем изобретении. Кроме того, предусмотрены термины, произвольно выбранные заявителем для специальных случаев, подробное значение которых поясняется детально в описании предпочтительных вариантов осуществления настоящего изобретения. Следовательно, настоящее изобретение следует понимать не с названиями терминов, а со значениями терминов.

Во-первых, настоящее изобретение формирует модифицированную пространственную информацию с помощью пространственной информации, а затем декодирует аудиосигнал с помощью сформированной модифицированной пространственной информации. В этом случае пространственная информация - это пространственная информация, извлеченная в ходе понижающего микширования согласно заранее определенной древовидной конфигурации, а модифицированная пространственная информация - это пространственная информация, вновь сформированная с помощью пространственной информации.

Настоящее изобретение подробно поясняется со ссылкой на фиг.1 следующим образом.

Фиг.1 - это блок-схема устройства кодирования аудиосигналов и устройства декодирования аудиосигналов согласно варианту осуществления настоящего изобретения.

Ссылаясь на фиг.1, устройство 100 кодирования аудиосигнала (далее сокращенно устройство кодирования) включает в себя блок 110 понижающего микширования и блок 120 извлечения пространственной информации. Помимо этого, устройство 200 декодирования аудиосигнала (далее сокращенно устройство декодирования) включает в себя блок 210 формирования выходного сигнала и блок 220 формирования модифицированной пространственной информации.

Блок 110 понижающего микширования устройства 100 кодирования формирует аудиосигнал d понижающего микширования посредством понижающего микширования многоканального аудиосигнала IN_M. Аудиосигналом d понижающего микширования может быть сигнал, сформированный из понижающего микширования многоканального аудиосигнала IN_M посредством блока 110 понижающего микширования, или произвольный аудиосигнал понижающего микширования, произвольно сформированный пользователем из понижающего микширования многоканального аудиосигнала IN_M.

Блок 120 извлечения пространственной информации устройства 100 кодирования извлекает пространственную информацию s из многоканального аудиосигнала IN_M. В этом случае пространственная информация - это информация, требуемая для того, чтобы выполнить повышающее или понижающее микширование аудиосигнала d в многоканальный аудиосигнал IN_M.

Пространственной информацией может быть информация, извлеченная в ходе понижающего микширования многоканального аудиосигнала IN_M согласно заранее определенной древовидной конфигурации. В этом случае древовидная конфигурация может соответствовать древовидной(ым) конфигурации(ям), согласованной(ым) между устройствами декодирования и кодирования аудиосигналов, которая не ограничивается настоящим изобретением.

Помимо этого, пространственная информация может включать в себя информацию древовидной конфигурации, индикатор, пространственные параметры и т.п. Информация древовидной конфигурации - это информация типа древовидной конфигурации. Таким образом, число каналов в многоканальной конфигурации, последовательность понижающего микширования на канал и т.п. варьируются согласно типу древовидной конфигурации. Индикатор - это информация, указывающая то, присутствует расширенная пространственная информация или нет, и т.п. Помимо этого, пространственные параметры могут включать в себя разность канальных уровней (далее сокращенно CLD) в ходе понижающего микширования, по меньшей мере, двух каналов в самое большее два канала, межканальную корреляцию или когерентность (далее сокращенно ICC), коэффициенты прогнозирования каналов (далее сокращенно CPC) и т.п.

Блок 120 извлечения пространственной информации может дополнительно извлекать расширенную пространственную информацию, а также пространственную информацию. В этом случае расширенная пространственная информация - это информация, требуемая для того, чтобы дополнительно расширять аудиосигнал d понижающего микширования, подвергнутый повышающему микшированию с помощью пространственного параметра. Помимо этого, расширенная пространственная информация может включать в себя конфигурационную информацию расширенных каналов и расширенные пространственные параметры. Расширенная пространственная информация, которая поясняется ниже, не ограничена информацией, извлекаемой посредством блока 120 извлечения пространственной информации.

Помимо этого, устройство 100 кодирования может дополнительно включать в себя блок кодирования с помощью базового кодека (не показан на чертеже), формирующий поток битов аудио, полученный через понижающее микширование, посредством декодирования аудиосигнала понижающего микширования d, блок кодирования пространственной информации (не показан на чертеже), формирующий поток битов пространственной информации посредством кодирования пространственной информации s, и блок мультиплексирования (не показан на чертеже), формирующий поток битов аудиосигнала посредством мультиплексирования потока битов аудио, полученного через понижающее микширование, и потока битов пространственной информации, на который настоящее изобретение не накладывает ограничений.

Кроме того, устройство 200 декодирования дополнительно может включать в себя блок демультиплексирования (не показан на чертеже), разделяющий поток битов аудиосигнала на поток битов аудио, полученный через понижающее микширование, и поток битов пространственной информации, блок декодирования с помощью базового кодека (не показан на чертеже), декодирующий поток битов аудио, полученный через понижающее микширование, и блок декодирования пространственной информации (не показан на чертеже), декодирующий поток битов пространственной информации, на который настоящее изобретение не накладывает ограничений.

Блок 220 формирования модифицированной пространственной информации устройства 200 декодирования идентифицирует тип модифицированной пространственной информации с помощью пространственной информации и затем формирует модифицированную пространственную информацию s' типа, который идентифицируется на основе пространственной информации. В этом случае пространственной информацией может быть пространственная информация s, переносимая из устройства 100 кодирования. Помимо этого, модифицированная пространственная информация - это информация, которая вновь сформирована с помощью пространственной информации.

Могут существовать различные типы модифицированной пространственной информации. Кроме того, различные типы модифицированной пространственной информации могут включать в себя, по меньшей мере, одно из: a) частичной пространственной информации, b) комбинированной пространственной информации и c) расширенной пространственной информации, на которые настоящее изобретение не накладывает ограничений.

Частичная пространственная информация включает в себя частичные пространственные параметры, комбинированная пространственная информация формируется из комбинирования пространственных параметров, а расширенная пространственная информация формируется с помощью пространственной информации и расширенной пространственной информации.

Блок 220 формирования модифицированной пространственной информации формирует модифицированную пространственную информацию способом, который может варьироваться согласно типу модифицированной пространственной информации. Помимо этого, способ формирования модифицированной пространственной информации по каждому типу модифицированной пространственной информации подробнее поясняется ниже.

Опорные данные для определения типа модифицированной пространственной информации могут соответствовать древовидной конфигурационной информации в пространственной информации, индикатору в пространственной информации, информации выходного канала и т.п. Древовидная конфигурационная информация и индикатор могут быть включены в пространственную информацию s от устройства кодирования. Информация выходного канала - это информация для громкоговорителей, взаимодействующих с устройством 200 декодирования, и она может включать в себя число выходных каналов, информацию позиции для каждого выходного канала и т.п. Информация выходного канала может быть введена заранее производителем или введена пользователем.

Ниже подробно поясняется способ определения типа модифицированной пространственной информации с помощью этих типов информации.

Блок 210 формирования выходного канала устройства 200 декодирования формирует аудиосигнал OUT_N выходного канала из аудиосигнала d понижающего микширования с помощью модифицированной пространственной информации s'.

Информация 230 пространственного фильтра - это информация для путей звука, и она предоставляется в блок 220 формирования модифицированной пространственной информации. В случае если блок 220 формирования модифицированной пространственной информации формирует комбинированную пространственную информацию, имеющую эффект объемного звучания, может быть использована информация пространственной фильтрации.

Далее поясняется способ декодирования аудиосигнала посредством формирования модифицированной пространственной информации по типу модифицированной пространственной информации в порядке (1) частичная пространственная информация, (2) комбинированная пространственная информация и (3) более детализированная пространственная информация.

(1) Частичная пространственная информация

Поскольку пространственные параметры вычисляются в ходе понижающего микширования многоканального аудиосигнала согласно заранее определенной древовидной конфигурации, исходный многоканальный аудиосигнал до понижающего микширования может быть восстановлен, если аудиосигнал понижающего микширования декодируется с помощью нетронутых пространственных параметров. В случае попытки сделать число N каналов аудиосигнала выходного канала меньше числа M каналов многоканального аудиосигнала, можно декодировать аудиосигнал понижающего микширования посредством частичного применения пространственных параметров.

Этот способ может варьироваться согласно порядку и способу понижающего микширования многоканального аудиосигнала в устройстве кодирования, т.е. типу древовидной конфигурации. Также тип древовидной конфигурации может быть запрошен с помощью древовидной конфигурационной информации из пространственной информации. Помимо этого, данный способ может варьироваться согласно числу выходных каналов. Более того, можно запрашивать число выходных каналов с помощью информации выходных каналов.

Затем, в случае если число каналов аудиосигнала выходного канала меньше числа каналов многоканального аудиосигнала, способ декодирования аудиосигнала посредством применения частичной пространственной информации, включающей в себя частичные пространственные параметры, поясняется посредством рассмотрения различных древовидных конфигураций в качестве примеров в нижеследующем описании.

(1)-1. Первый пример древовидной конфигурации (древовидная конфигурация 5-2-5)

Фиг.2 - это схематичное представление примера применения частичной пространственной информации.

В левой части фиг.2 показаны последовательность понижающего микширования многоканального аудиосигнала, имеющего число каналов 6 (левый передний канал L, левый канал объемного звучания L_s, центральный канал C, низкочастотный канал LFE, правый передний канал R, правый канал объемного звучания R_s), в полученные через понижающее микширование стереоканалы L_o и R_o, и взаимосвязь между многоканальным аудиосигналом и пространственными параметрами.

Во-первых, выполняется понижающее микширование между левым каналом L и левым каналом объемного звучания L_s, понижающее микширование между центральным каналом C и низкочастотным каналом LFE и понижающее микширование между правым каналом R и правым каналом объемного звучания R_s. В этом первичном процессе понижающего микширования формируются левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t. Помимо этого, пространственные параметры, вычисляемые в этом первичном процессе понижающего микширования, включают в себя CLD₂ (включая ICC₂), CLD₁ (включая ICC₁), CLD₀ (включая ICC₀) и т.д.

Во вторичном процессе, следующем после первичного процесса понижающего микширования, выполняется совместное понижающее микширование левого совокупного канала L_t, центрального совокупного канала C_t и правого совокупного канала R_t, чтобы сформировать левый канал L_o и правый канал R_o. Помимо этого, пространственные параметры, вычисляемые в этом вторичном процессе понижающего микширования, могут включать в себя CLD_TTT, CPC_TTT, ICC_TTT и т.д.

Другими словами, понижающее микширование многоканального сигнала из всего шести каналов выполняется вышеописанным последовательным способом, чтобы сформировать полученные через понижающее микширование стереоканалы L_o и R_o.

Если пространственные параметры (CLD₂, CLD₁, CLD₀, CLD_TTT и т.д.), вычисленные вышеописанным последовательным способом, используются как есть, их повышающее микширование выполняется в обратной последовательности порядку понижающего микширования, чтобы сформировать многоканальный аудиосигнал, имеющий число каналов 6 (левый передний канал L, левый канал объемного звучания L_s, центральный канал C, низкочастотный канал LFE, правый передний канал R, правый канал объемного звучания R_s).

Согласно правой части фиг.2, в случае если частичная пространственная информация соответствует CLD_TTT из пространственных параметров (CLD₂, CLD₁, CLD₀, CLD_TTT и т.д.), выполняется повышающее микширование в левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t. Если левый совокупный канал L_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из двух каналов L_t и R_t. Если левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из трех каналов L_t, C_t и R_t. После того как повышающее микширование выполнено с помощью CLD₁ помимо прочего, если выбраны левый совокупный канал L_t, правый совокупный канал R_t, центральный канал C и низкочастотный канал LFE, можно сформировать аудиосигнал выходного канала из четырех каналов (L_t, R_t, C и LFE).

(1)-2. Второй пример древовидной конфигурации (древовидная конфигурация 5-1-5)

Фиг.3 - это схематичное представление другого примера применения частичной пространственной информации.

В левой части фиг.3 показаны последовательность понижающего микширования многоканального аудиосигнала, имеющего число каналов 6 (левый передний канал L, левый канал объемного звучания L_s, центральный канал C, низкочастотный канал LFE, правый передний канал R, правый канал объемного звучания R_s), в моноаудиосигнал M, полученный через понижающее микширование, и взаимосвязь между многоканальным аудиосигналом и пространственными параметрами.

Во-первых, как и в первом примере, выполняется понижающее микширование между левым каналом L и левым каналом объемного звучания L_s, понижающее микширование между центральным каналом C и низкочастотным каналом LFE и понижающее микширование между правым каналом R и правым каналом объемного звучания R_s. В этом первичном процессе понижающего микширования формируются левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t. Кроме того, пространственные параметры, вычисляемые в этом первичном процессе понижающего микширования, включают в себя CLD₃ (включая ICC₃), CLD₄ (включая ICC₄), CLD₅ (включая ICC₅) и т.д. (в этом случае CLD_x и ICC_x отличаются от предшествующего CLD_x в первом примере).

Во вторичном процессе, следующем после первичного процесса понижающего микширования, выполняется совместное понижающее микширование левого совокупного канала L_t и правого совокупного канала R_t, чтобы сформировать левый центральный канал LC, и выполняется совместное понижающее микширование центрального совокупного канала C_t и правого совокупного канала R_t, чтобы сформировать правый центральный канал RC. Помимо этого, пространственные параметры, вычисляемые в этом вторичном процессе понижающего микширования, могут включать в себя CLD₂ (включая ICC₂), CLD₁ (включая ICC₁) и т.д.

После этого в третичном процессе понижающего микширования выполняется понижающее микширование левого центрального канала LC и правого центрального канала RC, чтобы сформировать моносигнал M, полученный через понижающее микширование. Также пространственные параметры, вычисленные в третичном процессе понижающего микширования, включают в себя CLD₀ (включая ICC₀) и т.д.

Согласно правой части фиг.3, в случае если частичная пространственная информация соответствует CLD₀ из пространственных параметров (CLD₃, CLD₄, CLD₅, CLD₁, CLD₂, CLD₀ и т.д.), формируются левый центральный канал LC и правый центральный канал RC. Если левый центральный канал LC и правый центральный канал RC выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из двух каналов LC и RC.

Если частичная пространственная информация соответствует CLD₀, CLD₁ и CLD₂ из пространственных параметров (CLD₃, CLD₄, CLD₅, CLD₁, CLD₂, CLD₀ и т.д.), формируются левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t.

Если левый совокупный канал L_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из двух каналов L_t и R_t. Если левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из трех каналов L_t, C_t и R_t.

В случае если частичная пространственная информация включает в себя CLD₄ помимо прочего, после того как выполнено повышающее микширование до центрального канала и низкочастотного канала LFE, если левый совокупный канал L_t, правый совокупный канал R_t, центральный канал C и низкочастотный канал LFE выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из четырех каналов (L_t, R_t, C и LFE).

(1)-3. Третий пример древовидной конфигурации (древовидная конфигурация 5-1-5)

Фиг.4 - это схематичное представление дополнительного примера применения частичной пространственной информации.

В левой части фиг.4 показаны последовательность понижающего микширования многоканального аудиосигнала, имеющего число каналов 6 (левый передний канал L, левый канал объемного звучания L_s, центральный канал C, низкочастотный канал LFE, правый передний канал R, правый канал объемного звучания R_s), в моноаудиосигнал M, полученный через понижающее микширование, и взаимосвязь между многоканальным аудиосигналом и пространственными параметрами.

Во-первых, как в первом и втором примере, выполняется понижающее микширование между левым каналом L и левым каналом объемного звучания L_s, понижающее микширование между центральным каналом C и низкочастотным каналом LFE и понижающее микширование между правым каналом R и правым каналом объемного звучания R_s. В этом первичном процессе понижающего микширования левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t формируются. Кроме того, пространственные параметры, вычисляемые в этом первичном процессе понижающего микширования, включают в себя CLD₁ (включая ICC₁), CLD₂ (включая ICC₂), CLD₃ (включая ICC₃) и т.д. (в этом случае CLD_x и ICC_x отличаются от предшествующих CLD_x и ICC_x в первом или втором примере).

Во вторичном процессе, следующем после первичного процесса понижающего микширования, выполняется совместное понижающее микширование левого совокупного канала L_t, центрального совокупного канала C_t и правого совокупного канала R_t, чтобы сформировать левый центральный канал LC и правый центральный канал RC. Кроме того, вычисляется пространственный параметр CLD_TTT (включая ICC_TTT).

После этого в третичном процессе понижающего микширования выполняется понижающее микширование левого центрального канала LC и правого канала R, чтобы сформировать моносигнал M, полученный через понижающее микширование. Также вычисляется пространственный параметр CLD₀ (включая ICC₀).

Согласно правой части фиг.4, в случае если частичная пространственная информация соответствует CLD₀ и CLD_TTT из пространственных параметров (CLD₁, CLD₂, CLD₃, CLD_TTT, CLD₀ и т.д.), формируется левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t.

Если левый совокупный канал L_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из двух каналов L_t и R_t.

Если левый совокупный канал L_t, центральный совокупный канал C_t и правый совокупный канал R_t выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из трех каналов L_t, C_t и R_t.

В случае если частичная пространственная информация включает в себя CLD₂ помимо прочего, после того как выполнено повышающее микширование до центрального канала C и низкочастотного канала LFE, если левый совокупный канал L_t, правый совокупный канал R_t, центральный канал C и низкочастотный канал LFE выбраны в качестве аудиосигнала выходного канала, можно сформировать аудиосигнал выходного канала из четырех каналов (L_t, R_t, C и LFE).

В вышеприведенном описании процесс формирования аудиосигнала выходного канала посредством только частичного применения пространственных параметров пояснен посредством использования трех типов древовидных конфигураций в качестве примеров. Помимо этого, также можно дополнительно применять комбинированную пространственную информацию или расширенную пространственную информацию, как и частичную пространственную информацию. Таким образом, можно обрабатывать процесс применения модифицированной пространственной информации к аудиосигналу иерархически или совместно и синтетически.

(2) Комбинированная пространственная информация

Поскольку пространственная информация вычисляется в ходе понижающего микширования многоканального аудиосигнала согласно заранее определенной древовидной конфигурации, исходный многоканальный аудиосигнал до понижающего микширования может быть восстановлен, если аудиосигнал понижающего микширования декодируется с помощью пространственных параметров пространственной информации, как они есть. В случае если число каналов M многоканального аудиосигнала отличается от числа каналов N аудиосигнала выходного канала, новая комбинированная пространственная информация формируется посредством комбинирования пространственной информации, и затем можно выполнять повышающее микширование аудиосигнала, понижающее микширование с помощью сформированной информации. В частности, посредством применения пространственных параметров к формуле преобразования можно сформировать комбинированные пространственные параметры.

Этот способ может варьироваться согласно последовательности и способу понижающего микширования многоканального аудиосигнала в устройстве кодирования. Также можно запрашивать последовательность и способ понижающего микширования с помощью древовидной конфигурационной информации в пространственной информации. Помимо этого, данный способ может варьироваться согласно числу выходных каналов. Более того, можно запрашивать число выходных каналов и т.п. с помощью информации выходных каналов.

Далее поясняются подробные варианты осуществления способа модификации пространственной информации и варианты осуществления для предоставления виртуального трехмерного эффекта.

(2)-1. Общая комбинированная пространственная информация

Способ формирования комбинированных пространственных параметров посредством комбинирования пространственных параметров пространственной информации предусмотрен для повышающего микширования согласно древовидной конфигурации, отличающейся от конфигурации в процессе понижающего микширования. Таким образом, этот способ применим ко всем видам сигналов понижающего микширования вне зависимости от того, какая имеется древовидная конфигурация согласно информации древовидной конфигурации.

В случае если многоканальный аудиосигнал является 5.1-канальным, а аудиосигнал понижающего микширования является 1-канальным (моноканал), способ формирования аудиосигнала выходного канала из двух каналов поясняется со ссылкой на два вида примеров как следующие.

(2)-1-1. Четвертый вариант осуществления древовидной конфигурации (древовидная конфигурация 5-1-5₁)

Фиг.5 - это схематичное представление примера применения комбинированной пространственной информации.

Ссылаясь на левую часть фиг.5, CLD₀-CLD₄ и ICC₀-ICC₄ (не показаны на чертеже) могут быть названы пространственными параметрами, которые могут быть вычислены в процессе понижающего микширования многоканального аудиосигнала для 5.1-каналов. Например, в пространственных параметрах межканальная разность уровней между сигналом L левого канала и сигналом R правого канала - это CLD₃, а межканальная корреляция между L и R - это ICC₃. Помимо этого, межканальная разность уровней между левым каналом L_s объемного звучания и правым каналом R_s объемного звучания - это CLD₂, а межканальная корреляция между L_s и R_s - это ICC₂.

С другой стороны, ссылаясь на правую часть фиг.5, если сигнал L_t левого канала и сигнал R_t правого канала формируются посредством применения комбинированных пространственных параметров CLD_α и ICC_α в моноаудиосигнал m понижающего микширования, можно непосредственно сформировать аудиосигнал L_t и R_t выходного стереоканала из аудиосигнала m моноканала. В этом случае комбинированные пространственные параметры CLD_α и ICC_α могут быть вычислены посредством комбинирования пространственных параметров CLD₀-CLD₄ и ICC₀-ICC₄.

Далее сначала поясняется процесс вычисления CLD_α из комбинированных пространственных параметров посредством комбинирования CLD₀-CLD₄, а затем поясняется процесс вычисления ICC_α из комбинированных пространственных параметров посредством комбинирования CLD₀-CLD₄ и ICC₀-ICC₄ следующим образом.

(2)-1-1-a. Вывод CLD_α

Во-первых, поскольку CLD_α - это разность уровней между левым выходным сигналом L_t и правым выходным сигналом R_t, результат ввода левого выходного сигнала L_t и правого выходного сигнала R_t в формулу определения CLD показан следующим образом:

[Формула 1]

CLD_α=10*log₁₀(P_Lt/P_Rt),

где P_Lt - это степень L_t, а P_Rt - это степень R_t.

[Формула 2]

CLD_α=10*log₁₀(P_Lt+a/P_Rt+a),

где P_Lt - степень L_t, P_Rt - степень R_t, a - очень малая константа.

Следовательно, CLD_α определяется как формула 1 или формула 2.

Чтобы представить P_Lt и P_Rt с помощью пространственных параметров CLD₀-CLD₄, требуется формула взаимосвязи между левым выходным сигналом L_t аудиосигнала выходного канала, правым выходным сигналом R_t аудиосигнала выходного канала и многоканальным сигналом L, L_s, R, R_s, C и LFE. Также соответствующая формула взаимосвязи может быть определена следующим образом:

[Формула 3]

L_t=L+L_s+C/√2+LFE/√2,

R_t=R+R_s+C/√2+LFE/√2.

Поскольку формула взаимосвязи, подобная формуле 3, может варьироваться согласно тому, как определить аудиосигнал выходного канала, он может быть определен формулой, отличной от формулы 3. Например, 1/√2 в C/√2 или LFE/√2 может быть 0 или 1.

Формула 3 позволяет вывести формулу 4 следующим образом:

[Формула 4]

P_Lt=P_L+P_LS+P_C/2+P_LFE/2,

P_Rt=P_R+P_RS+P_C/2+P_LFE/2.

Можно представить CLD_α согласно формуле 1 или формуле 2 с помощью P_Lt и P_Rt. Также P_Lt и P_Rt могут быть представлены согласно формуле 4 с помощью P_L, P_Ls, P_c, P_LFE, P_R и P_Rs. Таким образом, необходимо найти формулу взаимосвязи, дающую возможность представления P_L, P_Ls, P_c, P_LFE, P_R И P_Rs с помощью параметров CLD₀-CLD₄.

В случае древовидной конфигурации, показанной на фиг.5, взаимосвязь между многоканальным аудиосигналом (L, R, C, LFE, L_s, R_s) и сигналом m моноканала, полученного через понижающее микширование, показана ниже.

[Формула 5]

Также формула 5 приводит к формуле 6 следующим образом:

[Формула 6]

В частности, посредством ввода формулы 6 в формулу 4 и посредством ввода формулы 4 в формулу 1 или формулу 2 можно представить комбинированный пространственный параметр CLD_α способом комбинирования пространственных параметров CLD₀-CLD₄.

Расширение, возникающее в результате ввода формулы 6 в P_c/2+P_LFE/2 в формуле 4, показано в формуле 7.

[Формула 7]

P_C/2+P_LFE/2=[(C_1,OTT4)²+(C_2,OTT4)²]*(C_2,OTT1*C_1,OTT0)² * m²/2.

В этом случае согласно определениям C₁ и C₂ (сравните формулу 5), поскольку (C_1,x)²+(C_2,x)²=1, это приводит к (C_1,OTT4)²+(C_2,OTT4)²=1.

Таким образом, формула 7 может быть кратко записана следующим образом:

[Формула 8]

P_C/2+P_LFE/2=(C_2,OTT1*C_1,OTT0)² * m²/2.

Следовательно, посредством ввода формулы 8 и формулы 6 в формулу 4 и посредством ввода формулы 4 в формулу 1 можно представить комбинированный пространственный параметр CLD_α способом комбинирования пространственных параметров CLD₀-CLD₄.

(2)-1-1-b. Вывод ICC_α

Во-первых, поскольку ICC_α - это корреляция между левым выходным сигналом L_t и правым выходным сигналом R_t, результат ввода левого выходного сигнала L_t и правого выходного сигнала R_t в соответствующую формулу определения показан следующим образом:

[Формула 9]

В формуле 9 P_Lt и P_Rt могут быть представлены с помощью CLD₀-CLD₄ в формуле 4, формуле 6 и формуле 8. Помимо этого, P_LtP_Rt может быть развернуто способом формулы 10.

[Формула 10]

P_LtRt=P_LR+P_LsRs+P_C/2+P_LFE/2.

В формуле 10 P_C/2+P_LFE/2 может быть представлено как CLD₀-CLD₄ согласно формуле 6. Также P_LR и P_LsRs могут быть развернуты согласно определению ICC следующим образом:

[Формула 11]

ICC₃=P_LR/√ (P_LP_R),

ICC₂=P_LsRs/√ (P_LsР_Rs).

В формуле 11, если √(P_LP_R) или √(P_LsRs) транспонировано, получается формула 12.

[Формула 12]

P_LR=ICC₃* √(P_LP_R),

P_LsRs=ICC₂* √(P_LsRs).

В формуле 12 P_L, P_R, P_Ls и P_Rs могут быть представлены как CLD₀-CLD₄ согласно формуле 6. Формула, получающаяся в результате ввода формулы 6 в формулу 12, соответствует формуле 13.

[Формула 13]

P_LR=ICC₃ * c_l,ОTT3 * c_2,ОTT3 * (c_l,ОTT1 * c_l,ОTT0)² * m²,

P_LrRs=ICC₂ * c_l,ОTT2 * c_2,ОTT2 * (c_2,ОTT0)² * m².

Итак, посредством ввода формулы 6 и формулы 13 в формулу 10 и посредством ввода формулы 10 и формулы 4 в формулу 9 можно представить комбинированный пространственный параметр ICC_α как пространственные параметры CLD₀-CLD₃, ICC₂ и ICC₃.

(2)-1-2. Пятый вариант осуществления древовидной конфигурации (древовидная конфигурация 5-1-5₂)

Фиг.6 - это схематичное представление другого примера применения комбинированной пространственной информации.

Ссылаясь на левую часть фиг.6, CLD₀-CLD₄ и ICC₀-ICC₄ (не показаны на чертеже) могут быть названы пространственными параметрами, которые могут быть вычислены в процессе понижающего микширования многоканального аудиосигнала для 5.1-каналов.

В пространственных параметрах межканальная разность уровней между сигналом L левого канала и сигналом L_s левого канала объемного звучания - это CLD₃, а межканальная корреляция между L и L_s - это ICC₃. Помимо этого, межканальная разность уровней между правым каналом R и правым каналом R_s объемного звучания - это CLD₄, а межканальная корреляция между R и R_s - это ICC₄.

С другой стороны, ссылаясь на правую часть фиг.6, если сигнал L_t левого канала и сигнал R_t правого канала формируются посредством применения комбинированных пространственных параметров CLD_β и ICC_β в моноаудиосигнал m понижающего микширования, можно непосредственно сформировать аудиосигнал L_t и R_t выходного стереоканала из аудиосигнала m моноканала. В этом случае комбинированные пространственные параметры CLD_β и ICC_β могут быть вычислены посредством комбинирования пространственных параметров CLD₀-CLD₄ и ICC₀-ICC₄.

Далее сначала поясняется процесс вычисления CLD_β из комбинированных пространственных параметров посредством комбинирования CLD₀-CLD₄, а затем поясняется процесс вычисления ICC_β из комбинированных пространственных параметров посредством комбинирования CLD₀-CLD₄ и ICC₀-ICC₄ следующим образом:

(2)-1-2-a. Вывод CLD_β

Во-первых, поскольку CLD_β - это разность уровней между левым выходным сигналом L_t и правым выходным сигналом R_t, результат ввода левого выходного сигнала L_t и правого выходного сигнала R_t в формулу определения CLD показан следующим образом:

[Формула 14]

CLD_β=10*log₁₀(P_Lt/P_Rt),

где P_Lt - степень L_t, P_Rt - степень R_t.

[Формула 15]

CLD_β=10*log₁₀(P_Lt+a/P_Rt+a),

где P_Lt - степень L_t, P_Rt - степень R_t, a - это очень малое число.

Следовательно, CLD_β определяется как формула 14 или формула 15.

Между тем, чтобы представить P_Lt и P_Rt с помощью пространственных параметров CLD₀-CLD₄, требуется формула взаимосвязи между левым выходным сигналом L_t аудиосигнала выходного канала, правым выходным сигналом R_t аудиосигнала выходного канала и многоканальным сигналом L, L_s, R, R_s, C и LFE. Также соответствующая формула взаимосвязи может быть определена следующим образом:

[Формула 16]

L_t=L+L_s+C/√2+LFE/√2,

R_t=R+R_s+C/√2+LFE/√2.

Поскольку формула взаимосвязи, подобная формуле 16, может варьироваться согласно тому, как определить аудиосигнал выходного канала, он может быть определен формулой, отличной от формулы 16. Например, 1/√2 в C/√2 или LFE/√2 может быть 0 или 1.

Формула 16 позволяет вывести формулу 17 следующим образом:

[Формула 17]

P_Lt=P_L+P_LS+P_C/2+P_LFE/2,

P_Rt=P_R+P_RS+P_C/2+P_LFE/2.

Можно представить CLD_β согласно формуле 14 или формуле 15 с помощью P_Lt и P_Rt. Также P_Lt и P_Rt могут быть представлены согласно формуле 15 с помощью P_L, P_Ls, P_c, P_LFE, P_R и P_Rs. Таким образом, необходимо найти формулу взаимосвязи, дающую возможность представления P_L, P_Ls, P_c, P_LFE, P_R И P_Rs с помощью параметров CLD₀-CLD₄.

В случае древовидной конфигурации, показанной на фиг.6, взаимосвязь между многоканальным аудиосигналом (L, R, C, LFE, L_s, R_s) и сигналом m моноканала, полученного через понижающее микширование, показана ниже.

[Формула 18]

Также формула 18 приводит к формуле 19 следующим образом:

[Формула 19]

В частности, посредством ввода формулы 19 в формулу 17 и посредством ввода формулы 17 в формулу 14 или формулу 15 можно представить комбинированный пространственный параметр CLD_β способом комбинирования пространственных параметров CLD₀-CLD₄.

Формула расширения, получаемая в результате ввода формулы 19 в P_L+P_Ls в формуле 17, показана в формуле 20.

[Формула 20]

P_L+P_Ls=[(c_l,OTT3)²+(c_2,OTT3)²] (c_l,OTT1*c_l,OTT0)² * m².

В этом случае согласно определениям c₁ и c₂ (сравните формулу 5), поскольку (c_1,x)²+(c_2,x)²=1, это приводит к (c_1,OTT3)²+(c_2,OTT3)²=1.

Таким образом, формула 20 может быть кратко записана следующим образом:

[Формула 21]

P_{L_}=P_L+P_Ls=(c_l,OTT1*c_l,OTT0)² * m².

Расширенная запись, получаемая в результате ввода формулы 19 для P_R+P_Rs в формулу 17, представлена как формула 22.

[Формула 22]

P_R+P_Rs=[(c_l,OTT4)²+(c_2,OTT4)²] (c_l,OTT1*c_l,OTT0)² * m².

В этом случае согласно определениям c₁ и c₂ (сравните формулу 5), поскольку (c_1,x)²+(c_2,x)²=1, это приводит к (c_1,OTT4)²+(c_2,OTT4)²=1.

Таким образом, формула 22 может быть кратко записана следующим образом:

[Формула 23]

P_{R_}=P_R+P_Rs=(c_2,OTT1*c_l,OTT0)² * m ².

С другой стороны, расширенная запись, получаемая в результате ввода формулы 19 для P_c/2+P_LFE/2 в формулу 17, представлена как формула 24.

[Формула 24]

P_C/2+P_LFE/2=[(c_l,OTT2)²⁺(c_2,OTT2)²] (c_2,OTT0)² * m²/2.

В этом случае согласно определениям c₁ и c₂ (сравните формулу 5), поскольку (c_1,x)²+(c_2,x)²=1, это приводит к (c_1,OTT2)²+(c_2,OTT2)²=1.

Таким образом, формула 24 может быть кратко записана следующим образом:

[Формула 25]

P_C/2+P_LFE/2=(c_2,OTT0)² * m²/2.

Следовательно, посредством ввода формулы 21, формулы 23 и формулы 25 в формулу 17 и посредством ввода формулы 17 в формулу 14 или формулу 15 можно представить комбинированный пространственный параметр CLD_β способом комбинирования пространственных параметров CLD₀-CLD₄.

(2)-1-2-b. Вывод ICC_β

Во-первых, поскольку ICC_β - это корреляция между левым выходным сигналом L_t и правым выходным сигналом R_t, результат ввода левого выходного сигнала L_t и правого выходного сигнала R_t в соответствующую формулу определения показан следующим образом:

[Формула 26]

В формуле 26 P_Lt и P_Rt могут быть представлены согласно формуле 19 с помощью CLD₀-CLD₄. Помимо этого, P_LtP_Rt может быть развернуто согласно формуле 27.

[Формула 27]

P_LtRt=P_{L_R_}+P_C/2+P_LFE/2.

В формуле 27 P_C/2+P_LFE/2 может быть представлено как CLD₀-CLD₄ согласно формуле 19. Также P_{L_R_} может быть развернут согласно определению ICC следующим образом:

[Формула 28]

ICC₁=P_{L_R_}/√(P_{L_}P_{R_}).

Если √(P_{L_}P_{R_}) транспонировано, может быть получена формула 29.

[Формула 29]

P_{L_R_}=ICC₁* √(P_{L_}P_{R_}).

В формуле 29 P_{L_} и P_{R_} могут быть представлены как CLD₀-CLD₄ согласно формуле 21 и формуле 23. Формула, получающаяся в результате ввода формулы 21 и формулы 23 в формулу 29, соответствует формуле 30.

[Формула 30]

P_{L_R_}=ICC₁ * c_1,OTT1 * c_1,OTT1 * c_2,OTT1 * c_1,OTT0 * m².

Итак, посредством ввода формулы 30 в формулу 27 и посредством ввода формулы 27 и формулы 17 в формулу 26 можно представить комбинированный пространственный параметр ICC_β как пространственные параметры CLD₀-CLD₄ и ICC₁.

Вышеописанные способы модификации пространственных параметров являются только одним вариантом осуществления. Также при нахождении P_x или P_xy очевидно, что вышеописанные формулы могут варьироваться в различных формах посредством рассмотрения корреляций (к примеру, ICC₀ и т.д.) между соответствующими каналами, а также в дополнение энергии сигнала.

(2)-2. Комбинированная пространственная информация, имеющая эффект объемного звучания

Во-первых, в случае рассмотрения путей звука для того, чтобы сформировать комбинированную пространственную информацию посредством комбинирования пространственной информации, можно вызывать виртуальный эффект объемного звучания.

Виртуальный эффект объемного звучания или виртуальный трехмерный эффект может вызывать эффект, который преимущественно имеется в громкоговорителе канала объемного звучания без громкоговорителя канала объемного звучания. Например, 5.1-канальный аудиосигнал выводится посредством двух стереогромкоговорителей.

Путь звука может соответствовать информации пространственной фильтрации. Информация пространственной фильтрации может использовать функцию с названием HRTF (функция моделирования восприятия звука), которая не ограничивается посредством настоящего изобретения. Информация пространственной фильтрации может включать в себя параметр фильтрации. Посредством ввода параметра фильтрации и пространственных параметров в формулу преобразования можно сформировать комбинированный пространственный параметр. Также сформированный комбинированный пространственный параметр может включать в себя коэффициенты фильтрации.

Далее предположим, что многоканальный аудиосигнал - это 5 каналов, и что формируется аудиосигнал выходного канала из трех каналов, и способ рассмотрения путей звука, чтобы формировать комбинированную пространственную информацию, имеющую эффект объемного звучания, поясняется следующим образом.

Фиг.7 - это схема путей звука от громкоговорителей к слушателю, на которой показаны позиции громкоговорителей.

Согласно фиг.7, позиции трех громкоговорителей SPK1, SPK2 и SPK3 - это левый передний L, центральный C и правый R соответственно. Также позиции виртуальных каналов объемного звучания - это левый объемного звучания Ls и правый объемного звучания Rs соответственно.

Показаны пути звука к позициям r и l правого и левого уха слушателя от позиций L, C и R трех громкоговорителей и позиций Ls и Rs виртуальных каналов объемного звучания соответственно. Индикатор G_{x_y} указывает путь звука от позиции x в позицию y. Например, индикатор G_{L_r} указывает путь звука от позиции левого переднего L к позиции правого уха r слушателя.

Если имеются громкоговорители в пяти позициях (т.е. имеются громкоговорители в левом объемного звучания Ls и правом объемного звучания Rs также), и если слушатель находится в позиции, показанной на фиг.7, сигнал L₀, поступающий в левое ухо слушателя, и сигнал R₀, поступающий в правое ухо слушателя, представляются по формуле 31.

[Формула 31]

L₀=L*G_{L_l}+C*G_{C_l}+R*G_{R_l}+Ls*G_{Ls_l}+Rs*G_{Rs_l},

R₀=L*G_{L_r}+C*G_{C_r}+R*G_{R_r}+Ls*G_{Ls_r}+Rs*G_{Rs_r},

где L, C, R, Ls и Rs - это каналы в позициях, соответственно, G_{x_y} указывает путь звука от позиции x к позиции y, а '*' указывает свертку.

Как упоминалось в вышеприведенном описании, в случае если громкоговорители находятся только в трех позициях L, C и R, сигнал L_{0_real}, поступающий в левое ухо слушателя, и сигнал R_{0_real}, поступающий в правое ухо слушателя, представляются следующим образом:

[Формула 32]

L_{0_real}=L*G_{L_l}+C*G_{C_l}+R*G_{R_l},

R_{0_real}=L*G_{L_r}+C*G_{C_r}+R*G_{R_r}.

Поскольку сигналы Ls и Rs каналов объемного звучания не учитываются в сигналах, показанных в формуле 32, невозможно вызвать виртуальный эффект объемного звучания. Чтобы вызвать виртуальный эффект объемного звучания, сигнал Ls, поступающий в позицию (l, r) слушателя из позиции громкоговорителя Ls, задается равным сигналу Ls, поступающему в позицию (l, r) слушателя от громкоговорителя в каждой из трех позиций L, C и R, отличающихся от исходной позиции Ls. Помимо этого, это в такой же степени применимо к случаю сигнала правого канала объемного звучания Rs.

Рассмотрим сигнал левого канала объемного звучания Ls в случае, если сигнал левого канала объемного звучания Ls выводится из громкоговорителя в левой позиции объемного звучания Ls в качестве исходной позиции, тогда сигналы, приходящие в левое и правое ухо l и r слушателя, представляются следующим образом:

[Формула 33]

Ls*G_{Ls_l}, Ls*G_{Ls_r}.

А в случае, если сигнал правого канала объемного звучания Rs выводится из громкоговорителя в правой позиции объемного звучания Rs в качестве исходной позиции, сигналы, приходящие в левое и правое ухо l и r слушателя, представляются следующим образом:

[Формула 34]

Rs*G_{Rs_l}, Rs*G_{Rs_r}.

В случае если сигналы, приходящие в левое и правое ухо l и r слушателя, равны компонентам формулы 33 и формулы 34, даже если они выводятся посредством громкоговорителей любой позиции (к примеру, посредством громкоговорителя SPK1 в левой передней позиции), слушатель может воспринимать их так, как если бы громкоговорители находились в левой и правой позициях объемного звучания Ls и Rs соответственно.

Если компоненты, показанные в формуле 33, выводятся из громкоговорителя в левой позиции объемного звучания Ls, они являются сигналами, приходящими в левое и правое ухо l и r слушателя соответственно. Таким образом, если компоненты, показанные в формуле 33, выводятся неизмененными из громкоговорителя SPK1 в левой передней позиции, сигналы, приходящие в левое и правое ухо l и r слушателя, могут быть представлены следующим образом:

[Формула 35]

Ls*G_{Ls_l}*G_{L_l}, Ls*G_{Ls_r}*G_{L_r}.

В формуле 35 добавляется компонент G_{L_l} (или G_{L_r}), соответствующий пути звука из левой передней позиции L в левое ухо l (или правое ухо r) слушателя.

Также сигналы, приходящие в левое и правое ухо l и r слушателя, должны быть компонентами, показанными в формуле 33 вместо формулы 35. В случае если звук, выводимый из громкоговорителя и левой передней позиции L, поступает к слушателю, добавляется компонент G_{L_l} (или G_{L_r}). Таким образом, если компоненты, показанные в формуле 33, выводятся из громкоговорителя SPK1 в левой передней позиции, для пути звука должна рассматриваться обратная функция G_{L_l} ^-1 (или G_{L_r} ^-1) от G_{L_l} (или G_{L_r}). Другими словами, в случае если компоненты, соответствующие формуле 33, выводятся из громкоговорителя SPK1 в левой передней позиции L, они должны быть модифицированы по следующей формуле:

[Формула 36]

Ls*G_{Ls_l}*G_{L_l} ^-1, 'Ls*G_{Ls_r}*G_{L_r} ^-1.

Также в случае если компоненты, соответствующие формуле 34, выводятся из громкоговорителя SPK1 в левой передней позиции L, они должны быть модифицированы по следующей формуле:

[Формула 37]

Rs*G_{Rs_l}*G_{L_l} ^-1, Rs*G_{Rs_r}*G_{L_l} ^-1.

Таким образом, сигнал, выводимый из громкоговорителя SPK1 в левой передней позиции L', обобщается следующим образом:

[Формула 38]

L'=L+Ls*G_{Ls_l}*G_{L_l} ^-1+Rs*G_{Rs_l}*G_{L_l} ^-1

(Компоненты Ls*G_{Ls_r}*G_{L_r} ^-1 и Rs*G_{Rs_r}*G_{L_l} ^-1 опущены).

Если сигнал, который показан в формуле 38, который должен быть выведен из громкоговорителя SPK1 в левой передней позиции L, приходит в местоположение левого уха L слушателя, добавляется коэффициент пути звука G_{L_1}. Таким образом, члены G_{L_l} в формуле взаимно уничтожаются, за счет чего в итоге остаются коэффициенты, показанные в формуле 33 и формуле 34.

Фиг.8 - это схема для пояснения сигнала, выводимого из каждой позиции громкоговорителя для виртуального эффекта объемного звучания.

Согласно фиг.8, если сигналы Ls и Rs, выводимые из позиций Ls и Rs объемного звучания, должны быть включены в сигнал L', выводимый из каждой позиции громкоговорителя SPK1 посредством рассмотрения путей звука, они соответствуют формуле 38.

В формуле 38 G_{Ls_l}*G_{L_l} ^-1 кратко записывается как H_{Ls_L} следующим образом:

[Формула 39]

L'=L+Ls*H_{Ls_L}+Rs*H_{Rs_L}.

Например, сигнал C', выводимый из громкоговорителя SPK2 в центральной позиции C, обобщается следующим образом:

[Формула 40]

C'=C+Ls*H_{Ls_C}+Rs*H_{Rs_C}.

В качестве другого примера, сигнал R', выводимый из громкоговорителя SPK3 в правой передней позиции R, обобщается следующим образом:

[Формула 41]

R'=R+Ls*H_{Ls_R}+Rs*H_{Rs_R}.

Фиг.9 - это концептуальная схема для пояснения способа формирования 3-канального сигнала с помощью 5-канального сигнала по формуле 38, формуле 39 и формуле 40.

В случае формирования 2-канального сигнала R' и L' с помощью 5-канального сигнала или в случае не включения сигналов канала объемного звучания Ls или Rs в сигнал центрального канала C' H_{Ls_C} или H_{Rs_C} становится равным 0.

Для удобства реализации H_{x_y} может быть по-разному модифицирован таким образом, что H_{x_y} заменяется на G_{x_y}, или H_{x_y} используется посредством рассмотрения перекрестных помех.

Вышеприведенное подробное описание относится к одному примеру комбинированной пространственной информации, имеющей эффект объемного звучания. Также очевидно, что она может варьироваться в различных формах согласно способу применения информации пространственной фильтрации. Как упоминалось в вышеприведенном описании, сигналы, выводимые посредством громкоговорителей (в вышеуказанном примере левый передний канал L', правый передний канал R' и центральный канал C') согласно вышеуказанному процессу, могут быть сформированы из аудиосигнала понижающего микширования с помощью комбинированной пространственной информации и, более конкретно, с помощью комбинированных пространственных параметров.

(3) Более детализированная пространственная информация

Во-первых, посредством добавления расширенной пространственной информации в пространственную информацию можно сформировать более детализированную пространственную информацию. Также можно выполнить повышающее микширование аудиосигнала с помощью расширенной пространственной информации. В соответствующем процессе повышающего микширования аудиосигнал преобразуется в первичный аудиосигнал повышающего микширования на основе пространственной информации, и первичный аудиосигнал повышающего микширования затем преобразуется во вторичный аудиосигнал повышающего микширования на основе расширенной пространственной информации.

В этом случае расширенная пространственная информация может включать в себя конфигурационную информацию расширенных каналов, информацию согласования расширенных каналов и расширенные пространственные параметры.

Конфигурационная информация расширенных каналов - это информация для конфигурируемого канала, а также канала, который может быть сконфигурирован посредством древовидной конфигурационной информации из пространственной информации. Конфигурационная информация расширенных каналов может включать в себя, по меньшей мере, одно из идентификатора раздела и идентификатора без раздела, которые подробнее описываются ниже. Информация согласования расширенных каналов - это информация позиции каждого канала, который конфигурирует расширенный канал. Также расширенные пространственные параметры могут быть использованы для повышающего микширования одного канала, по меньшей мере, в два канала. Расширенные пространственные параметры могут включать в себя межканальные разности уровней.

Вышеописанная расширенная пространственная информация может быть включена в пространственную информацию после формирования посредством устройства кодирования (i) или сформирована самим устройством декодирования (ii). В случае если расширенная пространственная информация сформирована посредством устройства кодирования, наличие или отсутствие расширенной пространственной информации может быть определено на основе индикатора пространственной информации. В случае если расширенная пространственная информация сформирована посредством самого устройства декодирования, расширенные пространственные параметры расширенной пространственной информации могут вытекать из вычисления с помощью пространственных параметров пространственной информации.

Процесс повышающего микширования аудиосигнала с помощью более детализированной пространственной информации, сформированной на основе пространственной информации и расширенной пространственной информации, может выполняться последовательно и иерархически или в совокупности и синтетически. Если более детализированная пространственная информация может быть вычислена как одна матрица на основе пространственной информации и расширенной пространственной информации, нельзя выполнить повышающее микширование или понижающее микширование аудиосигнала в многоканальный аудиосигнал коллективно и непосредственно с помощью матрицы. В этом случае коэффициенты, конфигурирующие матрицу, могут быть заданы согласно пространственным параметрам и расширенным пространственным параметрам.

Далее, после завершения пояснения случая, в котором используется расширенная пространственная информация, сформированная посредством устройства кодирования, поясняется случай формирования расширенной пространственной информации в самом устройстве декодирования.

(3)-1. Случай использования расширенной пространственной информации, сформированной посредством устройства кодирования: произвольная древовидная конфигурация

Во-первых, более детализированная пространственная информация формируется устройством кодирования при формировании посредством добавления расширенной пространственной информации в пространственную информацию. Также поясняется случай, когда устройство кодирования принимает расширенную пространственную информацию. Помимо этого, расширенная пространственная информация может быть информацией, извлекаемой в процессе, когда устройство кодирования выполняет понижающее микширование многоканального аудиосигнала.

Как упоминалось в вышеприведенном описании, расширенная пространственная информация включает в себя конфигурационную информацию расширенных каналов, информацию согласования расширенных каналов и расширенные пространственные параметры. В этом случае конфигурационная информация расширенных каналов может включать в себя, по меньшей мере, одно из идентификатора раздела и идентификатора без раздела. Далее подробно описывается процесс конфигурирования расширенного канала на основе матрицы идентификаторов раздела и идентификаторов без раздела следующим образом.

Фиг.10 - это схема примера конфигурирования расширенных каналов на основе конфигурационной информации расширенных каналов.

Согласно нижней части фиг.10, нули и единицы попеременно размещены друг за другом. В этом случае 0 означает идентификатор без раздела, а 1 означает идентификатор раздела. Идентификатор без раздела 0 имеется в первом порядке (1), канал, соответствующий идентификатору без раздела 0 первого порядка, - это левый канал, находящийся в самом верхнем крае. Таким образом, левый канал L, соответствующий идентификатору без раздела 0, выбирается в качестве выходного канала вместо разделения. Во втором порядке (2) имеется идентификатор раздела 1. Канал, соответствующий идентификатору раздела, - это левый канал Ls объемного звучания после левого канала L. Таким образом, левый канал Ls объемного звучания, соответствующий идентификатору раздела 1, разделяется на два канала.

Поскольку имеются идентификаторы без раздела 0 в третьем порядке (3) и четвертом порядке (4), два канала, разделенные из левого канала Ls объемного звучания, выбираются неизмененными в качестве выходных каналов без разделения. После того как вышеуказанный порядок повторяется до последнего порядка (10), можно сконфигурировать все расширенные каналы.

Процесс разделения канала повторяется столько раз, сколько идентификаторов раздела 1, и процесс выбора канала в качестве выходного канала повторяется столько раз, сколько идентификаторов без раздела 0. Таким образом, число блоков деления каналов AT0 и AT1 равно числу (2) идентификаторов раздела 1, а число расширенных каналов (L, Lfs, Ls, R, Rfs, Rs, C и LFE) равно числу (8) идентификаторов без раздела 0.

После того как расширенный канал сконфигурирован, можно согласовать позицию каждого выходного канала с помощью информации согласования расширенных каналов. В случае фиг.10 согласование выполняется в последовательности левого переднего канала L, левого переднего бокового канала Lfs, левого канала объемного звучания Ls, правого переднего канала R, правого переднего бокового канала Rfs, правого канала Rs объемного звучания, центрального канала C и низкочастотного канала LFЕ.

Как упоминалось в вышеприведенном описании, расширенный канал может быть сконфигурирован на основе конфигурационной информации расширенных каналов. Для этого требуется блок разделения каналов, разделяющий один канал, по меньшей мере, на два канала. При разделении одного канала, по меньшей мере, на два канала блок разделения каналов может использовать расширенные пространственные параметры. Поскольку число расширенных пространственных параметров равно числу блоков разделения канала, оно также равно числу идентификаторов разделения. Таким образом, расширенные параметры могут быть извлечены столько раз, сколько идентификаторов раздела.

Фиг.11 - это схема для пояснения конфигурации расширенных каналов, показанной на фиг.10, и взаимосвязь с расширенными пространственными параметрами.

Согласно фиг.11 имеются два блока AT₀ и AT₁ разделения каналов и расширенные пространственные параметры ATD₀ и ATD₁, применяемые к ним соответственно.

В случае если расширенный пространственный параметр - это межканальная разность уровней, блок разделения каналов может определять уровни двух разделенных каналов с помощью расширенного пространственного параметра.

Таким образом, при выполнении повышающего микширования посредством добавления расширенной пространственной информации расширенные пространственные параметры могут быть применены не полностью, а частично.

(3)-2. Случай формирования расширенной пространственной информации: интерполяция/экстраполяция

Во-первых, можно сформировать более подробную пространственную информацию посредством добавления расширенной пространственной информации в пространственную информацию. Случай формирования расширенной пространственной информации с помощью пространственной информации поясняется в нижеприведенном описании. В частности, можно сформировать расширенную пространственную информацию с помощью пространственных параметров пространственной информации. В этом случае может быть использована интерполяция, экстраполяция и т.п.

(3)-2-1. Расширение до 6.1-каналов

В случае если многоканальный аудиосигнал представляет собой 5.1-каналы, случай формирования аудиосигнала выходного канала для 6.1-каналов поясняется со ссылкой на примеры следующим образом.

Фиг.12 - это схема позиции многоканального аудиосигнала для 5.1-каналов и позиции аудиосигнала выходного канала для 6.1-каналов.

Ссылаясь на (a) из фиг.12, можно видеть, что позициями каналов многоканального аудиосигнала 5.1-каналов являются левый передний канал L, правый передний канал R, центральный канал C, низкочастотный канал (не показан на чертеже) LFE, левый канал Ls объемного звучания и правый канал Rs объемного звучания соответственно.

В случае когда многоканальным аудиосигналом 5.1-каналов является сигнал понижающего микширования, если пространственные параметры применяются к аудиосигналу понижающего микширования, опять выполняется повышающее микширование аудиосигнала понижающего микширования в многоканальный аудиосигнал 5.1-каналов.

Кроме того, сигнал канала для заднего центрального RC, как показано в (b) по фиг.12, должен быть дополнительно сформирован, чтобы выполнить повышающее микширование аудиосигнала понижающего микширования в многоканальный аудиосигнал для 6.1-каналов.

Канал сигнала для заднего центрального RC может быть сформирован с помощью пространственных параметров, связанных с двумя задними каналами (левым каналом Ls объемного звучания и правым каналом Rs объемного звучания). В частности, межканальная разность уровней (CLD) из пространственных параметров указывает разность уровней между двумя каналами. Таким образом, посредством корректирования разности уровней между двумя каналами можно сформировать виртуальный источник звука, существующий между двумя каналами.

Принцип, при котором позиция виртуального источника звука варьируется согласно разности уровней между двумя каналами, поясняется следующим образом.

Фиг.13 - это схема для пояснения взаимосвязи между позицией виртуального источника звука и разностью уровней между двумя каналами, в которой уровнями левого и правого каналов Ls и Rs объемного звучания являются a и b соответственно.

Ссылаясь на (a) по фиг.13, в случае если уровень a левого канала Ls объемного звучания больше уровня b правого канала Rs объемного звучания, можно видеть, что позиция виртуального источника звука VS ближе к позиции левого канала Ls объемного звучания, чем к позиции правого канала Rs объемного звучания.

Если аудиосигнал выводится из двух каналов, слушатель ощущает, что виртуальный источник звука практически существует между двумя каналами. В этом случае позиция виртуального источника звука ближе к позиции канала, имеющего уровень выше уровня другого канала.

В случае (b) по фиг.13, поскольку уровень a левого канала Ls объемного звучания практически равен уровню b правого канала Rs объемного звучания, слушатель ощущает, что позиция виртуального источника звука имеется в центре между левым каналом Ls объемного звучания и правым каналом Rs объемного звучания.

Следовательно, можно определить уровень заднего центрального с помощью вышеозначенного принципа.

Фиг.14 - это схема для пояснения уровней двух задних каналов и уровня заднего центрального канала.

Согласно фиг.14 можно вычислить уровень c заднего центрального канала RC посредством интерполяции разности между уровнем a левого канала Ls объемного звучания и уровнем b правого канала Rs объемного звучания. В этом случае нелинейная интерполяция может быть использована так же, как и линейная интерполяция для вычисления.

Уровень c нового канала (к примеру, заднего центрального канала RC), существующего между двумя каналами (к примеру, Ls и Rs), может быть вычислен согласно линейной интерполяции по следующей формуле:

[Формула 40]

c=a * k+b * (1-k),

где a и b - уровни двух каналов соответственно, k -относительная позиция бета-канала уровня a, канала уровня b и канала уровня c.

Если канал (к примеру, задний центральный канал RC) на уровне c размещается в центре между каналом (к примеру, Ls) на уровне a и каналом Rs на уровне b, k равно 0,5. Если k равно 0,5, то из формулы 40 следует формула 41.

[Формула 41]

c=(a+b)/2.

Согласно формуле 41, если канал (к примеру, задний центральный канал RC) на уровне c размещается в центре между каналом (к примеру, Ls) на уровне a и каналом Rs на уровне b, уровень c нового канала соответствует среднему значению уровней a и b предыдущих каналов. Кроме того, формула 40 и формула 41 приведены только для примера. Таким образом, также можно скорректировать определение уровня c и значений уровня a и уровня b.

(3)-2-2. Расширение до 7.1-каналов

Когда многоканальный аудиосигнал представляет собой 5.1-каналы, случай попытки сформировать аудиосигнал выходного канала для 7.1-каналов поясняется следующим образом.

Фиг.15 - это схема для пояснения позиции многоканального аудиосигнала 5.1-каналов и позиции аудиосигнала выходного канала 7.1-каналов.

Ссылаясь на (a) из фиг.15, аналогично (a) из фиг.12, можно видеть, что позициями каналов многоканального аудиосигнала 5.1-каналов являются левый передний канал L, правый передний канал R, центральный канал C, низкочастотный канал (не показан на чертеже) LFE, левый канал Ls объемного звучания и правый канал Rs объемного звучания соответственно.

В случае когда многоканальным аудиосигналом 5.1-каналов является сигнал понижающего микширования, если пространственные параметры применяются к аудиосигналу понижающего микширования, опять выполняется повышающее микширование аудиосигнала понижающего микширования в многоканальный аудиосигнал 5.1-каналов.

Кроме того, левый передний боковой канал Lfs и правый передний боковой канал Rfs, как показано в (b) по фиг.15, должны быть дополнительно сформированы, чтобы выполнить повышающее микширование аудиосигнала понижающего микширования в многоканальный аудиосигнал 7.1-каналов.

Поскольку левый передний боковой канал Lfs размещается между левым передним каналом L и левым каналом Ls объемного звучания, можно определить уровень левого переднего бокового канала Lfs посредством интерполяции с помощью уровня левого переднего канала L и уровня левого канала Ls объемного звучания.

Фиг.16 - это схема для пояснения уровней двух левых каналов и уровня левого переднего бокового канала (Lfs).

Ссылаясь на фиг.16 можно видеть, что уровень c левого переднего бокового канала Lfs - это линейно интерполированное значение на основе уровня a левого переднего канала L и уровня b левого канала Ls объемного звучания.

Хотя левый передний боковой канал Lfs находится между левым передним каналом L и левым каналом Ls объемного звучания, он может быть размещен вне левого переднего канала L, центрального канала C и правого переднего канала R. Таким образом, можно определить уровень левого переднего бокового канала Lfs посредством экстраполяции с использованием уровней левого переднего канала L, центрального канала C и правого переднего канала R.

Фиг.17 - это схема для пояснения уровней трех передних каналов и уровня левого переднего бокового канала (Lfs).

Ссылаясь на фиг.17 можно видеть, что уровень c левого переднего бокового канала Lfs - это линейно интерполированное значение на основе уровня a левого переднего канала L, уровня c центрального канала С и уровня b правого переднего канала.

В вышеприведенном описании процесс формирования аудиосигнала выходного канала посредством добавления расширенной пространственной информации в пространственную информацию пояснен со ссылкой на два примера. Как упоминалось в вышеприведенном описании, в процессе повышающего микширования с добавлением расширенной пространственной информации расширенные пространственные параметры могут быть применены не полностью, а частично. Таким образом, процесс применения пространственных параметров к аудиосигналу может выполняться последовательно и иерархически или коллективно и синтетически.

Промышленная применимость

Следовательно, настоящее изобретение обеспечивает следующие результаты.

Во-первых, настоящее изобретение позволяет формировать аудиосигнал, имеющий конфигурацию, отличную от заранее определенной древовидной конфигурации, тем самым формируя по-разному сконфигурированные выходные сигналы.

Во-вторых, поскольку можно формировать аудиосигнал, имеющий конфигурацию, отличную от заранее определенной древовидной конфигурации, даже если число множества каналов до выполнения понижающего микширования меньше или более числа громкоговорителей, можно сформировать выходные каналы в количестве, равном количеству громкоговорителей, из аудиосигнала понижающего микширования.

В-третьих, в случае формирования выходных каналов в количестве, меньшем множества каналов, поскольку многоканальный аудиосигнал непосредственно формируется из аудиосигнала понижающего микширования вместо понижающего микширования аудиосигнала выходного канала из многоканального аудиосигнала, сформированного при повышающем микшировании аудиосигнала понижающего микширования, можно существенно снизить нагрузку операций, требуемых для декодирования аудиосигнала.

В-четвертых, поскольку пути звука учитываются при формировании комбинированной пространственной информации, настоящее изобретение предоставляет эффект псевдо-объемного звучания в случае, если вывод канала объемного звучания недоступен.

Несмотря на то, что настоящее изобретение показано и описано в данном варианте осуществления со ссылкой на его предпочтительные варианты осуществления, специалистам в данной области техники должно быть очевидным, что различные модификации и изменения по форме и содержанию могут быть сделаны без отступления от сущности и объема изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и изменения этого изобретения, которые входят в объем формулы изобретения и ее эквивалентов.

Изобретение относится к обработке аудиосигналов, более конкретно к способу и устройству для декодирования аудиосигнала. Способ включает в себя прием аудиосигнала и пространственной информации, формирование модифицированной пространственной информации с использованием пространственной информации и декодирование аудиосигнала с использованием модифицированной пространственной информации, при этом модифицированная пространственная информация включает в себя, по меньшей мере, одно из частичной пространственной информации, комбинированной пространственной информации и расширенной пространственной информации. При этом аудиосигнал декодируют в конфигурацию, отличную от конфигурации, определенной посредством устройства декодирования. Даже если число громкоговорителей меньше или более числа множества каналов до выполнения понижающего микширования, можно сформировать выходные каналы в количестве, равном числу громкоговорителей, из аудиосигнала понижающего микширования. Технический результат - обеспечение формирования аудиосигнала, имеющего конфигурацию, отличную от заранее определенной древовидной конфигурации, формируя по-разному сконфигурированные выходные сигналы, а также существенное снижение нагрузки операций, требуемых для декодирования аудиосигнала. 2 н. и 16 з.п. ф-лы, 17 ил.

1. Способ декодирования аудиосигнала, содержащий:
прием аудиосигнала и пространственной информации;
формирование модифицированной пространственной информации с использованием пространственной информации и
декодирование аудиосигнала с использованием модифицированной пространственной информации,
при этом модифицированная пространственная информация включает в себя, по меньшей мере, одно из частичной пространственной информации, комбинированной пространственной информации и расширенной пространственной информации.

2. Способ по п.1, в котором формирование модифицированной пространственной информации выполняется на основе индикатора, включенного в пространственную информацию.

3. Способ по п.1, в котором формирование модифицированной пространственной информации выполняется на основе древовидной конфигурационной информации, включенной в пространственную информацию.

4. Способ по п.1, в котором формирование модифицированной пространственной информации выполняется на основе информации выходного канала.

5. Способ по п.1, в котором пространственная информация включает в себя пространственные параметры, а частичная пространственная информация включает в себя часть пространственных параметров.

6. Способ по п.5, в котором пространственные параметры являются иерархическими, а частичная пространственная информация включает в себя пространственные параметры верхнего уровня.

7. Способ по п.6, в котором частичная пространственная информация дополнительно включает в себя частично пространственные параметры нижнего уровня.

8. Способ по п.1, в котором пространственная информация включает в себя пространственные параметры, а комбинированная пространственная информация формируется из комбинирования пространственных параметров.

9. Способ по п.1, в котором расширенная пространственная информация формируется с помощью пространственной информации и расширенной пространственной информации.

10. Устройство для декодирования аудиосигнала, содержащее:
блок формирования модифицированной пространственной информации, при этом упомянутый блок формирования модифицированной пространственной информации формирует модифицированную пространственную информацию с использованием пространственной информации; и
блок формирования выходного канала, декодирующий аудиосигнал с использованием модифицированной пространственной информации,
при этом модифицированная пространственная информация включает в себя, по меньшей мере, одно из частичной пространственной информации, комбинированной пространственной информации и расширенной пространственной информации.

11. Устройство по п.10, в котором модифицированная пространственная информация формируется на основе индикатора, включенного в пространственную информацию.

12. Устройство по п.10, в котором модифицированная пространственная информация формируется на основе древовидной конфигурационной информации, включенной в пространственную информацию.

13. Устройство по п.10, в котором модифицированная пространственная информация формируется на основе информации выходного канала.

14. Устройство по п.10, в котором пространственная информация включает в себя пространственные параметры, а частичная пространственная информация включает в себя часть пространственных параметров.

15. Устройство по п.14, в котором пространственные параметры являются иерархическими, а частичная пространственная информация включает в себя пространственные параметры верхнего уровня.

16. Устройство по п.15, в котором частичная пространственная информация дополнительно включает в себя частично пространственные параметры нижнего уровня.

17. Устройство по п.10, в котором пространственная информация включает в себя пространственные параметры, а комбинированная пространственная информация формируется из комбинирования пространственных параметров.

18. Устройство по п.10, в котором расширенная пространственная информация формируется с помощью пространственной информации и расширенной пространственной информации.