УСТРОЙСТВО И СПОСОБ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ЗВУКОВОГО СИГНАЛА Российский патент 2010 года по МПК G10L19/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и/или к устройству кодирования и/или декодирования звукового сигнала.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Настоящее изобретение относится к кодированию и/или к декодированию информации о пространственных параметрах многоканального звукового сигнала. За последнее время были разработаны различные технологии и способы кодирования цифровых звуковых сигналов, а также производилась различная продукция, связанная с ними.

Однако, когда производят микширование многоканального звукового сигнала с сокращением количества каналов в виде монофонического или стереофонического звукового сигнала, может возникать проблема потерь уровня громкости звукового сигнала. В частности, в кодированном сигнале по-прежнему проявляется эффект потери уровня громкости даже после его кодирования посредством базового кодека, поскольку кодированный сигнал имеет ограниченную разрядность, равную, например, 16 битам. Такой эффект потери уровня громкости звукового сигнала оказывает влияние на выходные характеристики звукового сигнала и вызывает ухудшение качества звука.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения, созданного для решения вышеупомянутых проблем, является решение проблемы потери уровня громкости многоканального звукового сигнала путем применения усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов из многоканального звукового сигнала.

Другой задачей настоящего изобретения является решение проблемы потери уровня громкости многоканального звукового сигнала путем применения произвольного усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов из многоканального звукового сигнала.

Еще одной задачей настоящего изобретения является решение проблемы потерь уровня громкости многоканального звукового сигнала путем применения усиления отдельного канала к конкретному каналу многоканального звукового сигнала.

Еще одной задачей настоящего изобретения является решение проблемы потери уровня громкости многоканального звукового сигнала путем использования, по меньшей мере, двух из следующих вариантов усиления: усиления для микширования с сокращением количества каналов, произвольного усиления для микширования с сокращением количества каналов и усиления отдельного канала.

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложен способ декодирования звукового сигнала согласно настоящему изобретению, содержащий следующие операции: выделяют сигнал, смикшированный путем сокращения количества каналов, из потока битов звукового сигнала; и применяют усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов.

Кроме того, для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложен способ декодирования звукового сигнала согласно настоящему изобретению, содержащий следующие операции: выделяют сигнал, смикшированный путем сокращения количества каналов, и сигнал с информацией о пространственных параметрах из потока битов звукового сигнала; осуществляют преобразование сигнала, смикшированного путем сокращения количества каналов, в многоканальный звуковой сигнал с использованием сигнала с информацией о пространственных параметрах; и применяют усиление для микширования с сокращением количества каналов к многоканальному звуковому сигналу.

Кроме того, для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложен способ кодирования звукового сигнала согласно настоящему изобретению, содержащий следующие операции: осуществляют генерацию сигнала, смикшированного путем сокращения количества каналов, и сигнала с информацией о пространственных параметрах из многоканального звукового сигнала; и применяют усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов.

Кроме того, для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложен способ кодирования звукового сигнала согласно настоящему изобретению, содержащий следующие операции: применяют усиление для микширования с сокращением количества каналов к многоканальному звуковому сигналу; и осуществляют генерацию сигнала, смикшированного путем сокращения количества каналов, из многоканального звукового сигнала, к которому применено усиление для микширования с сокращением количества каналов.

Кроме того, для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложено устройство декодирования звукового сигнала согласно настоящему изобретению, содержащее: демультиплексор, выделяющий сигнал, смикшированный путем сокращения количества каналов, и сигнал с информацией о пространственных параметрах из потока битов звукового сигнала; устройство, применяющее усиление для микширования с сокращением количества каналов, которое применяет усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов; и устройство генерации многоканального сигнала, осуществляющее преобразование сигнала, смикшированного путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, в многоканальный звуковой сигнал с использованием сигнала с информацией о пространственных параметрах.

Кроме того, для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения предложено устройство кодирования звукового сигнала согласно настоящему изобретению, содержащее: устройство микширования с сокращением количества каналов, осуществляющее генерацию сигнала, смикшированного путем сокращения количества каналов, из многоканального звукового сигнала; устройство генерации информации о пространственных параметрах, извлекающее информацию о пространственных параметрах из многоканального звукового сигнала; и устройство, применяющее усиление для микширования с сокращением количества каналов, которое применяет усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На сопроводительных чертежах, которые включены в состав описания для обеспечения более глубокого понимания настоящего изобретения, проиллюстрированы варианты осуществления настоящего изобретения, и вместе с описанием они служат для объяснения принципа настоящего изобретения.

На чертежах изображено следующее:

на Фиг.1 схематично проиллюстрирован способ, дающий человеку возможность распознавать информацию о пространственных параметрах, содержащуюся в звуковом сигнале;

на Фиг.2 изображена временная диаграмма сигналов, на которой проиллюстрирован эффект потери уровня громкости звукового сигнала, происходящей в процессе кодирования звукового сигнала;

на Фиг.3 изображена блок-схема, на которой проиллюстрировано первое устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.4 изображена блок-схема, на которой проиллюстрировано первое устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.5 изображена блок-схема, на которой проиллюстрировано второе устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к многоканальному звуковому сигналу для изменения многоканального звукового сигнала, согласно варианту осуществления настоящего изобретения;

на Фиг.6 изображена блок-схема, на которой проиллюстрировано второе устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к многоканальному звуковому сигналу для изменения многоканального звукового сигнала, согласно варианту осуществления настоящего изобретения;

на Фиг.7 изображена блок-схема, на которой проиллюстрировано третье устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.8 изображена блок-схема, на которой проиллюстрировано третье устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.9 изображена диаграмма, на которой проиллюстрированы потоки битов, содержащие информацию об усилении для микширования с сокращением количества каналов, согласно соответствующим вариантам осуществления настоящего изобретения;

на чертежах Фиг.10A и Фиг.10Б изображены таблицы, на которых проиллюстрированы различные типы усиления для микширования с сокращением количества каналов, согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.11 изображен график, на котором проиллюстрирован способ предотвращения ухудшения качества звука среди кадров, вызванного применением усиления для микширования с сокращением количества каналов, согласно настоящему изобретению;

на Фиг.12 изображена схема последовательности операций, на которой проиллюстрирован способ кодирования звукового сигнала, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.13 изображена схема последовательности операций, на которой проиллюстрирован способ декодирования звукового сигнала, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.14 изображена блок-схема, на которой проиллюстрировано устройство кодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют произвольное усиление для микширования с сокращением количества каналов, ПУМ (ADG), для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.15 изображена блок-схема, на которой проиллюстрировано устройство декодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.16 изображена блок-схема, на которой проиллюстрировано устройство кодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов и ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.17 изображена блок-схема, на которой проиллюстрировано устройство декодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов и ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.18 изображена таблица, на которой проиллюстрировано множество диапазонов частот, в которых применяют ПУМ, согласно варианту осуществления настоящего изобретения;

на Фиг.19 изображена схема последовательности операций, на которой проиллюстрирован способ кодирования звукового сигнала, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.20 изображена схема последовательности операций, на которой проиллюстрирован способ декодирования звукового сигнала, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения;

на Фиг.21 изображена блок-схема, на которой проиллюстрировано устройство кодирования, изменяющее уровень громкости отдельного канала, согласно варианту осуществления настоящего изобретения;

на Фиг.22 изображена блок-схема, на которой проиллюстрировано устройство декодирования, изменяющее уровень громкости отдельного канала, согласно варианту осуществления настоящего изобретения; и

на Фиг.23 изображена блок-схема, на которой проиллюстрировано устройство декодирования, изменяющее уровень громкости отдельного канала, согласно варианту осуществления настоящего изобретения.

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Теперь будет приведено подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на сопроводительных чертежах.

На Фиг.1 проиллюстрирован способ, дающий человеку возможность распознавать информацию о пространственных параметрах, содержащуюся в звуковом сигнале.

При кодировании многоканального звукового сигнала используют следующий факт: поскольку человек распознает звуковой сигнал в трехмерном виде, то звуковой сигнал может быть выражен в виде информации о трехмерных пространственных параметрах с использованием множества наборов параметров.

"Пространственные параметры" для отображения информации о пространственных параметрах многоканального звукового сигнала содержат следующие параметры: разность уровней громкости каналов (РУГК), когерентность между каналами (КМК) и разность по времени между каналами (РВК). РУГК означает разность энергии между двумя каналами. КМК означает корреляцию между двумя каналами. РВК означает разность по времени между двумя каналами.

На Фиг.1 схематично проиллюстрировано то, каким образом человек распознает пространственные характеристики звукового сигнала, и то, каким образом создана концепция пространственных параметров.

Со ссылкой на Фиг.1, прямая звуковая волна 103 из удаленного источника 101 звука доходит до левого уха 107 человека, а другая прямая звуковая волна 102 доходит до правого уха 106 человека после ее дифракции вокруг головы человека.

Эти две звуковые волны 102 и 103 имеют различия с точки зрения времени прибытия и уровня энергии. Вследствие таких различий создаются описанные выше параметры РВК и РУГК.

С другой стороны, если отраженные звуковые волны 104 и 105 достигают обоих ушей человека, или если источник 101 звука содержит рассредоточенные источники звука, то обоих ушей человека достигают звуковые волны, имеющие небольшую корреляцию. В результате создается описанный выше параметр КМК.

Используя пространственные параметры, созданные согласно описанному выше принципу, имеется возможность осуществлять передачу многоканального звукового сигнала в виде монофонического или стереофонического сигнала и вывод переданного монофонического или стереофонического сигнала в виде многоканального звукового сигнала.

В настоящем изобретении предложен способ изменения сигнала, смикшированного путем сокращения количества каналов, в том случае, когда сигнал, смикшированный путем сокращения количества каналов, преобразован в многоканальный звуковой сигнал, с использованием описанной выше информации о пространственных параметрах.

На Фиг.2 показана потеря уровня громкости звукового сигнала, которая создается во время кодирования звукового сигнала. Потеря уровня громкости звукового сигнала вызвана, в основном, двумя факторами. Во-первых, такая потеря уровня громкости происходит тогда, когда исходный сигнал имеет высокий уровень громкости. Во-вторых, такая потеря уровня громкости происходит тогда, когда количество входных каналов, подлежащих микшированию с сокращением количества каналов, также является большим. Например, потери уровня громкости более часто происходят тогда, когда производят микширование 7 каналов в один канал, по сравнению с тем случаем, когда производят микширование 3 каналов в один канал. Потеря уровня громкости из Фиг.2 соответствует тому случаю, когда производят микширование 5 каналов в один канал. Однако настоящее изобретение не ограничено проиллюстрированным случаем. Такие потери уровня громкости могут происходить вследствие различных факторов, например вследствие ограничения сигнала по амплитуде.

На чертеже (a) из Фиг.2 показан уровень громкости исходного сигнала, сформированного из 5 каналов. Каждый канал исходного сигнала может использовать почти весь диапазон ограниченной разрядности (равной, например, 16 битам). На чертеже (b) из Фиг.2 изображен сигнал, смикшированный путем сокращения количества каналов, который создан путем микширования этих 5 каналов с сокращением количества каналов. Как показано на чертеже (b) из Фиг.2, сигнал, смикшированный путем сокращения количества каналов, может иметь множество максимумов, превышающих ограниченную разрядность. На чертеже (c) из Фиг.2 изображен звуковой сигнал, созданный после кодирования/декодирования сигнала, смикшированного путем сокращения количества каналов, выполненного с использованием базового кодека (например, кодека AAC (усовершенствованного формата кодирования звука)). Даже в случае такого звукового сигнала, который создан в соответствии с операцией кодирования/декодирования базового кодека, по-прежнему может иметь место потеря уровня громкости, поскольку звуковой сигнал выражается в пределах ограниченной разрядности (равной, например, 16 битам). Такая потеря уровня громкости влияет на выходные характеристики многоканального звукового сигнала и вызывает ухудшение качества звука.

На Фиг.3 проиллюстрировано первое устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Первое устройство кодирования содержит устройство 302 микширования с сокращением количества каналов, устройство 303 генерации информации о пространственных параметрах, устройство 306 применения усиления для микширования с сокращением каналов и мультиплексор 308.

Со ссылкой на Фиг.3 устройство 302 микширования с сокращением количества каналов выполняет микширование многоканального звукового сигнала 301 с сокращением количества каналов, осуществляя, тем самым, генерацию сигнала 304, смикшированного путем сокращения количества каналов. На Фиг.3 обозначение "n" означают количество входных каналов. Сигнал 304, смикшированный путем сокращения количества каналов, может представлять собой монофонический, стереофонический или многоканальный звуковой сигнал.

Устройство 303 генерации информации о пространственных параметрах извлекает информацию о пространственных параметрах из многоканального звукового сигнала 301. Здесь термин "информация о пространственных параметрах" означает информацию о каналах звукового сигнала, используемых при микшировании сигнала, смикшированного путем сокращения количества каналов, в многоканальный звуковой сигнал путем повышения количества каналов, где сигнал, смикшированный путем сокращения количества каналов, сгенерирован путем микширования многоканального звукового сигнала с сокращением количества каналов.

Устройство 306 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов к сигналу 304, смикшированному путем сокращения количества каналов, для уменьшения уровня громкости сигнала 304, смикшированного путем сокращения количества каналов. Здесь термин "усиление для микширования с сокращением количества каналов" означает то значение, которое применяют (например, путем умножения) к сигналу, смикшированному путем сокращения количества каналов, или к многоканальному звуковому сигналу для изменения уровня громкости сигнала. В устройстве кодирования применение такого усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, используют, главным образом, для уменьшения уровня громкости сигнала, смикшированного путем сокращения количества каналов. Например, когда для уменьшения общего уровня громкости сигнала, смикшированного путем сокращения количества каналов, используют усиление для микширования с сокращением количества каналов, большее, чем 1, то сигнал, смикшированный путем сокращения количества каналов, умножают на величину, обратную усилению для микширования с сокращением количества каналов.

По меньшей мере, для одного канала многоканального звукового сигнала 301 может быть применено усиление отдельного канала, например усиление низкочастотного канала (усиление канала низкочастотных эффектов (LFE)) или усиление канала объемного звучания. Устройство 302 микширования с сокращением количества каналов может осуществлять генерацию сигнала 304, смикшированного путем сокращения количества каналов, который связан с многоканальным звуковым сигналом 301, при условии, что, по меньшей мере, к одному каналу многоканального звукового сигнала 301 было применено описанное выше усиление отдельного канала. После этого к сигналу 304, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов. Само собой разумеется, что устройство 306 применения усиления для микширования с сокращением количества каналов может применять усиление для микширования с сокращением количества каналов в процедуре генерации сигнала 304, смикшированного путем сокращения количества каналов, из многоканального звукового сигнала 301.

Мультиплексор 308 осуществляет генерацию потока 309 битов, содержащего сигнал 307, смикшированный путем сокращения количества каналов, к которому было применено усиление для микширования с сокращением количества каналов, и сигнал 305 с информацией о пространственных параметрах. Сигнал 305 с информацией о пространственных параметрах содержит информацию о пространственных параметрах, извлеченную устройством 303 генерации информации о пространственных параметрах. Поток 309 битов передают в устройство декодирования. Поток 309 битов может также содержать информацию, относящуюся к усилению для микширования с сокращением количества каналов, а именно информацию об усилении для микширования с сокращением количества каналов.

На Фиг.4 проиллюстрировано первое устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Первое устройство декодирования содержит демультиплексор 402, устройство 405 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 406 декодирования сигнала с информацией о пространственных параметрах, устройство 409 применения усиления для микширования с сокращением количества каналов и устройство 411 генерации многоканального сигнала.

Со ссылкой на Фиг.4 демультиплексор 402 принимает поток 401 битов звукового сигнала и выделяет закодированный сигнал 403, смикшированный путем сокращения количества каналов, и закодированный сигнал 404 с информацией о пространственных параметрах из потока 401 битов.

Устройство 405 декодирования сигнала, смикшированного путем сокращения количества каналов, выполняет декодирование закодированного сигнала 403, смикшированного путем сокращения количества каналов, и осуществляет вывод результирующего декодированного сигнала как сигнала 407, смикшированного путем сокращения количества каналов. Устройство 406 декодирования сигнала с информацией о пространственных параметрах выполняет декодирование закодированного сигнала 404 с информацией о пространственных параметрах и осуществляет вывод результирующего декодированного сигнала как информации 408 о пространственных параметрах.

Устройство 409 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов к сигналу 407, смикшированному путем сокращения количества каналов, осуществляя, таким образом, вывод сигнала 410, смикшированного путем сокращения количества каналов, который имеет первоначальный уровень громкости. Например, когда усиление для микширования с сокращением количества каналов является большим, чем 1, то сигнал, смикшированный путем сокращения количества каналов, умножают на усиление для микширования с сокращением количества каналов для увеличения уровня громкости сигнала, смикшированного путем сокращения количества каналов. Между тем, устройство 409 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов в процедуре преобразования сигнала, смикшированного путем сокращения количества каналов, в многоканальный звуковой сигнал.

Устройство 411 генерации многоканального сигнала осуществляет вывод сигнала 410, смикшированного путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, в виде многоканального звукового сигнала (вых2), используя информацию 408 о пространственных параметрах.

На Фиг.5 проиллюстрировано второе устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к многоканальному звуковому сигналу для изменения многоканального звукового сигнала, согласно варианту осуществления настоящего изобретения. Подобно первому устройству кодирования второе устройство кодирования содержит устройство 504 микширования с сокращением количества каналов, устройство 505 генерации информации о пространственных параметрах, устройство 502 применения усиления для микширования с сокращением количества каналов и мультиплексор 508.

Со ссылкой на Фиг.5 второе устройство кодирования является подобным первому устройству кодирования. Второе устройство кодирования имеет отличие от первого устройства кодирования с точки зрения расположения устройства 502 применения усиления для микширования с сокращением количества каналов. То есть, если в первом устройстве кодирования усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, то во втором устройстве кодирования усиление для микширования с сокращением количества каналов применяют к многоканальному звуковому сигналу.

В подробном изложении, устройство 502 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов к многоканальному звуковому сигналу 501, таким образом осуществляя генерацию многоканального звукового сигнала 503, к которому применено усиление для микширования с сокращением количества каналов. Устройство 504 микширования с сокращением количества каналов выполняет микширование многоканального звукового сигнала 503 с сокращением количества каналов, осуществляя тем самым генерацию сигнала 506, смикшированного путем сокращения количества каналов. Устройство 505 генерации информации о пространственных параметрах извлекает информацию о пространственных параметрах из многоканального звукового сигнала 503, к которому применено усиление для микширования с сокращением количества каналов. Мультиплексор 508 осуществляет генерацию потока 509 битов, содержащего сигнал 506, смикшированный путем сокращения количества каналов, и сигнал 507 с информацией о пространственных параметрах.

На Фиг.6 проиллюстрировано второе устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к многоканальному звуковому сигналу для изменения многоканального звукового сигнала, согласно варианту осуществления настоящего изобретения. Подобно первому устройству декодирования второе устройство декодирования содержит демультиплексор 602, устройство 605 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 606 декодирования сигнала с информацией о пространственныхпараметрах, устройство 609 генерации многоканального сигнала и устройство 611 применения усиления для микширования с сокращением количества каналов.

Поскольку демультиплексор 602, устройство 605 декодирования сигнала, смикшированного путем сокращения количества каналов, и устройство 606 декодирования сигнала с информацией о пространственных параметрах являются идентичными или аналогичными соответствующим устройствам из первого устройства декодирования, описанного со ссылкой на Фиг.4, то их подробное описание не приведено.

Устройство 609 генерации многоканального сигнала осуществляет преобразование сигнала 607, смикшированного путем сокращения количества каналов, в многоканальный звуковой сигнал 610 с использованием информации 608 о пространственных параметрах.

Устройство 611 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов к многоканальному звуковому сигналу 610 и тем самым осуществляет вывод многоканального звукового сигнала (вых2), к которому применено усиление для микширования с сокращением количества каналов. Когда устройство декодирования не может осуществить вывод многоканального звукового сигнала с использованием информации о пространственных параметрах, то сигнал 607, смикшированный путем сокращения количества каналов, может быть непосредственно выведен из устройства 605 декодирования сигнала, смикшированного путем сокращения количества каналов (вых1).

На Фиг.7 проиллюстрировано третье устройство кодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Третье устройство кодирования содержит устройство 702 микширования с сокращением количества каналов, устройство 703 генерации информации о пространственных параметрах, устройство 706 определения усиления для микширования с сокращением количества каналов, устройство 708 применения усиления для микширования с сокращением количества каналов и мультиплексор 710.

Со ссылкой на Фиг.7 третье устройство кодирования является аналогичным первому устройству кодирования. Третье устройство кодирования имеет отличие от первого устройства кодирования, состоящее в том, что третье устройство кодирования содержит устройство 706 определения усиления для микширования с сокращением количества каналов. Поскольку устройство 702 микширования с сокращением количества каналов, устройство 703 генерации информации о пространственных параметрах, устройство 708 применения усиления для микширования с сокращением количества каналов и мультиплексор 710 являются идентичными или аналогичными соответствующим устройствам из первого устройства кодирования, описанного со ссылкой на Фиг.3, то их подробное описание не приведено.

Устройство 706 определения усиления для микширования с сокращением количества каналов определяет усиление для микширования с сокращением количества каналов, которое будет применено к сигналу, смикшированному путем сокращения количества каналов. Устройство 706 определения усиления для микширования с сокращением количества каналов может определять усиление для микширования с сокращением количества каналов путем измерения, по меньшей мере, одной из следующих величин: частоты и степени потери уровня громкости, вызванной микшированием многоканального звукового сигнала 701 с сокращением количества каналов, для генерации сигнала 704, смикшированного путем сокращения количества каналов.

Предполагая, что выражение (=1, 2, 3, …, N) отображает сигнал каждого канала многоканального звукового сигнала, а сигнал, смикшированный путем сокращения количества каналов, сгенерирован как максимальное значение усиления для микширования с сокращением количества каналов может быть определено как Например, когда =1, =1, =1, = и максимальное значение усиления для микширования с сокращением количества каналов может быть определено равным 4,73. Когда максимальное значение усиления для микширования с сокращением количества каналов округляют в меньшую сторону, то его определяют равным 4.

На Фиг.8 проиллюстрировано третье устройство декодирования, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Третье устройство декодирования содержит демультиплексор 802, устройство 805 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 807 декодирования сигнала с информацией о пространственных параметрах, устройство 808 извлечения информации об усилении для микширования с сокращением количества каналов, устройство 809 применения усиления для микширования с сокращением количества каналов и устройство 812 генерации многоканального сигнала.

Со ссылкой на Фиг.8 третье устройство декодирования является аналогичным первому устройству декодирования. Третье устройство декодирования имеет отличие от первого устройства декодирования, состоящее в наличии устройства 808 извлечения информации об усилении для микширования с сокращением количества каналов.

Поскольку демультиплексор 802, устройство 805 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 807 декодирования сигнала с информацией о пространственных параметрах, устройство 809 применения усиления для микширования с сокращением количества каналов и устройство 812 генерации многоканального сигнала являются идентичными или аналогичными соответствующим устройствам из первого устройства декодирования, описанного со ссылкой на Фиг.4, то их подробное описание не приведено.

Устройство 808 извлечения информации об усилении для микширования с сокращением количества каналов может извлечь информацию об усилении для микширования с сокращением количества каналов из декодированного сигнала 804 с информацией о пространственных параметрах или из декодированного сигнала 803, смикшированного путем сокращения количества каналов.

На Фиг.9 проиллюстрированы потоки битов, содержащие информацию об усилении для микширования с сокращением количества каналов, согласно соответствующим вариантам осуществления настоящего изобретения. Как показано на чертеже (a) из Фиг.9, информация об усилении для микширования с сокращением количества каналов может быть введена в сигнал 902 с информацией о пространственных параметрах в каждом кадре потока битов, где поток битов содержит сигнал 901, смикшированный путем сокращения количества каналов, и сигнал 902 с информацией о пространственных параметрах.

Как показано на чертеже (b) из Фиг.9, информация об усилении для микширования с сокращением количества каналов также может быть вставлена в сигнал 903, смикшированный путем сокращения количества каналов, в каждом кадре потока битов. Кроме того, информация об усилении для микширования с сокращением количества каналов может быть вставлена в поток битов через множество кадров. Усиление для микширования с сокращением количества каналов может иметь постоянное значение для всех кадров потока битов, или может иметь переменное значение, изменяющееся в каждом кадре или через множество кадров.

Согласно настоящему изобретению может быть реализован способ, в котором сигнал с информацией о пространственных параметрах имеет заголовок (или область информации о конфигурации) в каждом кадре или для множества кадров, и этот заголовок содержит информацию об усилении для микширования с сокращением количества каналов. В том случае, когда сигнал с информацией о пространственных параметрах имеет заголовок в каждом кадре, устройство декодирования извлекает информацию об усилении для микширования с сокращением количества каналов из заголовка и применяет усиление для микширования с сокращением количества каналов к этому кадру. С другой стороны, когда сигнал с информацией о пространственных параметрах имеет заголовок для множества кадров, устройство декодирования извлекает информацию об усилении для микширования с сокращением количества каналов из кадра, имеющего заголовок. Затем устройство декодирования применяет усиление для микширования с сокращением количества каналов к кадру, имеющему заголовок, и применяет усиление для микширования с сокращением количества каналов, извлеченное из предыдущего заголовка, к остальным кадрам, не имеющим заголовка. Заголовок может содержаться в кадрах сигнала с информацией о пространственных параметрах, будучи расположенным периодически или не периодически.

Как показано на чертеже (c) из Фиг.9, информация об усилении для микширования с сокращением количества каналов также может быть вставлена в заголовок 904 потока битов. Заголовок 904 содержит информацию о конфигурации и т.д. В этом случае информация об усилении для микширования с сокращением количества каналов может быть вставлена в заголовок в виде независимого значения, или может быть вставлена в заголовок в виде сгруппированного значения после его группирования с другими значениями, например с усилением отдельного канала.

Согласно настоящему изобретению может быть реализован другой способ, в котором информация об усилении для микширования с сокращением количества каналов введена в зарезервированное поле потока битов без использования дополнительного бита.

Кроме того, согласно настоящему изобретению может быть реализован другой способ, в котором могут быть использованы комбинации способов, показанных на чертежах (a), (b) и (c) из Фиг.9. Например, информация об усилении для микширования с сокращением количества каналов может быть введена в заголовок, как показано на чертеже (c) из Фиг.9, и одновременно может быть введена в сигнал с информацией о пространственных параметрах, как показано на чертеже (a) из Фиг.9. Кроме того, информация об усилении для микширования с сокращением количества каналов может быть непосредственно введена в поток битов, или может быть выборочно введена в поток битов в соответствии с идентификационной информацией о том, следует ли использовать усиление для микширования с сокращением количества каналов или нет. Например, заголовок потока битов может содержать первую идентификационную информацию о том, следует ли использовать усиление для микширования с сокращением количества каналов или нет. Когда на основании первой идентификационной информации определено, что следует использовать усиление для микширования с сокращением количества каналов, то каждый кадр потока битов содержит вторую идентификационную информацию о том, следует ли использовать усиление для микширования с сокращением количества каналов или нет. Когда определено, что усиление для микширования с сокращением количества каналов следует использовать в кадре, то информацию об усилении для микширования с сокращением количества каналов включают в состав кадра.

На Фиг.10A и Фиг.10Б изображены различные типы усиления для микширования с сокращением количества каналов согласно одному из вариантов осуществления настоящего изобретения. Усиление для микширования с сокращением количества каналов может иметь различные значения. Например, как показано на Фиг.10A и Фиг.10Б, таблица может состоять из значений усиления отдельных каналов (например, значений усиления канала объемного звучания и значений усиления канала низкочастотных эффектов (LFE)) и значений усиления для микширования с сокращением количества каналов. Со ссылкой на таблицу 1 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения соответственно и В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1" или "1/2".

Со ссылкой на таблицу 2 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения соответственно и В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1", "1/2" или "1/4".

Со ссылкой на таблицу 3 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения, соответственно, "1/" и "1/".

В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1", "1/" или "1/2".

Со ссылкой на таблицу 4 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения соответственно и В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1", "1/", "1/2", или "1/".

Со ссылкой на таблицу 5 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения соответственно и В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1", "3/4", "2/3" или "1/2".

Со ссылкой на таблицу 6 для усиления канала объемного звучания и для усиления канала низкочастотных эффектов (LFE) могут использоваться значения соответственно и В качестве значения усиления для микширования с сокращением количества каналов может использоваться значение, равное "1", "3/4", "2/4" или "1/4".

Несмотря на то, что на Фиг.10A и Фиг.10Б усиление канала объемного звучания и усиление канала низкочастотных эффектов (LFE) были описаны как постоянные величины, равные конкретному значению (например, равные соответственно и настоящее изобретение не ограничено этим вариантом. Согласно настоящему изобретению значение усиления канала объемного звучания и значение усиления канала низкочастотных эффектов (LFE) могут быть выбраны из множества конкретных значений, как в случае усиления для микширования с сокращением количества каналов. Согласно настоящему изобретению могут быть использованы иные значения усиления отдельных каналов, чем значение усиления канала объемного звучания и значение усиления канала низкочастотных эффектов (LFE).

На Фиг.11 проиллюстрирован способ предотвращения ухудшения качества звука среди кадров, где ухудшение качества звука вызвано применением усиления для микширования с сокращением количества каналов, согласно настоящему изобретению. Когда происходит изменение уровня громкости вследствие применения усиления для микширования с сокращением количества каналов, то может произойти ухудшение качества звука вблизи кадра, в котором произведено резкое изменение значения усиления для микширования с сокращением количества каналов. Это происходит вследствие резкого изменения уровня громкости вблизи кадра, в котором произведено резкое изменение значения усиления для микширования с сокращением количества каналов. Поэтому необходимо установить период перехода для того, чтобы вызвать плавное проявление эффекта, являющегося следствием изменения усиления для микширования с сокращением количества каналов. Для этого может быть выполнен процесс сглаживания с использованием приведенного ниже выражения.

где n=0, 1, 2, …, N.

В приведенном выше выражении функция "" может представлять собой линейную функцию первого порядка или полиномиальную функцию n-го порядка общего вида. Функция "" также может представлять собой функцию, плавно изменяющуюся тогда, когда происходит изменение усиления для микширования с сокращением количества каналов (обозначаемого как DG), например, функцию Гаусса, функцию Хеннинга (Hanning) или функцию Хемминга (Hamming).

При этом, несмотря на выполнение описанного выше процесса сглаживания, по-прежнему может оставаться вредный эффект, являющийся следствием резкого изменения усиления для микширования с сокращением количества каналов. Соответственно в процедуре кодирования может быть реализовано ограничение для предотвращения резкого изменения усиления для микширования с сокращением количества каналов. Само собой разумеется, что даже в том случае, когда устройство кодирования не содержит конфигурацию, способную предотвращать резкое изменение усиления для микширования с сокращением количества каналов, в устройстве декодирования может быть выполнен анализ для предотвращения резкого изменения усиления для микширования с сокращением количества каналов. Например, когда используют значения усиления для микширования с сокращением количества каналов с пошаговым их изменением путем положительных или отрицательных приращений, то резкое изменение усиления для микширования с сокращением количества каналов возможно предотвратить путем управления изменением усиления для микширования с сокращением количества каналов таким образом, чтобы оно не выходило за пределы одного положительного или отрицательного приращения между следующими друг за другом кадрами, или чтобы оно было равно одному положительному или отрицательному приращению через каждое заранее заданное количество кадров (n кадров).

На Фиг.12 изображена схема последовательности операций, на которой проиллюстрирован способ кодирования звукового сигнала, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Со ссылкой на Фиг.12 устройство кодирования, в котором выполняют способ кодирования звукового сигнала, сначала принимает многоканальный звуковой сигнал (операция S1201). Затем выполняют микширование многоканального звукового сигнала путем сокращения количества каналов посредством устройства микширования с сокращением количества каналов, входящего в состав устройства кодирования, которое, в свою очередь, осуществляет генерацию сигнала, смикшированного путем сокращения количества каналов (операция S1202). Несмотря на то, что сигнал, смикшированный путем сокращения количества каналов, получают путем микширования многоканального звукового сигнала с сокращением количества каналов, как описано выше, может быть использован сигнал, смикшированный путем сокращения количества каналов, который непосредственно вводят извне устройства кодирования, например, произвольный сигнал, смикшированный путем сокращения количества каналов. Устройство генерации информации о пространственных параметрах, входящее в состав устройства кодирования, осуществляет генерацию сигнала с информацией о пространственных параметрах из многоканального звукового сигнала (операция S1202).

После этого устройство применения усиления для микширования с сокращением количества каналов, входящее в состав устройства кодирования применяет усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов (операция S1203). Например, когда усиление для микширования с сокращением количества каналов является большим, чем 1, то сигнал, смикшированный путем сокращения количества каналов, умножают на величину, обратную усилению для микширования с сокращением количества каналов, для уменьшения уровня громкости сигнала, смикшированного путем сокращения количества каналов. В противном случае, когда усиление для микширования с сокращением количества каналов является меньшим, чем 1, то для уменьшения уровня громкости сигнала, смикшированного путем сокращения количества каналов, сигнал, смикшированный путем сокращения количества каналов, умножают на величину усиления для микширования с сокращением количества каналов.

Затем умножитель устройства кодирования осуществляет генерацию потока битов, содержащего сигнал, смикшированный путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, и сигнал с информацией о пространственных параметрах (операция S1204).

Сгенерированный поток битов может быть передан в устройство декодирования (операция S1204).

Усиление для микширования с сокращением количества каналов может быть применено ко всем кадрам сигнала, смикшированного путем сокращения количества каналов, из потока битов. Несмотря на то, что этот способ является предпочтительным для кадров сигнала, смикшированного путем сокращения количества каналов, имеющих большой уровень громкости, его недостаток возникает тогда, когда этот способ применяют к тем кадрам сигнала, смикшированного путем сокращения количества каналов, которые имеют малый уровень громкости, поскольку может произойти ухудшение отношения сигнал-шум (ОСШ). Соответственно могут быть использованы различные значения усиления для микширования с сокращением количества каналов через промежутки времени заранее заданной продолжительности.

Синтаксис применения усиления для микширования с сокращением количества каналов может быть определен для каждого кадра в потоке битов. В этом случае усиление для микширования с сокращением количества каналов выборочно применяют к каждому кадру в соответствии с синтаксисом применения усиления для микширования с сокращением количества каналов. Например, применение усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, может быть выполнено следующим образом.

Во-первых, усиление для микширования с сокращением количества каналов задают в заголовке потока битов. В этом случае усиление для микширования с сокращением количества каналов может быть применено ко всем кадрам сигнала, смикшированного путем сокращения количества каналов, для которых действует заголовок.

Во-вторых, к сигналу, смикшированному путем сокращения количества каналов, в каждом кадре применяют независимое усиление для микширования с сокращением количества каналов в соответствии с отдельно заданным синтаксисом.

В-третьих, используют комбинацию первого и второго способов. То есть задают усиление для микширования с сокращением количества каналов, для его применения ко всем кадрам сигнала, смикшированного путем сокращения количества каналов (которое ниже именуют "первым усилением для микширования с сокращением количества каналов"). Первое усиление для микширования с сокращением количества каналов используют в течение всего периода времени или в течение длительного периода времени длительностью, например, от 1 до 2 секунд. Отдельно от первого усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, в каждом кадре применяют другое усиление для микширования с сокращением количества каналов (которое ниже именуют "вторым усилением для микширования с сокращением количества каналов") для обеспечения возможности регулировки усиления в течение периода времени, не охваченного первым усилением для микширования с сокращением количества каналов.

Декодирование сигнала, смикшированного путем сокращения количества каналов, к которому было применено усиление для микширования с сокращением количества каналов, как описано выше, может быть выполнено непосредственно без учета усиления для микширования с сокращением количества каналов, примененного к сигналу, смикшированному путем сокращения количества каналов, при воспроизведении декодированного сигнала, смикшированного путем сокращения количества каналов, в виде монофонического или стереофонического сигнала. Однако, когда декодирование сигнала, смикшированного путем сокращения количества каналов, выполняют для его воспроизведения в виде многоканального звукового сигнала, то могут быть использованы описанные ниже способы.

Первый способ состоит в применении усиления для микширования с сокращением количества каналов ко всей длительности сигнала, смикшированного путем сокращения количества каналов, или к той длительности сигнала, смикшированного путем сокращения количества каналов, к которой применен заголовок, для восстановления уровня громкости соответствующего звукового сигнала.

Второй способ состоит в применении усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, в каждом кадре или к множеству кадров сигнала, смикшированного путем сокращения количества каналов, длительность которых является меньшей, чем та длительность, к которой применен заголовок.

Третий способ состоит в использовании комбинации первого и второго способов. То есть усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, в каждом кадре или к множеству кадров, а затем применяют другое усиление для микширования с сокращением количества каналов ко всей длительности сигнала, смикшированного путем сокращения количества каналов.

На Фиг.13 изображена схема последовательности операций, на которой проиллюстрирован способ декодирования звукового сигнала, в котором усиление для микширования с сокращением количества каналов применяют к сигналу, смикшированному путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Со ссылкой на Фиг.13 устройство декодирования, в котором применяют способ декодирования звукового сигнала, принимает поток битов звукового сигнала (операция S1301). Поток битов содержит закодированный сигнал, смикшированный путем сокращения количества каналов, и закодированный сигнал с информацией о пространственных параметрах.

Демультиплексор устройства декодирования выделяет закодированный сигнал, смикшированный путем сокращения количества каналов, и закодированный сигнал с информацией о пространственных параметрах из принятого потока битов (операция S1302). Устройство декодирования сигнала, смикшированного путем сокращения количества каналов, входящее в состав устройства декодирования, декодирует закодированный сигнал, смикшированный путем сокращения количества каналов, и осуществляет вывод декодированного сигнала, смикшированного путем сокращения количества каналов (операция S1303).

Когда устройство декодирования не может осуществить вывод многоканального звукового сигнала с использованием информации о пространственных параметрах (операция S1304), то устройство декодирования может непосредственно осуществить вывод сигнала, смикшированного путем сокращения количества каналов, который декодирован устройством декодирования сигнала, смикшированного путем сокращения количества каналов (операция S1308). В противном случае, когда устройство декодирования может осуществить вывод многоканального звукового сигнала (операция S1304), то выполняют описанную ниже последовательность операций.

А именно устройство декодирования сигнала с информацией о пространственных параметрах, входящее в состав устройства декодирования, декодирует выделенный сигнал с информацией о пространственных параметрах и осуществляет генерацию информации о пространственных параметрах. Устройство извлечения информации об усилении для микширования с сокращением количества каналов, входящее в состав устройства декодирования, извлекает информацию об усилении для микширования с сокращением количества каналов из сигнала с информацией о пространственных параметрах или из сигнала, смикшированного путем сокращения количества каналов (операция S1305). Усиление для микширования с сокращением количества каналов может быть определено на основании извлеченной информации об усилении для микширования с сокращением количества каналов. Устройство применения усиления для микширования с сокращением количества каналов, входящее в состав устройства декодирования, применяет определенное выше усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов (операция S1306). Устройство генерации многоканального сигнала, входящее в состав устройства декодирования, осуществляет преобразование сигнала, смикшированного путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, в многоканальный звуковой сигнал с использованием информации о пространственных параметрах (операция S1307).

На Фиг.14 проиллюстрировано устройство кодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют произвольное усиление для микширования с сокращением количества каналов (ПУМ) для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Устройство кодирования содержит устройство 1402 микширования с сокращением количества каналов, устройство 1403 генерации информации о пространственных параметрах, устройство 1407 генерации ПУМ, устройство 1409 применения ПУМ и мультиплексор 1411.

Со ссылкой на Фиг.14 устройство 1402 микширования с сокращением количества каналов выполняет микширование многоканального звукового сигнала 1401 с сокращением количества каналов, осуществляя тем самым генерацию сигнала 1404, смикшированного путем сокращения количества каналов. На Фиг.14 "n" означает количество входных каналов. Устройство 1403 генерации информации о пространственных параметрах извлекает информацию о пространственных параметрах из многоканального звукового сигнала 1401.

Устройство 1407 генерации ПУМ может сравнивать сигнал 1404, смикшированный путем сокращения количества каналов, генерация которого осуществлена устройством 1402 микширования ссокращением количества каналов (который ниже именуют "первым сигналом, смикшированным путем сокращения количества каналов"), с сигналом 1405, смикшированным путем сокращения количества каналов, который непосредственно введен извне устройства кодирования (который ниже именуют "вторым сигналом, смикшированным путем сокращения количества каналов"), для определения ПУМ. Например, значение ПУМ может быть сгенерировано на основании информации, представляющей собой разность между первым и вторым сигналами 1404 и 1405, смикшированными путем сокращения количества каналов, то есть информации о разности. Здесь термин "ПУМ" ("ADG") означает информацию для уменьшения отличия второго сигнала, смикшированного путем сокращения количества каналов, от первого сигнала, смикшированного путем сокращения количества каналов. В настоящем изобретении "ПУМ" может быть также применено ко второму сигналу, смикшированному путем сокращения количества каналов, или к первому сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов.

Устройство 1409 применения ПУМ применяет ПУМ, сгенерированное устройством 1407 генерации ПУМ, к сигналу 1408, смикшированному путем сокращения количества каналов. Когда сигналом 1408, смикшированным путем сокращения количества каналов, является второй сигнал 1405, смикшированный путем сокращения количества каналов, то ПУМ используют не только для уменьшения отличия второго сигнала 1405, смикшированного путем сокращения количества каналов, от первого сигнала 1404, смикшированного путем сокращения количества каналов, но также и для изменения сигнала 1408, смикшированного путем сокращения количества каналов, например, для снижения уровня громкости сигнала 1408, смикшированного путем сокращения количества каналов. В этом случае применение ПУМ к сигналу 1408, смикшированному путем сокращения количества каналов, может быть выполнено в каждом кадре.

Мультиплексор 1411 осуществляет генерацию потока 1412 битов, содержащего сигнал 1408, смикшированный путем сокращения количества каналов с применением ПУМ, к которому было применено ПУМ, и сигнал 1406 с информацией о пространственных параметрах. Сигнал 1406 с информацией о пространственных параметрах сформирован из информации о пространственных параметрах, извлеченной устройством 1403 генерации информации о пространственных параметрах. Поток 1412 битов передают в устройство декодирования. Поток 1412 битов может также содержать информацию о ПУМ.

На Фиг.15 проиллюстрировано устройство декодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Устройство декодирования содержит демультиплексор 1502, устройство 1505 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 1507 декодирования сигнала с информацией о пространственных параметрах, устройство 1508 извлечения информации о ПУМ, устройство 1509 применения ПУМ и устройство 1512 генерации многоканального сигнала.

Со ссылкой на Фиг.15 демультиплексор 1502 выделяет закодированный сигнал 1503, смикшированный путем сокращения количества каналов, и закодированный сигнал 1504 с информацией о пространственных параметрах из потока 1501 битов.

Устройство 1505 декодирования сигнала, смикшированного путем сокращения количества каналов, декодирует закодированный сигнал 1503, смикшированный путем сокращения количества каналов, и осуществляет вывод результирующего декодированного сигнала в виде сигнала 1506, смикшированного путем сокращения количества каналов, который может представлять собой монофонический, стереофонический или многоканальный звуковой сигнал. Устройство 1505 декодирования сигнала, смикшированного путем сокращения количества каналов, может использовать декодер базового кодека. Когда устройство декодирования не может обработать сигнал 1506, смикшированный путем сокращения количества каналов, для вывода многоканального звукового сигнала, то из устройства декодирования может быть непосредственно выведен сигнал 1506, смикшированный путем сокращения количества каналов (вых1).

Устройство 1507 декодирования сигнала с информацией о пространственных параметрах декодирует закодированный сигнал 1504 с информацией о пространственных параметрах и осуществляет вывод результирующего декодированного сигнала в качестве информации 1511 о пространственных параметрах.

Устройство 1508 извлечения информации о ПУМ извлекает информацию относительно ПУМ, а именно информацию о ПУМ, из сигнала 1504 с информацией о пространственных параметрах.

Устройство 1508 извлечения информации о ПУМ может также извлекать информацию о ПУМ из сигнала 1506, смикшированного путем сокращения количества каналов.

Устройство 1509 применения ПУМ применяет ПУМ к сигналу 1506, смикшированному путем сокращения количества каналов, где ПУМ определен на основании информации о ПУМ, извлеченной устройством 1508 извлечения информации о ПУМ. Устройство 1512 генерации многоканального сигнала осуществляет преобразование сигнала 1510, смикшированного путем сокращения количества каналов с применением ПУМ, в многоканальный звуковой сигнал с использованием информации 1508 о пространственных параметрах, и осуществляет вывод многоканального звукового сигнала (вых2).

На Фиг.16 проиллюстрировано устройство кодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов и ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Устройство кодирования содержит устройство 1602 микширования с сокращением количества каналов, устройство 1603 генерации информации о пространственных параметрах, устройство 1606 применения усиления для микширования с сокращением количества каналов, устройство 1608 применения ПУМ и мультиплексор 1610.

Со ссылкой на Фиг.16, поскольку устройство 1602 микширования с сокращением количества каналов, устройство 1603 генерации информации о пространственных параметрах и мультиплексор 1610 являются идентичными или аналогичными соответствующимустройствам из Фиг.14, то их подробное описание не приведено.

Устройство кодирования из Фиг.16 имеет отличие от устройства кодирования из Фиг.14, состоящее в том, что устройство кодирования из Фиг.16 содержит оба устройства: устройство 1606 применения усиления для микширования с сокращением количества каналов и устройство 1608 применения ПУМ, для реализации применения обоих видов усиления: усиления для микширования с сокращением количества каналов и ПУМ. Устройство кодирования из Фиг.16 может также содержать устройство генерации усиления для микширования с сокращением количества каналов и устройство генерации ПУМ, хотя они и не показаны на Фиг.16.

В подробном изложении устройство 1606 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов к сигналу 1604, смикшированному путем сокращения количества каналов. Усиление для микширования с сокращением количества каналов может быть равномерно применено ко всей длительности сигнала 1604, смикшированного путем сокращения количества каналов. К тому же усиление для микширования с сокращением количества каналов может быть применено во время процедуры микширования многоканального звукового сигнала 1601 с сокращением количества каналов в устройстве 1602 микширования с сокращением количества каналов, и, таким образом, осуществляют генерацию сигнала 1604, смикшированного путем сокращения количества каналов.

Устройство 1608 применения ПУМ применяет ПУМ к сигналу 1607, смикшированному путем сокращения количества каналов, к которому было применено усиление для микширования с сокращением количества каналов. Как описано выше, применение ПУМ к сигналу 1607, смикшированному путем сокращения количества каналов, может быть выполнено покадровым способом. В соответствии с применением ПУМ на форму сигнала, смикшированного путем сокращения количества каналов с применением ПУМ, может быть оказано воздействие, подобное тому воздействию, которое оказывают при применении регулирования динамического диапазона, РДД (DRC). ПУМ может быть применено к сигналу, смикшированному путем сокращения количества каналов, в частотной области, в частности в гибридной области. Согласно настоящему изобретению также возможно применение усиления для микширования с сокращением количества каналов и ПУМ к сигналу, смикшированному путем сокращения количества каналов, который введен извне устройства кодирования (этот сигнал на чертеже не показан).

Мультиплексор 1610 осуществляет генерацию потока 1611 битов, содержащего сигнал 1609, смикшированный путем сокращения количества каналов, к которому было применено ПУМ, и сигнал 1605 с информацией о пространственных параметрах.

На Фиг.17 проиллюстрировано устройство декодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов и ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Устройство декодирования содержит демультиплексор 1702, устройство 1705 декодирования сигнала, смикшированного путем сокращения количества каналов,устройство 1707 декодирования сигнала с информацией о пространственных параметрах, устройство 1708 извлечения информации об усилении для микширования с сокращением количества каналов и о ПУМ, устройство 1709 применения ПУМ, устройство 1711 применения усиления для микширования с сокращением количества каналов и устройство 1714 генерации многоканального сигнала.

Со ссылкой на Фиг.17 демультиплексор 1702, устройство 1705 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 1707 декодирования сигнала с информацией о пространственных параметрах и устройство 1714 генерации многоканального сигнала имеют функции, идентичные или подобные функциям демультиплексора 1502, устройства 1505 декодирования сигнала, смикшированного путем сокращения количества каналов, устройства 1507 декодирования сигнала с информацией о пространственных параметрах и устройства 1512 генерации многоканального сигнала, которые показаны на Фиг.15. Соответственно подробное описание этих компонентов не приведено.

Устройство декодирования из Фиг.17 имеет отличие от устройства декодирования из Фиг.15, состоящее в том, что устройство декодирования из Фиг.17 содержит устройство 1708 извлечения информации об усилении для микширования с сокращением количества каналов и о ПУМ, устройство 1709 применения ПУМ и устройство 1711 применения усиления для микширования с сокращением количества каналов для реализации обоих видов усиления: усиления для микширования с сокращением количества каналов и ПУМ.

Устройство 1708 извлечения информации об усилении для микширования с сокращением количества каналов и о ПУМ извлекает информацию об усилении для микширования с сокращением количества каналов и о ПУМ из сигнала 1704 с информацией о пространственных параметрах. Информация об усилении для микширования с сокращением количества каналов и о ПУМ может быть извлечена одним и тем же компонентом. В альтернативном варианте информация об усилении для микширования с сокращением количества каналов и о ПУМ может быть извлечена отдельными соответствующими компонентами (на чертеже не показаны). Информация об усилении для микширования с сокращением количества каналов и о ПУМ может быть также извлечена из сигнала 1706, смикшированного путем сокращения количества каналов.

Устройство 1709 применения ПУМ применяет ПУМ, сгенерированное в соответствии с извлеченной информацией о ПУМ, к сигналу 1706, смикшированному путем сокращения количества каналов, генерация которого осуществлена в соответствии с операцией декодирования, выполняемой устройством 1705 декодирования сигнала, смикшированного путем сокращения количества каналов. Как описано выше, применение ПУМ к сигналу 1706, смикшированному путем сокращения количества каналов, может выполняться в каждом кадре.

Устройство 1711 применения усиления для микширования с сокращением количества каналов применяет усиление для микширования с сокращением количества каналов, генерация которого осуществлена в соответствии с информацией об усилении для микширования с сокращением количества каналов, к сигналу 1710, смикшированному путем сокращения количества каналов, к которому было применено ПУМ. Устройство 1714 генерации многоканального сигнала осуществляет вывод сигнала 1712, смикшированного путем сокращения количества каналов, к которому были применены оба вида усиления: ПУМ и усиление для микширования с сокращением количества каналов, в виде многоканального звукового сигнала с использованием информации 1713 о пространственных параметрах (вых2). Когда устройство декодирования не может осуществить вывод такого многоканального звукового сигнала, оно может непосредственно осуществить вывод сигнала 1706, смикшированного путем сокращения количества каналов, генерация которого осуществлена в соответствии с операцией декодирования, выполняемой устройством 1705 декодирования сигнала, смикшированного путем сокращения количества каналов (вых1).

На Фиг.18 проиллюстрировано множество полос частот, в которых применяют ПУМ, согласно варианту осуществления настоящего изобретения. При применении ПУМ к полосам частот звукового сигнала ПУМ может иметь то же самое значение, как разность уровня канала (РУГК) звукового сигнала. Например, ПУМ может иметь то же самое количество диапазонов параметра, как РУГК. Соответственно, когда в устройстве декодирования реализовано применение ПУМ, то, как показано на Фиг.18, имеется возможность определить количество групп, на которые следует разделить весь диапазон частот, на основании значения "bsFreqResStridexxx".

Когда значение "pbStride" 1, то разделение всего диапазона частот на группы не выполняют. В этом случае операцию считывания ПУМ выполняют для каждой полосы частот, и считанное значение ПУМ применяют к этой полосе частот. Когда значение "pbStride" равно 5, то считывание ПУМ выполняют для каждых 5 полос частот, и считанное значение ПУМ применяют к этим 5 полосам частот. С другой стороны, когда значение "pbStride" равно 28, то выполняют считывание ПУМ, и считанное значение ПУМ применяют ко всему диапазону частот. Таким образом, когда значение "pbStride" равно 28, то выполняют регулировку усиления во всем диапазоне частот, а когда "pbStride" имеет иное значение, чем 28, выполняют многополосную регулировку усиления.

Регулировка усиления на основе ПУМ также может выполняться для каждого канала сигнала, смикшированного путем сокращения количества каналов.

Операция применения ПУМ также может выполняться на основании временных интервалов. Здесь термин "временной интервал" означает промежуток времени, посредством которого звуковой сигнал разделен на одинаковые отрезки во временной области. Соответственно, когда в конкретном месте по времени происходит резкое изменение уровня громкости в сторону увеличения громкости звука, то имеется возможность выполнить регулировку усиления для громкого звука в этом конкретном месте по времени. Когда происходит изменение значения ПУМ, то для ПУМ выполняют первичную интерполяцию. В противном случае значение ПУМ сохраняют. Таким образом, в случае регулировки усиления во всем диапазоне частот существует одно значение ПУМ в каждом временном интервале для всего диапазона частот. С другой стороны, в случае многополосной регулировки усиления существует одно значение ПУМ для каждого временного интервала в многочастотном диапазоне.

На Фиг.19 изображена схема последовательности операций, на которой проиллюстрирован способ кодирования звукового сигнала, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Устройство кодирования, в котором выполняют способ кодирования звукового сигнала, сначала принимает многоканальный звуковой сигнал (операция S1901).

Затем выполняют микширование многоканального звукового сигнала с сокращением количества каналов посредством устройства микширования с сокращением количества каналов, входящего в состав устройства кодирования, которое, в свою очередь, осуществляет генерацию первого сигнала, смикшированного путем сокращения количества каналов (операция S1902).

Устройство генерации информации о пространственных параметрах, входящее в состав устройства кодирования, осуществляет генерацию сигнала с информацией о пространственных параметрах из многоканального звукового сигнала (операция S1902).

После этого устройство генерации ПУМ, входящее в состав устройства кодирования, сравнивает первый сигнал, смикшированный путем сокращения количества каналов, с сигналом, смикшированным путем сокращения количества каналов, который непосредственно введен извне устройства кодирования, то есть со вторым сигналом, смикшированным путем сокращения количества каналов. На основании результата сравнения устройство генерации ПУМ осуществляет генерацию ПУМ (операция S1903). Сгенерированное ПУМ затем применяют к первому сигналу, смикшированному путем сокращения количества каналов, или ко второму сигналу, смикшированному путем сокращения количества каналов, в устройстве применения ПУМ, входящем в состав устройства кодирования (операция S1904). После этого мультиплексор устройства кодирования осуществляет генерацию потока битов, содержащего сигнал, смикшированный путем сокращения количества каналов с применением ПУМ, и сигнал с информацией о пространственных параметрах (операция S1905). Сгенерированный поток битов передают в устройство декодирования (операция S1905).

Согласно настоящему изобретению может быть реализован другой способ кодирования звукового сигнала, в котором оба вида усиления: усиление для микширования с сокращением количества каналов и ПУМ применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов. Этот способ кодирования подобен способу кодирования, показанному на Фиг.19. Этот способ кодирования имеет отличие от способа кодирования, показанного на Фиг.19, состоящее в том, что этот способ содержит следующую дополнительную операцию: применяют усиление для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, после генерации сигнала, смикшированного путем сокращения количества каналов, и сигнала с информацией о пространственных параметрах, как показано на Фиг.19. В этом способе кодирования ПУМ может быть затем применено к сигналу, смикшированному путем сокращения количества каналов, к которому было применено усиление для микширования с сокращением количества каналов.

Согласно настоящему изобретению генерацию ПУМ выполняют таким образом, что генерацию низкочастотной части ПУМ осуществляют не как генерацию усиления, а создают путем выполнения остаточного кодирования (residual coding) для низкочастотной составляющей первого сигнала, смикшированного путем сокращения количества каналов, и генерацию высокочастотной части ПУМ осуществляют как генерацию усиления, так же как и в обычном способе, чтобы обеспечить возможность более высокой эффективности сгенерированного ПУМ. Термин "остаточное кодирование" здесь означает прямое кодирование части сигнала, смикшированного путем сокращения количества каналов.

В описанном выше способе генерацию низкочастотной части ПУМ осуществляют путем непосредственного выполнения остаточного кодирования для низкочастотной составляющей первого сигнала, смикшированного путем сокращения количества каналов. Однако генерация низкочастотной части ПУМ может быть осуществлена путем выполнения остаточного кодирования разности между первым сигналом, смикшированным путем сокращения количества каналов, и вторым сигналом, смикшированным путем сокращения количества каналов.

ПУМ, генерация которого осуществлена как генерация усиления, и ПУМ, генерация которого осуществлена в соответствии с остаточным кодированием низкочастотной составляющей первого сигнала, смикшированного путем сокращения количества каналов, применяют к сигналу, смикшированному путем сокращения количества каналов, для изменения сигнала, смикшированного путем сокращения количества каналов. Согласно настоящему изобретению информация для восстановления, связанная с точкой, где создается потеря уровня громкости сигнала, смикшированного путем сокращения количества каналов, может быть добавлена к ПУМ или может быть передана вместе с ПУМ для того, чтобы обеспечить возможность использования ПУМ с информацией для восстановления для изменения сигнала, смикшированного путем сокращения количества каналов, в устройстве декодирования.

Согласно настоящему изобретению в ПУМ также может содержаться информация для изменения сигнала, смикшированного путем сокращения количества каналов (например, путем изменения амплитуды сигнала, смикшированного путем сокращения количества каналов) и информация для восстановления второго сигнала, смикшированного путем сокращения количества каналов, для уменьшения разности между вторым сигналом, смикшированным путем сокращения количества каналов, и первым сигналом, смикшированным путем сокращения количества каналов. ПУМ, генерация которого осуществлена описанным выше способом, может быть передано в таком режиме, когда оно содержится в сигнале с информацией о пространственных параметрах.

На Фиг.20 изображена схема последовательности операций, на которой проиллюстрирован способ декодирования звукового сигнала, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов, согласно варианту осуществления настоящего изобретения. Со ссылкой на Фиг.20 устройство декодирования, в котором применяют способ декодирования звукового сигнала, принимает поток битов звукового сигнала (операция S2001). Поток битов содержит закодированный сигнал, смикшированный путем сокращения количества каналов, и закодированный сигнал с информацией о пространственных параметрах.

Демультиплексор устройства декодирования выделяет закодированный сигнал, смикшированный путем сокращения количества каналов, и закодированный сигнал с информацией о пространственных параметрах из принятого потока битов (операция S2002). Устройство декодирования сигнала, смикшированного путем сокращения количества каналов, входящее в состав устройства декодирования, декодирует выделенный сигнал, смикшированный путем сокращения количества каналов (операция S2003).

Когда устройство декодирования не может осуществить вывод сигнала, смикшированного путем сокращения количества каналов, в виде многоканального звукового сигнала с использованием информации о пространственных параметрах (операция S2004), то устройство декодирования может непосредственно осуществить вывод сигнала, смикшированного путем сокращения количества каналов, который был декодирован устройством декодирования сигнала, смикшированного путем сокращения количества каналов (операция S2008). В противном случае, когда устройство декодирования может осуществить вывод сигнала, смикшированного путем сокращения количества каналов, в виде многоканального звукового сигнала (операция S2004), то выполняют описанную ниже процедуру.

А именно устройство декодирования сигнала с информацией о пространственных параметрах, входящее в состав устройства декодирования, декодирует выделенный сигнал с информацией о пространственных параметрах, осуществляя генерацию информации о пространственных параметрах. Информацию о ПУМ также извлекают из сигнала с информацией о пространственных параметрах или из сигнала, смикшированного путем сокращения количества каналов, посредством устройства извлечения информации о ПУМ, входящего в состав устройства декодирования (операция S2005). ПУМ может быть определено на основании извлеченной информации о ПУМ. Устройство применения ПУМ, входящее в состав устройства декодирования, применяет определенное таким образом ПУМ к сигналу, смикшированному путем сокращения количества каналов (операция S2006). Устройство генерации многоканального сигнала, входящее в состав устройства декодирования, выполняет преобразование сигнала, смикшированного путем сокращения количества каналов с применением ПУМ, к многоканальному звуковому сигналу на основании информации о пространственных параметрах, и многоканальный звуковой сигнал выводят из устройства декодирования (операция S2007).

Согласно настоящему изобретению также может быть реализован другой способ декодирования, в котором к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов и ПУМ для изменения сигнала, смикшированного путем сокращения количества каналов. Этот способ декодирования аналогичен способу декодирования, показанному на Фиг.20. Этот способ декодирования имеет отличие от способа декодирования, показанного на Фиг.20, состоящее в том, что данный способ содержит следующую дополнительную операцию: к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов перед применением ПУМ к сигналу, смикшированному путем сокращения количества каналов (операция S2006). Ниже приведено более подробное описание этого способа декодирования.

Устройство извлечения информации об усилении для микширования с сокращением количества каналов и о ПУМ (на чертеже не показано) извлекает информацию об усилении для микширования с сокращением количества каналов и информацию о ПУМ из сигнала с информацией о пространственных параметрах или из сигнала, смикшированного путем сокращения количества каналов. Затем к сигналу, смикшированному путем сокращения количества каналов, применяют усиление для микширования с сокращением количества каналов, генерация которого осуществлена на основании извлеченной информации об усилении для микширования с сокращением количества каналов. Усиление для микширования с сокращением количества каналов может быть применено ко всей длительности сигнала, смикшированного путем сокращения количества каналов. После этого к сигналу, смикшированному путем сокращения количества каналов, применяются ПУМ, генерация которого осуществлена на основании извлеченной информации о ПУМ. Применение ПУМ к сигналу, смикшированному путем сокращения количества каналов, может выполняться в каждом кадре.

На Фиг.21 изображена блок-схема, на которой проиллюстрировано устройство кодирования, изменяющее уровень энергии отдельного канала, согласно варианту осуществления настоящего изобретения. Устройство кодирования содержит устройство 2102 обработки уровня отдельного канала, устройство 2104 микширования с сокращением количества каналов, устройство 2105 генерации информации о пространственных параметрах и мультиплексор 2108.

Со ссылкой на Фиг.21 устройство 2102 обработки уровня отдельного канала принимает многоканальный звуковой сигнал 2101, изменяет уровень энергии отдельного канала принятого многоканального звукового сигнала 2101 и осуществляет вывод измененного многоканального звукового сигнала 2103. Термин "уровень энергии" здесь означает значение, пропорциональное амплитуде соответствующего сигнала, и включает в себя уровень громкости. Тот факт, произошло ли изменение уровня энергии отдельного канала и насколько, может быть определен путем измерений или вычислений. В предпочтительном варианте изменение уровня энергии выполняют путем применения усиления отдельного канала к сигналу в том канале, в котором произошло изменение уровня энергии. Например, изменение уровня энергии может быть выполнено путем применения усиления канала объемного звучания или усиления канала низкочастотных эффектов (LFE) к каналу объемного звучания или к каналу низкочастотных эффектов (LFE). Устройство 2104 микширования с сокращением количества каналов выполняет микширование многоканального звукового сигнала 2103 с измененным уровнем энергии путем сокращения количества каналов, осуществляя тем самым генерацию сигнала 2106, смикшированного путем сокращения количества каналов. К тому же устройство 2105 генерации информации о пространственных параметрах извлекает информацию о пространственных параметрах из многоканального звукового сигнала 2103.

Мультиплексор 2108 осуществляет генерацию потока 2109 битов, содержащего сигнал 2106, смикшированный путем сокращения количества каналов, и сигнал 2107 с информацией о пространственных параметрах. Сигнал 2107 с информацией о пространственных параметрах сформирован из информации о пространственных параметрах, извлеченной устройством 2105 генерации информации о пространственных параметрах. Поток 2109 битов передают в устройство декодирования. Поток 2109 битов также может содержать информацию об усилении отдельного канала.

На Фиг.22 изображена блок-схема, на которой проиллюстрировано устройство декодирования, изменяющее уровень энергии отдельного канала, согласно варианту осуществления настоящего изобретения. Устройство декодирования содержит демультиплексор 2202, устройство 2205 декодирования сигнала, смикшированного путем сокращения количества каналов, устройство 2206 декодирования сигнала с информацией о пространственных параметрах, устройство 2210 генерации многоканального сигнала, и устройство 2212 обработки уровня отдельного канала.

Со ссылкой на Фиг.22 демультиплексор 2202 принимает поток 2201 битов звукового сигнала и выделяет из потока 2201 битов закодированный сигнал 2203, смикшированный путем сокращения количества каналов, и закодированный сигнал 2204 с информацией о пространственных параметрах.

Устройство 2205 декодирования сигнала, смикшированного путем сокращения количества каналов, декодирует закодированный сигнал 2203, смикшированный путем сокращения количества каналов, и осуществляет вывод результирующего декодированного сигнала 2208, смикшированного путем сокращения количества каналов. Устройство 2205 декодирования сигнала, смикшированного путем сокращения количества каналов, может также осуществлять генерацию сигнала 2209, смикшированного путем сокращения количества каналов, который имеет формат данных с импульсно-кодовой модуляцией (ИКМ), путем декодирования закодированного сигнала 2203, смикшированного путем сокращения количества каналов.

Устройство 2206 декодирования сигнала с информацией о пространственных параметрах выполняет декодирование сигнала 2204 с информацией о пространственных параметрах и осуществляет вывод результирующей информации 2207 о пространственных параметрах. Устройство 2210 генерации многоканального сигнала выполняет преобразование сигнала 2209, смикшированного путем сокращения количества каналов, в многоканальный звуковой сигнал 2211.

Устройство 2212 обработки уровня отдельного канала получает многоканальный звуковой сигнал 2211, информацию 2207 о пространственных параметрах, и сигнал 2208, смикшированный путем сокращения количества каналов, и выполняет операцию изменения уровня энергии в канале на основании принятых сигналов.

Устройство 2212 обработки уровня отдельного канала содержит устройство 2213 регистрации уровня канала, устройство 2214 распознавания изменения и устройство 2215 изменения уровня канала. Устройство 2213 регистрации уровня канала обнаруживает, произошло ли изменение уровня энергии канала многоканального звукового сигнала 2211 в каждом канале и насколько. Устройство 2214 распознавания изменения распознает, следует ли выполнять изменение уровня энергии в канале, на основании результата операции обнаружения, выполненной в устройстве 2213 регистрации уровня канала. Устройство 2215 изменения уровня канала изменяет уровень энергии отдельного канала, на основании результата операции распознавания, выполненной в устройстве 2214 распознавания изменения.

Когда устройство декодирования не может осуществить вывод многоканального звукового сигнала, то устройство декодирования может непосредственно осуществить вывод сигнала 2008, смикшированного путем сокращения количества каналов, генерация которого была осуществлена в соответствии с операцией декодирования, выполненной устройством 2005 декодирования сигнала, смикшированного путем сокращения количества каналов (вых1). В противном случае, когда устройство декодирования может осуществить вывод многоканального звукового сигнала, то устройство декодирования может осуществить вывод многоканального звукового сигнала после изменения уровня энергии многоканального звукового сигнала в каждом канале (вых2).

Устройство декодирования, показанное на Фиг.22, может само изменять уровень отдельного канала при отсутствии информации об изменении уровня отдельного канала, переданной из устройства кодирования. Это устройство декодирования имеет отличительный признак, заключающийся в том, что устройство 2212 обработки уровня отдельного канала выполнено независимым от устройства 2210 генерации многоканального сигнала. Устройство 2213 регистрации уровня канала, содержащее в устройстве 2212 обработки уровня отдельного канала, может вычислять уровень энергии исходного звукового сигнала на основании разности уровней громкости каналов (РУГК), содержащейся в информации о пространственных параметрах, и сигнала 2218, смикшированного путем сокращения количества каналов. Вычисленный уровень энергии сравнивают с уровнем энергии многоканального звукового сигнала 2211, введенного из устройства 2210 генерации многоканального сигнала.

Когда на основании результата сравнения определено, что имеется разность уровней, то в устройстве 2215 изменения уровня канала выполняют операцию изменения уровня энергии. То есть устройство 2215 изменения уровня канала умножает уровень энергии многоканального звукового сигнала 2211 на заранее заданное значение усиления отдельного канала для изменения уровня энергии многоканального звукового сигнала 2211. Когда имеется разность уровней энергии, то в этом случае устройство 2214 распознавания изменения может определить, что необходимо выполнить операцию изменения уровня канала. В альтернативном варианте устройство 2214 распознавания изменения может определить, что необходимо выполнить изменение уровня канала, только в том случае, когда имеющаяся разность уровней энергии превышает заранее заданное предельное значение.

Согласно настоящему изобретению может быть реализовано другое устройство декодирования, являющееся аналогичным устройству декодирования, показанному на Фиг.22, но отличающееся от устройства декодирования, показанного на Фиг.22, тем, что устройство регистрации уровня канала и устройство распознавания изменения содержатся в устройстве генерации многоканального сигнала, а устройство изменения уровня канала выполнено независимым.

Согласно настоящему изобретению может быть реализовано другое устройство декодирования, являющееся аналогичным устройству декодирования, показанному на Фиг.22, но отличающееся от устройства декодирования, показанного на Фиг.22 тем, что устройство регистрации уровня канала, устройство распознавания изменения, и устройство изменения уровня канала содержатся в устройстве генерации многоканального сигнала. В этом случае имеется возможность выполнения изменения уровня энергии в каждом канале с использованием внутренней функции в устройстве генерации многоканального сигнала. Способ изменения уровня энергии, в котором используют внутреннюю функцию, может содержать способ регулировки значений усиления фильтров, которыми являются, например, квадратурные зеркальные фильтры, КЗФ (QMFs), или гибридные фильтры, в случае использования таких фильтров, способ регулировки результирующего коэффициента усиления, способ регулировки значения предварительной матрицы или пост-матрицы, способ регулировки функции, связанной со средством применения огибающей поддиапазона частот или со средством применения временной огибающей, способ регулировки значений усиления декоррелированного сигнала и исходного сигнала при суммировании сигналов или способ, в котором вместо описанных выше способов используют специальный модуль. В тех случаях, когда декодирование выполняют с использованием квадратурных зеркальных фильтров (КЗФ) или гибридных фильтров, имеется возможность проанализировать характеристики полосы частот каждого канала. В тех случаях, когда декодирование выполняют с использованием средства применения огибающей поддиапазона частот или средства применения временной огибающей, имеется возможность разрешить пользователю осуществить генерацию конечного сигнала, обеспечивающего реалистичные эффекты.

На Фиг.23 изображена блок-схема, на которой проиллюстрировано устройство декодирования, изменяющее уровень отдельного канала, согласно варианту осуществления настоящего изобретения. Это устройство декодирования имеет конфигурацию, аналогичную конфигурации устройства декодирования, показанного на Фиг.22. Соответственно подробное описание аналогичной конфигурации, содержащей демультиплексор 2302, устройство 2305 декодирования сигнала, смикшированного путем сокращения количества каналов, и устройство 2303 декодирования сигнала с информацией о пространственных параметрах, не приведено. Устройство декодирования, показанное на Фиг.23, отличается от устройства декодирования, показанного на Фиг.22, тем, что месторасположение устройства 2308 обработки уровня отдельного канала отличается от месторасположения этого устройства в устройстве декодирования, показанном на Фиг.22.

Со ссылкой на Фиг.23 устройство 2308 обработки уровня отдельного канала содержит устройство 2309 регистрации уровня канала, устройство 2310 распознавания изменения и устройство 2311 изменения уровня канала. Устройство 2308 обработки уровня отдельного канала может изменять уровень энергии сигнала 2307, смикшированного путем сокращения количества каналов, который имеет формат данных с импульсно-кодовой модуляцией (ИКМ), в каждом отдельном канале.

В частности, когда предполагают, что возможно обнаружить разность уровней энергии между исходным сигналом и восстановленным сигналом в соответствии с результатом сравнения уровней энергии исходного сигнала и восстановленного сигнала, то устройство 2311 изменения уровня канала поканально изменяет уровень энергии сигнала 2307, смикшированного путем сокращения количества каналов.

Устройство 2308 обработки уровня отдельного канала передает сигнал 2312, смикшированный путем сокращения количества каналов, в устройство 2313 генерации многоканального сигнала. Устройство 2313 генерации многоканального сигнала может осуществить вывод сигнала 2312, смикшированного путем сокращения количества каналов, как многоканального звукового сигнала 2314 после обработки сигнала 2312, смикшированного путем сокращения количества каналов, с использованием сигнала 2304 с информацией о пространственных параметрах, где генерация информации о пространственных параметрах осуществлена в соответствии с операцией декодирования, выполненной устройством 2303 декодирования сигнала с информацией о пространственных параметрах, для сигнала с информацией о пространственных параметрах (вых2).

При этом согласно настоящему изобретению изменение уровня энергии отдельного канала может быть реализовано с использованием потока битов соответствующего звукового сигнала. В частности, когда устройство кодирования изменяет уровень энергии отдельного канала и передает информацию об изменении в таком режиме, когда информация об изменении содержится в потоке битов, то устройство декодирования, принимающее поток битов, может извлечь информацию об изменении из потока битов и может восстановить уровень энергии отдельного канала на основании извлеченной информации об изменении. Например, устройство кодирования устанавливает различные значения усиления канала объемного звучания, применяет одно значение усиления канала объемного звучания, выбранное из значений усиления канала объемного звучания, к каналу объемного звучания, и вводит информацию о примененном усилении канала объемного звучания, а именно информацию об усилении канала объемного звучания, в состав потока битов. В этом случае информация об усилении канала объемного звучания может содержаться в сигнале с информацией о пространственных параметрах, имеющемся в потоке битов. Устройство декодирования извлекает информацию об усилении канала объемного звучания из потока битов. Используя извлеченную информацию, устройство декодирования может восстановить уровень энергии канала объемного звучания до первоначального уровня энергии. Подробное описание способа введения информации об изменении в поток битов приведено ниже.

Сначала выполняют форматирование сигнала с информацией о пространственных параметрах таким образом, чтобы он имел заголовок для каждого кадра или для множества кадров. В заголовке содержится информация об изменении, относящаяся к отдельному каналу (например, информация об усилении канала объемного звучания). В тех случаях, когда сигнал с информацией о пространственных параметрах имеет заголовок для множества кадров, то этот заголовок может содержаться в сигнале с информацией о пространственных параметрах через каждое множество кадров, будучи расположенным периодически или не периодически.

Поток битов может также содержать бит с информацией, отображающей то, "какой именно канал следует усилить или ослабить, и насколько следует усилить или ослабить канал (в децибелах (дБ))". В этом случае поток битов может содержать информацию о том, следует ли изменить уровень энергии отдельного канала или нет, и о том, следует ли постоянно использовать предыдущие данные при выполнении изменения или нет. Поток битов может также содержать информацию о том, какой именно канал следует изменить. Кроме того, поток битов может содержать информацию об уровне ослабления или усиления канала, подлежащего изменению (выраженном в децибелах (дБ)).

Согласно настоящему изобретению может быть реализован способ, в котором отдельные каналы группируют таким образом, что регулирование значений усиления отдельных каналов выполняют для каждой группы. То есть в устройстве кодирования различные значения усиления каналов применяют соответственно к различным группам отдельных каналов. После выполнения операции микширования с сокращением количества каналов устройство кодирования производит передачу информации об усилении отдельного канала в режиме, в котором информация об усилении отдельного канала содержится в потоке битов, генерация которого осуществлена в соответствии с операцией микширования с сокращением количества каналов. Устройство декодирования восстанавливает уровень энергии многоканального звукового сигнала до первоначального уровня энергии путем применения величин, обратных значениям усиления канала, которые были использованы в устройстве кодирования для многоканального звукового сигнала для каждой группы.

Например, каналы звукового сигнала могут быть сгруппированы в три группы, а именно первую группу, состоящую из центрального канала, левого переднего канала, и правого переднего канала, вторую группу, состоящую из левого тылового канала и правого тылового канала, и третью группу, состоящую из канала низкочастотных эффектов (LFE). В этом случае может быть использован первый способ регулирования усиления отдельного канала, в котором операцию применения усиления отдельного канала к каждому каналу выполняют для каждой группы, а результирующие каналы суммируют для генерации монофонического сигнала, смикшированного путем сокращения количества каналов. В устройстве декодирования осуществляют преобразование монофонического сигнала, смикшированного путем сокращения количества каналов, во множество каналов, и каждый из этого множества каналов умножают на соответствующее усиление отдельного канала для каждой группы, таким образом, его вывод осуществляют после восстановления до первоначального уровня. Умножение на усиление отдельного канала может быть выполнено после или во время процедуры преобразования.

Также может быть использован второй способ регулирования усиления отдельного канала. Согласно второму способу усиление отдельного канала применяют к каждому каналу в группе. После этого суммируют левый передний канал и левый тыловой канал, осуществляя генерацию левого канала, и суммируют правый передний канал и правый тыловой канал, осуществляя генерацию правого канала. Усиление отдельного канала применяют к каждому из следующих каналов: к центральному каналу и к каналу низкочастотных эффектов (LFE), который, в свою очередь, умножают на 1/2^(1/2). Полученные в результате этого каналы добавляют соответственно к левому каналу и к правому каналу, осуществляя генерацию стереофонического сигнала, смикшированного путем сокращения количества каналов. Когда декодируют стереофонический сигнал, смикшированный путем сокращения количества каналов, сгенерированный описанным выше способом, для генерации конечного сигнала, то операцию применения усиление отдельного канала выполняют для каждого канала. В частности, сигналы, извлеченные из левого канала и правого канала сигнала, смикшированного путем сокращения количества каналов, умножают на 2^(1/2) и добавляют к центральному каналу и к каналу низкочастотных эффектов (LFE). Несмотря на то, что был описан вариант осуществления изобретения, связанный с монофоническим или стереофоническим сигналом, смикшированным путем сокращения количества каналов, настоящее изобретение не ограничено этим вариантом.

Согласно настоящему изобретению может быть реализован другой способ, в котором генерацию сигнала, смикшированного путем сокращения количества каналов, осуществляют после применения усиления отдельного канала к каждому каналу для каждой группы, и для сгенерированного сигнала, смикшированного путем сокращения количества каналов, выполняют операцию применения усиления для микширования с сокращением количества каналов.

Для специалистов в данной области техники очевидно, что могут быть выполнены различные изменения и модификации настоящего изобретения, не выходя за пределы сущности или объема настоящего изобретения. Следовательно, подразумевают, что настоящее изобретение охватывает собой изменения и модификации этого изобретения при условии, что они не выходят за пределы объема прилагаемой формулы изобретения и ее эквивалентов.

ПРИГОДНОСТЬ ДЛЯ ПРИМЕНЕНИЯ В ПРОМЫШЛЕННЫХ ЦЕЛЯХ

Из приведенного выше описания очевидно, что согласно настоящему изобретению имеется возможность эффективного предотвращения потери уровня громкости многоканального звукового сигнала путем применения усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов, генерация которого осуществлена в соответствии с микшированием многоканального звукового сигнала с сокращением количества каналов, или путем микширования многоканального звукового сигнала с сокращением количества каналов, после применения усиления для микширования с сокращением количества каналов к многоканальному звуковому сигналу.

Проблема потери уровня громкости многоканального звукового сигнала также может быть предотвращена путем применения ПУМ к сигналу, смикшированному путем сокращения количества каналов, генерация которого осуществлена в соответствии с микшированием многоканального звукового сигнала с сокращением количества каналов, или путем выполнения операции применения ПУМ к сигналу, смикшированному путем сокращения количества каналов, после применения усиления для микширования с сокращением количества каналов к сигналу, смикшированному путем сокращения количества каналов.

Кроме того, проблема потери уровня громкости многоканального звукового сигнала может быть предотвращена путем изменения уровней энергии отдельных каналов многоканального звукового сигнала и путем микширования измененного многоканального звукового сигнала с сокращением количества каналов, для генерации сигнала, смикшированного путем сокращения количества каналов.

Изобретение относится к способу и/или устройству кодирования и/или декодирования звукового сигнала, в которых в устройстве кодирования усиление микширования с сокращением количества каналов применяется к сигналу, смикшированному путем сокращения количества каналов. При этом устройство кодирования осуществляет передачу в устройство декодирования потока битов, содержащего информацию о примененном усилении для микширования с сокращением количества каналов. Устройство декодирования восстанавливает сигнал, смикшированный путем сокращения количества каналов, с использованием информации об усилении для микширования с сокращением количества каналов. Также раскрыты способ и/или устройство кодирования и/или декодирования звукового сигнала, в которых устройство кодирования применяет произвольное усиление для микширования с сокращением количества каналов (ПУМ) к сигналу, смикшированному путем сокращения количества каналов, осуществляет передачу потока битов, содержащего информацию о примененном ПУМ в устройство декодирования. Устройство декодирования восстанавливает сигнал, смикшированный путем сокращения количества каналов, с использованием информации о ПУМ. Также раскрыты способ и/или устройство кодирования и/или декодирования звукового сигнала, в которых изменяют уровень энергии отдельного канала, и восстанавливают измененный уровень энергии. Технический результат - восстановление уровня громкости и повышение качества звука. 4 н. и 6 з.п. ф-лы, 24 ил.

1. Способ декодирования звукового сигнала, содержащий этапы, на которых:
принимают поток битов звукового сигнала и выделяют кодированный сигнал, смикшированный путем сокращения количества каналов, и кодированную информацию о пространственных параметрах;
выделяют усиление микширования с сокращением количества каналов из информации о пространственных параметрах;
изменяют уровень энергии всех кадров в сигнале, смикшированном путем сокращения количества каналов, используя усиление микширования с сокращением количества каналов; и
генерируют сигнал, смикшированный путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, в многоканальный звуковой сигнал, с информацией о пространственных параметрах.

2. Способ по п.1, в котором усиление микширования с сокращением количества каналов содержится в области заголовка информации о пространственных параметрах.

3. Способ по п.1, в котором уровень энергии изменяется во временной области.

4. Способ по п.3, в котором информация о пространственных параметрах применяется в частотной области.

5. Способ кодирования звукового сигнала, содержащий этапы, на которых:
принимают звуковой сигнал, имеющий, по меньшей мере, один канал;
генерируют сигнал, смикшированный путем сокращения количества каналов, посредством микширования звукового сигнала с сокращением количества каналов;
генерируют информацию о пространственных параметрах из звукового сигнала для микширования с повышением количества каналов сигнала, смикшированного путем сокращения количества каналов;
определяют усиление микширования с сокращением количества каналов на основании информации о пространственных параметрах;
изменяют уровень энергии всех кадров в сигнале, смикшированном путем сокращения количества каналов, используя усиление микширования с сокращением количества каналов; и
генерируют поток битов, содержащий сигнал, смикшированный путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, и информацию о пространственных параметрах.

6. Устройство для декодирования звукового сигнала, содержащее:
демультиплексор, принимающий поток битов звукового сигнала и выделяющий кодированную информацию о пространственных параметрах и кодированный сигнал, смикшированный путем сокращения количества каналов, из звукового сигнала;
блок выделения усиления микширования с сокращением количества каналов, выделяющий усиление микширования с сокращением количества каналов из информации о пространственных параметрах;
блок применения усиления микширования с сокращением количества каналов, изменяющий уровень энергии всех кадров в сигнале, смикшированном путем сокращения количества каналов, используя усиления микширования с сокращением количества каналов; и
блок генерирования многоканального сигнала, генерирующий сигнал, смикшированный путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, в многоканальный звуковой сигнал, с информацией о пространственных параметрах.

7. Устройство по п.6, в котором усиление микширования с сокращением количества каналов содержится в области заголовка информации о пространственных параметрах.

8. Устройство по п.6, в котором блок применения усиления микширования с сокращением количества каналов изменяет уровень энергии во временной области.

9. Устройство по п.8, в котором информация о пространственных параметрах применяется в частотной области.

10. Устройство кодирования звукового сигнала, содержащее:
блок микширования с сокращением количества каналов, принимающий звуковой сигнал, имеющий, по меньшей мере, один канал, и генерирующий сигнал, смикшированный путем сокращения количества каналов из звукового сигнала;
блок генерирования информации о пространственных параметрах, генерирующий информацию о пространственных параметрах из звукового сигнала, для микширования с повышением количества каналов сигнала, смикшированного путем сокращения количества каналов;
блок определения усиления микширования с сокращением количества каналов, определяющий усилением микширования с сокращением количества каналов на основании информации о пространственных параметрах;
блок применение усиления микширования с сокращением количества каналов, изменяющий уровень энергии всех кадров в сигнале, смикшированном путем сокращения количества каналов, используя усиление микширования с сокращением количества каналов; и
мультиплексор, генерирующий поток битов, содержащий сигнал, смикшированный путем сокращения количества каналов, к которому применено усиление для микширования с сокращением количества каналов, и информацию о пространственных параметрах.