УСТРОЙСТВО И СПОСОБ ДЛЯ КОДИРОВАНИЯ/ДЕКОДИРОВАНИЯ СИГНАЛА Российский патент 2010 года по МПК G10L19/00 

Область техники

Настоящее изобретение относится к способу кодирования/декодирования и устройству кодирования/декодирования, более конкретно, к устройству кодирования/декодирования, которое может обрабатывать аудиосигнал так, чтобы можно было создавать трехмерные (3D) звуковые эффекты, и способу кодирования/декодирования, использующему устройство кодирования/декодирования.

Предшествующий уровень техники

Устройство кодирования выполняет понижающее микширование многоканального сигнала в сигнал с меньшим количеством каналов и передает сигнал понижающего микширования на устройство декодирования. Затем устройство декодирования восстанавливает многоканальный сигнал из сигнала понижающего микширования и генерирует восстановленный многоканальный сигнал с использованием трех или больше динамиков, например, 5.1-канальных динамиков.

Многоканальные сигналы могут быть воспроизведены двухканальными динамиками, такими как наушники. В этом случае, чтобы создать у пользователя ощущение, как будто звуки, выведенные из двухканальных динамиков, были воспроизведены из трех или более источников звука, необходимо разработать трехмерные (3D) способы обработки, способные кодировать или декодировать многоканальные сигналы так, чтобы могли создаваться трехмерные эффекты.

Раскрытие изобретения

Техническая проблема

Настоящее изобретение обеспечивает устройство кодирования/декодирования и способ кодирования/декодирования, которые могут генерировать многоканальные сигналы в различных средах воспроизведения, эффективно обрабатывая сигналы с 3D эффектами.

Техническое решение

Согласно аспекту настоящего изобретения предложен способ декодирования для восстановления многоканального сигнала, причем способ декодирования включает в себя извлечение трехмерного (3D) сигнала понижающего микширования и пространственной информации из входного потока битов, удаление 3D эффектов из 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над 3D сигналом понижающего микширования, и генерацию многоканального сигнала, используя пространственную информацию и сигнал понижающего микширования, полученный посредством удаления.

Согласно другому аспекту настоящего изобретения предложен способ декодирования для восстановления многоканального сигнала, причем способ декодирования включает в себя извлечение 3D сигнала понижающего микширования и пространственной информации из входного потока битов, генерацию многоканального сигнала, используя 3D сигнал понижающего микширования и пространственную информацию, и удаление 3D эффектов из многоканального сигнала путем выполнения операции 3D воспроизведения над многоканальным сигналом.

Согласно другому аспекту настоящего изобретения предложен способ кодирования для кодирования многоканального сигнала с множеством каналов, причем способ кодирования включает в себя кодирование многоканального сигнала в сигнал понижающего микширования с меньшим количеством каналов, генерацию пространственной информации относительно множества каналов, генерацию 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над сигналом понижающего микширования, и генерацию потока битов, включающего в себя 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложен способ кодирования для кодирования многоканального сигнала с множеством каналов, причем способ кодирования включает в себя выполнение операции 3D воспроизведения над многоканальным сигналом, кодирование многоканального сигнала, полученного операцией 3D воспроизведения, в 3D сигнал понижающего микширования с меньшим количеством каналов, генерацию пространственной информации относительно множества каналов и генерацию потока битов, включающего в себя 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложено устройство декодирования для восстановления многоканального сигнала, причем устройство декодирования включает в себя блок распаковки битов, который извлекает кодированный 3D сигнал понижающего микширования и пространственную информацию из входного потока битов, декодер понижающего микширования, который декодирует кодированный 3D сигнал понижающего микширования, блок 3D воспроизведения, который удаляет 3D эффекты из декодированного 3D сигнала понижающего микширования, полученного декодированием, выполненным декодером понижающего микширования, посредством выполнения операции 3D воспроизведения над декодированным 3D сигналом понижающего микширования, и многоканальный декодер, который генерирует многоканальный сигнал, используя пространственную информацию и сигнал понижающего микширования, полученный удалением, выполненным блоком 3D воспроизведения.

Согласно другому аспекту настоящего изобретения предложено устройство декодирования для восстановления многоканального сигнала, причем устройство декодирования включает в себя блок распаковки битов, который извлекает кодированный 3D сигнал понижающего микширования и пространственную информацию из входного потока битов, декодер понижающего микширования, который декодирует кодированный 3D сигнал понижающего микширования, многоканальный декодер, который генерирует многоканальный сигнал, используя пространственную информацию и 3D сигнал понижающего микширования, полученный декодированием, выполненным декодером понижающего микширования, и блок 3D воспроизведения, который удаляет 3D эффекты из многоканального сигнала, выполняя операцию 3D воспроизведения над многоканальным сигналом.

Согласно другому аспекту настоящего изобретения предложено устройство кодирования для кодирования многоканального сигнала с множеством каналов, причем устройство кодирования включает в себя многоканальный кодер, который кодирует многоканальный сигнал в сигнал понижающего микширования с меньшим количеством каналов и генерирует пространственную информацию относительно множества каналов, блок 3D воспроизведения, который генерирует 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, кодер понижающего микширования, который кодирует 3D сигнал понижающего микширования, и блок компоновки битов, который генерирует поток битов, включающий в себя кодированный 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложено устройство кодирования для кодирования многоканального сигнала с множеством каналов, причем устройство кодирования включает в себя блок 3D воспроизведения, который выполняет операцию 3D воспроизведения над многоканальным сигналом, многоканальный кодер, который кодирует многоканальный сигнал, полученный операцией 3D воспроизведения, в трехмерный сигнал понижающего микширования с меньшим количеством каналов, и генерирует пространственную информацию относительно множества каналов, кодер понижающего микширования, который кодирует 3D сигнал понижающего микширования, и блок компоновки битов, который генерирует поток битов, включающий в себя кодированный 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложен поток битов, включающий в себя поле данных, которое включает в себя информацию относительно 3D сигнала понижающего микширования, поле информации фильтра, которое включает в себя информацию фильтра, идентифицирующую фильтр, используемый для генерации 3D сигнала понижающего микширования, первое поле заголовка, которое включает в себя информацию, указывающую, содержит ли поле информации фильтра информацию фильтра, второе поле заголовка, которое включает в себя информацию, указывающую, содержит ли поле информации фильтра коэффициенты фильтра или коэффициенты инверсного фильтра для фильтра, и поле пространственной информации, которое включает в себя пространственную информацию относительно множества каналов.

Согласно другому аспекту настоящего изобретения предложен машиночитаемый носитель записи, имеющий компьютерную программу для выполнения любого из вышеописанных способов декодирования и вышеописанных способов кодирования.

Полезные эффекты

Согласно настоящему изобретению возможно эффективно кодировать многоканальные сигналы с 3D эффектами и адаптивно восстанавливать и воспроизводить аудиосигналы с оптимальным качеством звучания согласно особенностям среды воспроизведения.

Краткое описание чертежей

Фиг. 1 - блок-схема устройства кодирования/декодирования согласно варианту осуществления настоящего изобретения;

Фиг. 2 - блок-схема устройства кодирования согласно варианту осуществления настоящего изобретения;

Фиг. 3 - блок-схема устройства декодирования согласно варианту осуществления настоящего изобретения;

Фиг. 4 - блок-схема устройства кодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 5 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 6 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 7 - блок-схема трехмерного (3D) устройства воспроизведения согласно варианту осуществления настоящего изобретения;

Фиг. 8-11 иллюстрируют потоки битов согласно вариантам осуществления настоящего изобретения;

Фиг. 12 - блок-схема устройства кодирования/декодирования для обработки произвольного сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 13 - блок-схема произвольного блока 3D воспроизведения/компенсации сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 14 - блок-схема устройства декодирования для обработки совместимого сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 15 - блок-схема блока 3D воспроизведения/обработки совместимости понижающего микширования согласно варианту осуществления настоящего изобретения; и

Фиг. 16 - блок-схема устройства декодирования для компенсации перекрестной связи согласно варианту осуществления настоящего изобретения.

Лучший режим выполнения изобретения

Настоящее изобретение будет в дальнейшем описано более полно со ссылками на иллюстрирующие чертежи, на которых представлены приведенные для примера варианты осуществления изобретения.

На фиг. 1 показана блок-схема устройства кодирования/декодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 1 блок 100 кодирования 100 включает в себя многоканальный кодер 110, блок 120 3D воспроизведения, кодер 130 понижающего микширования и блок 140 компоновки битов 140.

Многоканальный кодер 110 выполняет понижающее микширование многоканального сигнала с множеством каналов в сигнал понижающего микширования, такой как стереосигнал или моносигнал, и генерирует пространственную информацию относительно каналов многоканального сигнала. Пространственная информация необходима, чтобы восстановить многоканальный сигнал из сигнала понижающего микширования.

Примеры пространственной информации включают разность уровней каналов (CLD), которая указывает различие между уровнями энергии пары каналов, коэффициент предсказания канала (CRC), который является коэффициентом предсказания, используемым для генерации 3-канального сигнала, основанного на 2-канальном сигнале, межканальную корреляцию (ICC), которая указывает корреляцию между парой каналов, и разность времени каналов (CTD), которая является временным интервалом между парой каналов.

Блок 120 3D воспроизведения генерирует 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования. 3D сигнал понижающего микширования может быть 2-канальным сигналом с тремя или более направленностями и может, таким образом, воспроизводиться 2-канальными динамиками, такими как наушники с 3D эффектами. Другими словами, 3D сигнал понижающего микширования может быть воспроизведен 2-канальными динамиками так, чтобы пользователь мог воспринимать, как будто 3D сигнал понижающего микширования был воспроизведен из источника звука с тремя или более каналами. Направление источника звука может быть определено, основываясь, по меньшей мере, на одном из разности между интенсивностями двух звуков соответственно приходящих на оба уха, временного интервала между двумя звуками и разности фаз двух звуков. Поэтому блок 120 3D воспроизведения может преобразовать сигнал понижающего микширования в 3D сигнал понижающего микширования, основываясь на том, как люди могут определить 3D местоположение источника звука своими органами слуха.

Блок 120 3D воспроизведения может генерировать 3D сигнал понижающего микширования путем фильтрации сигнала понижающего микширования, используя фильтр. В этом случае, связанная с фильтром информация, например коэффициент фильтра, может быть введена в блок 120 3D воспроизведения внешним источником. Блок 120 3D воспроизведения может использовать пространственную информацию, предоставленную многоканальным кодером 110, чтобы генерировать 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования. Более конкретно, блок 120 3D воспроизведения может преобразовать сигнал понижающего микширования в 3D сигнал понижающего микширования путем преобразования сигнала понижающего микширования в воображаемый многоканальный сигнал, используя пространственную информацию и фильтруя воображаемый многоканальный сигнал.

Блок 120 3D воспроизведения может генерировать 3D сигнал понижающего микширования путем фильтрации сигнала понижающего микширования, используя фильтр со связанной с головой передаточной функцией (HRTF).

HRTF - передаточная функция, которая описывает передачу звуковых волн между источником звука в произвольном местоположении и барабанной перепонкой, и возвращает значение, которое изменяется согласно направлению и высоте источника звука. Если сигнал без направленности фильтруется с использованием HRTF, то сигнал может прослушиваться так, как будто он был воспроизведен из определенного направления.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения в частотной области, например, области дискретного преобразования Фурье (ДПФ), области быстрого преобразования Фурье (БПФ). В этом случае, блок 3D воспроизведения 120 может выполнить ДПФ или БПФ перед операцией 3D воспроизведения или может выполнить обратное ДПФ (ОДПФ) или обратное БПФ (ОБПФ) после операции 3D воспроизведения.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения в области квадратурного зеркального фильтра (QMF)/гибридной области. В этом случае, блок 120 3D воспроизведения 120 может выполнить операции QMF/гибридного анализа и синтеза до или после операции 3D воспроизведения.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения во временной области. Блок 120 3D воспроизведения может определить, в какой области должна быть выполнена операция 3D воспроизведения согласно необходимому качеству звучания и операционным возможностям устройства кодирования/декодирования.

Кодер 130 понижающего микширования кодирует сигнал понижающего микширования, выведенный многоканальным кодером 110, или сигнал 3D понижающего микширования, выведенный блоком 120 3D воспроизведения. Кодер 130 понижающего микширования может кодировать сигнал понижающего микширования, выведенный многоканальным кодером 110, или 3D сигнал понижающего микширования, выведенный блоком 120 3D воспроизведения, использующим способ аудиокодирования, способ усовершенствованного аудио кодирования (AAC), способ MPEG уровня 3 (MP3) или способ кодирования с использованием разрядной арифметики (BSAC).

Кодер 130 понижающего микширования может кодировать не-3D сигнал понижающего микширования или 3D сигнал понижающего микширования. В этом случае, кодированный не-3D сигнал понижающего микширования и кодированный 3D сигнал понижающего микширования могут оба быть включены в поток битов, который должен передаваться.

Блок 140 компоновки битов генерирует поток битов на основе пространственной информации и либо кодированного не-3D сигнала понижающего микширования, либо кодированного 3D сигнала понижающего микширования.

Поток битов, сгенерированный блоком 140 компоновки битов, может включать в себя пространственную информацию, информацию идентификации понижающего микширования, указывающую, является ли сигнал понижающего микширования, включенный в поток битов, не-3D сигналом понижающего микширования или 3D сигналом понижающего микширования, и информацию, идентифицирующую фильтр, используемый блоком 120 3D воспроизведения (например, информацию коэффициентов HRTF).

Другими словами, поток битов, сгенерированный блоком 140 компоновки битов, может включать в себя, по меньшей мере, один из не-3D сигнала понижающего микширования, который еще не прошел 3D обработку, и 3D сигнала понижающего микширования кодера, который получен операцией 3D-обработки, выполненной устройством кодирования, и информацию идентификации понижающего микширования, идентифицирующую тип сигнала понижающего микширования, включенного в поток битов.

Может быть определено, какой из не-3D сигнала понижающего микширования и 3D сигнала понижающего микширования кодера должен быть включен в поток битов, сгенерированный блоком 140 компоновки битов, по выбору пользователя или согласно функциональным возможностям устройства кодирования/декодирования, проиллюстрированного на фиг. 1, и характеристикам среды воспроизведения.

Информация коэффициентов HRTF может включать в себя коэффициенты обратной функции HRTF, используемой блоком 120 3D воспроизведения. Информация коэффициентов HRTF может только включать краткую информацию коэффициентов HRTF, используемую блоком 120 3D воспроизведения, например, информацию огибающей коэффициентов HRTF. Если поток битов, включающий в себя коэффициенты обратной функции HRTF, передается на устройство декодирования, то устройству декодирования не требуется выполнять операцию преобразования коэффициентов HRTF, и таким образом, объем вычислений устройства декодирования может быть уменьшен.

Поток битов, сгенерированный блоком 140 компоновки битов, может также включать в себя информацию относительно изменения энергии в сигнале, обусловленного фильтрацией на основе HRTF, то есть информацию относительно различия между энергией сигнала, подлежащего фильтрации, и энергией сигнала, который был отфильтрован, или отношения энергии сигнала, подлежащего фильтрации, и энергии сигнала, который был отфильтрован.

Поток битов, сгенерированный блоком 140 компоновки битов, может также включать в себя информацию, указывающую, включает ли он коэффициенты функции HRTF. Если коэффициенты функции HRTF включены в поток битов, сгенерированный блоком 140 компоновки битов, поток битов также может включать в себя информацию, указывающую, включает ли он коэффициенты функции HRTF, используемой блоком 120 3D воспроизведения, или коэффициенты обратной функции HRTF.

Согласно фиг. 1 первый блок 200 декодирования включает в себя блок 210 распаковки битов, декодер 220 понижающего микширования, блок 230 3D воспроизведения и многоканальный декодер 240.

Блок 210 распаковки битов принимает входной поток битов из блока 100 кодирования и извлекает кодированный сигнал понижающего микширования и пространственную информацию из входного потока битов. Декодер 220 понижающего микширования декодирует кодированный сигнал понижающего микширования. Декодер 220 понижающего микширования может декодировать кодированный сигнал понижающего микширования, используя способ декодирования аудиосигнала, такой как способ AAC, способ MP3 или способ BSAC.

Как описано выше, кодированный сигнал понижающего микширования, извлеченный из входного потока битов, может быть кодированным не-3D сигналом понижающего микширования или кодированным 3D сигналом понижающего микширования кодера. Информация, указывающая, является ли кодированный сигнал понижающего микширования, извлеченный из входного потока битов, кодированным не-3D сигналом понижающего микширования или кодированным 3D сигналом понижающего микширования кодера, может быть включена во входной поток битов.

Если кодированный сигнал понижающего микширования, извлеченный из входного потока битов, является 3D сигналом понижающего микширования кодера, то кодированный сигнал понижающего микширования может быть просто воспроизведен, будучи декодированным декодером 220 понижающего микширования.

С другой стороны, если кодированный сигнал понижающего микширования, извлеченный из входного потока битов, является не-3D сигналом понижающего микширования, то кодированный сигнал понижающего микширования может быть декодирован декодером 220 понижающего микширования, и сигнал понижающего микширования, полученный декодированием, может быть преобразован в 3D сигнал понижающего микширования декодера посредством операции 3D воспроизведения, выполняемой третьим блоком 233 воспроизведения. 3D сигнал понижающего микширования декодера может быть просто воспроизведен.

Блок 230 3D воспроизведения содержит первый блок 231 воспроизведения, второй блок 232 воспроизведения и третий блок 233 воспроизведения. Первый блок 231 воспроизведения генерирует сигнал понижающего микширования, выполняя операцию 3D воспроизведения над 3D сигналом понижающего микширования кодера, предоставленным декодером 220 понижающего микширования. Например, первый блок 231 воспроизведения может генерировать не-3D сигнал понижающего микширования, удаляя 3D эффекты из 3D сигнала понижающего микширования кодера. 3D эффекты 3D сигнала понижающего микширования кодера не могут быть полностью удалены первым блоком 231 воспроизведения. В этом случае, сигнал понижающего микширования, выведенный первым блоком 231 воспроизведения, может иметь некоторые 3D эффекты.

Первый блок 231 воспроизведения может преобразовать 3D сигнал понижающего микширования, предоставленный декодером 220 понижающего микширования, в сигнал понижающего микширования с удаленными из него 3D эффектами, используя фильтр, инверсный фильтру, используемому блоком 120 3D воспроизведения блока 100 кодирования. Информация относительно фильтра, используемого блоком 120 3D воспроизведения, или фильтра, инверсного фильтру, используемому блоком 120 3D воспроизведения, может быть включена во входной поток битов.

Фильтр, используемый блоком 120 3D воспроизведения, может быть фильтром HRTF. В этом случае, коэффициенты HRTF, используемой блоком 100 кодирования 100, или коэффициенты инверсной функции HRTF, могут также быть включены во входной поток битов. Если коэффициенты HRTF, используемой блоком 100 кодирования, включены во входной поток битов, коэффициенты HRTF могут быть обратно преобразованы, и результаты обратного преобразования могут использоваться во время операции 3D воспроизведения, выполняемой первым блоком 231 воспроизведения. Если коэффициенты инверсной функции HRTF, используемой блоком 100 кодирования, включены во входной поток битов, они могут просто использоваться во время операции 3D воспроизведения, выполняемой первым блоком 231 воспроизведения, не подвергаясь никакой операции инверсного преобразования. В этом случае, объем вычислительных операций первого устройства 100 декодирования может быть уменьшен.

Входной поток битов может также включать информацию фильтра (например, информацию, указывающую, включены ли коэффициенты HRTF, используемой блоком 100 кодирования, во входной поток битов) и информацию, указывающую, была ли информация фильтра подвергнута инверсному преобразованию.

Многоканальный декодер 240 генерирует 3D многоканальный сигнал с тремя или более каналами на основе сигнала понижающего микширования с удаленными 3D эффектами и пространственной информации, извлеченной из входного потока битов.

Второй блок 232 воспроизведения может генерировать 3D сигнал понижающего микширования с 3D эффектами, выполняя операцию 3D воспроизведения над сигналом понижающего микширования с удаленными 3D эффектами. Другими словами, первый блок 231 воспроизведения удаляет 3D эффекты из 3D сигнала понижающего микширования кодера, предоставленного декодером 220 понижающего микширования. После этого, второй блок 232 воспроизведения может генерировать объединенный 3D сигнал понижающего микширования с 3D эффектами, желательными для первого устройства 200 декодирования 200, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным удалением, выполненным первым блоком 231 воспроизведения с использованием фильтра первого устройства 200 декодирования.

Первое устройство 200 декодирования может включать в себя блок воспроизведения, в который встроены два или более первых, вторых и третьих блоков 231, 232 и 233 воспроизведения, которые выполняют те же самые операции.

Поток битов, генерированный блоком 100 кодирования, может быть введен во второе устройство 300 декодирования, которое имеет структуру, отличающуюся от структуры первого устройства 200 декодирования. Второе устройство 300 декодирования может генерировать 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования, включенном в подаваемый на него входной поток битов.

Более определенно, второе устройство 300 декодирования включает в себя блок 310 распаковки, декодер понижающего микширования 320 и блок 330 3D воспроизведения 330. Блок 310 распаковки битов принимает входной поток битов от блока 100 кодирования и извлекает кодированный сигнал понижающего микширования и пространственную информацию из входного потока битов. Декодер 320 понижающего микширования декодирует кодированный сигнал понижающего микширования. Блок 330 3D воспроизведения выполняет операцию 3D воспроизведения над декодированным сигналом понижающего микширования так, чтобы декодированный сигнал понижающего микширования мог быть преобразован в 3D сигнал понижающего микширования.

Фиг. 2 - блок-схема устройства кодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 2 устройство кодирования включает в себя блоки 400 и 420 воспроизведения и многоканальный кодер 410. Детальные описания тех же самых процессов кодирования, что и для варианта осуществления по фиг. 1, будут опущены.

Согласно фиг. 2 блоки 400 и 420 3D воспроизведения могут быть соответственно расположены перед и после многоканального кодера 410. Таким образом, многоканальный сигнал может трехмерно воспроизводиться блоком 400 3D воспроизведения и затем трехмерно воспроизведенный многоканальный сигнал может кодироваться многоканальным кодером 410, таким образом, генерируя предварительно обработанный 3D сигнал понижающего микширования кодера. Альтернативно, многоканальный сигнал может быть подвергнут понижающему микшированию многоканальным кодером 410, и затем сигнал понижающего микширования может быть трехмерно воспроизведен блоком 420 3D воспроизведения, таким образом генерируя прошедший постобработку сигнал понижающего микширования кодера.

Информация, указывающая, был ли многоканальный сигнал трехмерно воспроизведен до или после понижающего микширования, может быть включена в поток битов, подлежащий передаче.

Блоки 400 и 420 могут оба быть расположены перед или позади многоканального кодирующего устройства 410.

Фиг. 3 - блок-схема устройства декодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 3 устройство декодирования включает в себя блоки 430 и 450 3D воспроизведения и многоканальный декодер 440. Детальные описания тех же самых процессов декодирования, что и в варианте осуществления по фиг. 1, будут опущены.

Согласно фиг. 3 блоки 430 и 450 3D воспроизведения могут быть соответственно расположены перед и после многоканального декодера 440. Блок 430 3D воспроизведения может удалить 3D эффекты из 3D сигнала понижающего микширования кодера и ввести сигнал понижающего микширования, полученный удалением, в многоканальный декодер 430. Затем многоканальный декодер 430 может декодировать поданный на него входной сигнал понижающего микширования, таким образом генерируя предварительно обработанный 3D многоканальный сигнал. Альтернативно, многоканальный декодер 430 может восстановить многоканальный сигнал из кодированного 3D сигнала понижающего микширования, и блок 450 3D воспроизведения может удалить 3D эффекты из восстановленного многоканального сигнала, таким образом, формируя прошедший постобработку 3D многоканальный сигнал.

Если 3D сигнал понижающего микширования кодера, предоставленный устройством кодирования, был генерирован выполнением операции 3D воспроизведения и затем операции понижающего микширования, то 3D сигнал понижающего микширования кодера может быть декодирован путем выполнения многоканальной операции декодирования и затем операции 3D воспроизведения. С другой стороны, если 3D сигнал понижающего микширования кодера был генерирован путем выполнения операции понижающего микширования и затем операции 3D воспроизведения, то 3D сигнал понижающего микширования может быть декодирован путем выполнения операции 3D воспроизведения и затем операции многоканального декодирования.

Информация, указывающая, был ли кодированный 3D сигнал понижающего микширования получен путем выполнения операции 3D воспроизведения до или после операции понижающего микширования, может быть извлечена из потока битов, переданного устройством кодирования.

Блоки 430 и 450 3D воспроизведения могут оба быть расположены перед или после многоканального декодера 440.

Фиг. 4 - блок-схема устройства кодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 4 устройство кодирования включает в себя многоканальный кодер 500, блок 510 3D воспроизведения, кодер 520 понижающего микширования и блок 530 компоновки битов. Детальные описания тех же самых процессов кодирования, что и в варианте осуществления по фиг.1, будут опущены.

Согласно фиг. 4 многоканальный кодер 500 генерирует сигнал понижающего микширования и пространственную информацию, основанную на входном многоканальном сигнале. Блок 510 3D воспроизведения генерирует 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над сигналом понижающего микширования.

Может быть определено, следует ли выполнять операцию 3D воспроизведения над сигналом понижающего микширования по выбору пользователя или согласно функциональным возможностям устройства кодирования, характеристикам среды воспроизведения или требуемого качества звучания.

Кодер 520 понижающего микширования кодирует сигнал понижающего микширования, генерированный многоканальным кодером 500 или 3D сигнал понижающего микширования, генерированный блоком 510 3D воспроизведения.

Блок 530 компоновки битов генерирует поток битов, основываясь на пространственной информации или кодированном сигнале понижающего микширования, или кодированном 3D сигнале понижающего микширования кодера. Поток битов, сгенерированный блоком 530 компоновки битов, может включать в себя информацию идентификации понижающего микширования, указывающую, является ли кодированный сигнал понижающего микширования, включенный в поток битов, не-3D сигналом понижающего микширования без 3D эффектов или 3D сигналом понижающего микширования кодера с 3D эффектами. Более определенно, информация идентификации понижающего микширования может указывать, включает ли поток битов, генерированный блоком 530 компоновки битов, не-3D сигнал понижающего микширования, 3D сигнал понижающего микширования кодера или оба эти сигнала.

Фиг. 5 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 5 устройство декодирования включает в себя блок 540 распаковки, декодер 550 понижающего микширования и блок 560 3D воспроизведения. Детальные описания тех же самых процессов декодирования, что и варианте осуществления по фиг. 1, будут опущены.

Согласно фиг. 5 блок 540 распаковки битов извлекает кодированный сигнал понижающего микширования, пространственную информацию и информацию идентификации понижающего микширования из входного потока битов. Информация идентификации понижающего микширования указывает, является ли кодированный сигнал понижающего микширования кодированным не-3D сигналом понижающего микширования без 3D эффектов или кодированным 3D сигналом понижающего микширования с 3D эффектами.

Если входной поток битов включает в себя как не-3D сигнал понижающего микширования, так и 3D сигнал понижающего микширования, только один из не-3D сигнала понижающего микширования и 3D сигнала понижающего микширования может быть извлечен из входного потока битов по выбору пользователя или согласно функциональным возможностям устройства декодирования, характеристикам среды воспроизведения или требуемого качества звучания.

Декодер 550 понижающего микширования 550 декодирует кодированный сигнал понижающего микширования. Если сигнал понижающего микширования, полученный декодированием, выполненным декодером 550 понижающего микширования, является 3D сигналом понижающего микширования кодера, полученным выполнением операции 3D воспроизведения, сигнал понижающего микширования может быть просто воспроизведен.

С другой стороны, если сигнал понижающего микширования, полученный декодированием, выполненным декодером 550 понижающего микширования, является сигналом понижающего микширования без 3D эффектов, блок 560 3D воспроизведения может генерировать 3D сигнал понижающего микширования декодера, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным декодированием, выполненным декодером 550 понижающего микширования.

Фиг. 6 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 6 устройство декодирования включает блок 600 распаковки, декодер 610 понижающего микширования, первый блок 620 3D воспроизведения, второй блок 630 3D воспроизведения и блок 640 хранения информации фильтра. Детальные описания тех же самых процессов декодирования, что и в варианте осуществления по фиг. 1, будут опущены.

Блок 600 распаковки битов извлекает кодированный трехмерный сигнал понижающего микширования кодера и пространственную информацию из входного потока битов. Декодер 610 понижающего микширования декодирует кодированный 3D сигнал понижающего микширования кодера.

Первый блок 620 3D воспроизведения удаляет 3D эффекты из 3D сигнала понижающего микширования кодера, полученного декодированием, выполненным декодером 610 понижающего микширования, используя фильтр, инверсный фильтру устройства кодирования, для выполнения операции 3D воспроизведения. Второй блок 630 воспроизведения генерирует объединенный 3D сигнал понижающего микширования с 3D эффектами, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным удалением, выполненным первым блоком 620 3D воспроизведения, с использованием фильтра, сохраненного в устройстве декодирования.

Второй блок 630 3D воспроизведения может выполнить операцию 3D воспроизведения, используя фильтр, имеющий характеристики, отличные от характеристик фильтра блока кодирования, используемого для выполнения операции 3D воспроизведения. Например, второй блок 630 3D воспроизведения может выполнить операцию 3D воспроизведения, используя HRTF, имеющую коэффициенты, отличные от коэффициентов для HRTF, используемой устройством кодирования.

Блок 640 хранения информации фильтра хранит информацию фильтра, касающуюся фильтра, используемого для выполнения 3D воспроизведения, например, информацию коэффициентов HRTF. Второй блок 630 3D воспроизведения может генерировать объединенное 3D понижающее микширование, используя информацию фильтра, сохраненную в блоке 640 хранения информации фильтра 640.

Блок 640 хранения информации фильтра 640 может хранить множество частей информации фильтра, соответственно множеству фильтров. В этом случае, одна из множества частей информации фильтра может быть отобрана по выбору пользователя или согласно функциональным возможностям устройства декодирования или требованиям качества звучания.

Люди различных рас могут иметь различные структуры уха. Таким образом, коэффициенты HRTF, оптимизированные для различных людей, могут отличаться друг от друга. Устройство декодирования, проиллюстрированное на фиг. 6, может генерировать 3D сигнал понижающего микширования, оптимизированный для пользователя. Кроме того, устройство декодирования, проиллюстрированное на фиг. 6, может генерировать 3D сигнал понижающего микширования с 3D эффектами, соответствующими фильтру HRTF, желательному для пользователя, независимо от типа HRTF, предоставляемого провайдером 3D сигнала понижающего микширования.

Фиг. 7 - блок-схема устройства 3D воспроизведения согласно варианту осуществления настоящего изобретения. Согласно фиг. 7 устройство 3D воспроизведения включает первый и второй блоки 700 и 720 преобразования поля и блок 710 3D воспроизведения. Чтобы выполнить операцию 3D воспроизведения в предопределенной области, первый и второй блоки 700 и 720 преобразования области могут быть соответственно расположены перед и после блока 710 3D воспроизведения.

Согласно фиг. 7 входной сигнал понижающего микширования преобразуется в сигнал понижающего микширования частотной области первым блоком 700 преобразования области. Более определенно, первый блок 700 преобразования области может преобразовать входной сигнал понижающего микширования в сигнал понижающего микширования области ДПФ или сигнал понижающего микширования области БПФ, выполняя ДПФ или БПФ.

Блок 710 3D воспроизведения генерирует многоканальный сигнал, применяя пространственную информацию к сигналу понижающего микширования частотной области, предоставленному первым блоком 700 преобразования области. Затем блок 710 3D воспроизведения 710 генерирует 3D сигнал понижающего микширования, фильтруя многоканальный сигнал.

3D сигнал понижающего микширования, генерированный блоком 710 3D воспроизведения, преобразуется в 3D сигнал понижающего микширования временной области вторым блоком 720 преобразования области. Более определенно, второй блок 720 преобразования области может выполнить ОДПФ или ОБПФ над 3D сигналом понижающего микширования, сгенерированным блоком 710 3D воспроизведения.

Во время преобразования частотной области 3D сигнала понижающего микширования в 3D сигнал понижающего микширования временной области может произойти потеря данных или искажение данных, такое как наложение спектров (помеха дискретизации).

Чтобы генерировать многоканальный сигнал и 3D сигнал понижающего микширования в частотной области, пространственная информация для каждого параметрического диапазона может быть отображена на частотную область, и множество коэффициентов фильтра могут быть преобразованы в частотную область.

Блок 710 3D воспроизведения может генерировать 3D сигнал понижающего микширования путем умножения сигнала понижающего микширования частотной области, предоставленного первым блоком 700 преобразования области, пространственной информации и коэффициентов фильтра.

Сигнал временной области, полученный умножением сигнала понижающего микширования, пространственной информации и множества коэффициентов фильтра, которые все представлены в М-точечной частотной области, имеет М действительных сигналов. Чтобы представить сигнал понижающего микширования, пространственную информацию и фильтр в М-точечной частотной области, может быть выполнено М-точечное ДПФ или М-точечное БПФ.

Действительные сигналы являются сигналами, которые не обязательно имеют значение 0. Например, всего x действительных сигналов может генерироваться получением x сигналов из аудиосигнала посредством дискретизации. Из x действительных сигналов, y действительных сигналов могут быть дополнены нулями. Тогда количество действительных сигналов сокращается до (x-y). После этого, сигнал с а действительными сигналами и сигнал с b действительными сигналами подвергаются свертке, таким образом, получая в общей сложности (a+b-1) действительных сигналов.

Умножение сигнала понижающего микширования, пространственной информации и коэффициентов фильтра в М-точечной частотной области может обеспечить тот же самый эффект, что и свертка сигнала понижающего микширования, пространственной информации и коэффициентов фильтра во временной области. Сигнал с (3·M-2) действительными сигналами может быть сгенерирован путем преобразования сигнала понижающего микширования, пространственной информации и коэффициентов фильтра в М-точечной частотной области и свертки результатов преобразования.

Поэтому число действительных сигналов для сигнала, полученного умножением сигнала понижающего микширования, пространственной информации и коэффициентов фильтра в частотной области и преобразованием результата умножения во временную область, может отличаться от числа действительных сигналов для сигнала, полученного сверткой сигнала понижающего микширования, пространственной информации и коэффициентов фильтра во временной области. В результате наложение спектров может произойти во время преобразования 3D сигнала понижающего микширования в частотной области в сигнал временной области.

Чтобы предотвратить наложение спектров, сумма числа действительных сигналов для сигнала понижающего микширования во временной области, числа действительных сигналов пространственной информации, отображенных в частотную область, и числа коэффициентов фильтра, не должна быть больше, чем М. Число действительных сигналов пространственной информации, отображенных на частотную область, может быть определено числом точек частотной области. Другими словами, если пространственная информация, представленная для каждого параметрического диапазона, отображается на N-точечную частотную область, число действительных сигналов пространственной информации может быть равно N.

Согласно фиг. 7 первый блок 700 преобразования области включает в себя первый блок 701 заполнения нулями и первый блок 702 преобразования частотной области. Третий блок 710 воспроизведения включает в себя блок 711 отображения, блок 712 преобразования временной области, второй блок 713 заполнения нулями, второй блок 714 преобразования частотной области, блок 715 генерации многоканального сигнала, третий блок 716 заполнения нулями, третий блок 717 преобразования частотной области и блок 718 генерации 3D сигнала понижающего микширования.

Первый блок 701 заполнения нулями выполняет операцию заполнения нулями над сигналом понижающего микширования с X выборками во временной области так, чтобы число выборок сигнала понижающего микширования могло быть увеличено от X до М. Первый блок 702 преобразования частотной области преобразует дополненный нулями сигнал понижающего микширования в М-точечный сигнал частотной области. Дополненный нулями сигнал понижающего микширования имеет М выборок. Из М выборок дополненного нулями сигнала понижающего микширования только X выборок являются действительными сигналами.

Блок 711 отображения отображает пространственную информацию для каждого параметрического диапазона в N-точечную область. Блок 712 преобразования временной области преобразует пространственную информацию, полученную отображением, выполненным блоком 711 отображения, во временную область. Пространственная информация, полученная преобразованием, выполненным блоком 712 преобразования временной области, имеет N выборок.

Второй блок 713 заполнения нулями выполняет операцию дополнения нулями над пространственной информацией с N выборками во временной области так, чтобы число выборок пространственной информации могло быть увеличено от N до М. Второй блок 714 преобразования частотной области преобразует дополненную нулями пространственную информацию в М-точечный сигнал частотной области. Дополненная нулями пространственная информация имеет N выборок. Из N выборок дополненной нулями пространственной информации, только N выборок являются действительными.

Блок 715 генерации многоканального сигнала генерирует многоканальный сигнал, умножая сигнал понижающего микширования, предоставленный первым блоком 715 генерации многоканального сигнала, и пространственную информацию, предоставленную вторым блоком 714 преобразования частотной области. Многоканальный сигнал, сгенерированный блоком 715 генерации многоканального сигнала, имеет М действительных сигналов. С другой стороны, многоканальный сигнал, полученный сверткой во временной области сигнала понижающего микширования, предоставленного первым блоком 712 преобразования временной области, и пространственной информации, предоставленной вторым блоком 714 преобразования частотной поля, имеет (X+N-1) действительных сигналов.

Третий блок 716 дополнения нулями может выполнить операцию дополнения нулями над Y коэффициентами фильтра, которые представлены во временной области, так, чтобы число выборок могло быть увеличено до М. Третий блок 717 преобразования частотной области преобразует дополненные нулями коэффициенты фильтра в М-точечную частотную область. Дополненные нулями коэффициенты фильтра имеют М выборок. Из М выборок только Y выборок являются действительными сигналами.

Блок 718 генерации 3D сигнала понижающего микширования генерирует 3D сигнал понижающего микширования, умножая многоканальный сигнал, сгенерированный блоком 715 генерации многоканального сигнала, и множество коэффициентов фильтра, предоставленных третьим блоком 717 преобразования частотной области. 3D сигнал понижающего микширования, сгенерированный блоком 718 генерации 3D сигнала понижающего микширования, имеет М действительных сигналов. С другой стороны, 3D сигнал понижающего микширования, полученный сверткой во временной области многоканального сигнала, сгенерированного блоком 715 генерации многоканального сигнала, и коэффициенты фильтра, предоставленные третьим блоком 717 преобразования частотной области, имеет (X+N+Y-2) действительных сигналов.

Возможно предотвратить наложение спектров, устанавливая М точечную частотную области, используемую первым, вторым и третьим блоками 702, 714 и 717 преобразования частотной области, чтобы удовлетворять следующему уравнению: M≥(X+N+Y-2). Другими словами, возможно предотвратить наложение спектров, обеспечивая возможность первому, второму и третьему блокам 702, 714 и 717 преобразования частотной области выполнять М-точечное ДПФ или М-точечное БПФ, которое удовлетворяет следующему уравнению: M≥(X+N+Y-2).

Преобразование в частотную область может быть выполнено с использованием банка фильтров иного, чем банк фильтров ДПФ, банк фильтров БПФ и банк QMF. Генерация 3D сигнала понижающего микширования может быть выполнена с использованием фильтра HRTF.

Число действительных сигналов пространственной информации может быть настроено с использованием способа иного, чем вышеупомянутый способ, или может быть настроено с использованием одного из вышеупомянутых способов, который является самым эффективным и требует наименьшего количества вычислений.

Наложение спектров может произойти не только во время преобразования сигнала, коэффициента или пространственной информации из частотной области во временную область или наоборот, но также и во время преобразования сигнала, коэффициента или пространственной информации из области QMF в гибридную область или наоборот. Вышеупомянутые способы предотвращения наложения спектров могут также использоваться, чтобы препятствовать тому, чтобы наложение спектров произошло во время преобразования сигнала, коэффициента или пространственной информации из области QMF в гибридную область или наоборот.

Пространственная информация, используемая для генерации многоканального сигнала или 3D сигнала понижающего микширования, может измениться. В результате изменения пространственной информации могут произойти нарушения непрерывности сигнала в виде шума в выходном сигнале.

Шум в выходном сигнале может быть уменьшен с использованием способа сглаживания, которым может быть предотвращено быстрое изменение пространственной информации.

Например, когда первая пространственная информация, применяемая к первому кадру, отличается от второй пространственной информации, применяемой ко второму кадру, когда первый кадр и второй кадр будут смежными друг с другом, весьма вероятно, что разрыв непрерывности произойдет между первым и вторым кадрами.

В этом случае, вторая пространственная информация может быть скомпенсирована в отношении использования первой пространственной информации, или первая пространственная информация может быть скомпенсирована в отношении использования второй пространственной информации так, чтобы различие между первой пространственной информацией и второй пространственной информацией могло быть уменьшено, и шум, вызванный разрывом непрерывности между первым и вторым кадрами, мог быть уменьшен. Более конкретно, по меньшей мере, одна из первой пространственной информации и второй пространственной информации может быть заменена средним значением первой пространственной информации и второй пространственной информации, таким образом, уменьшая шум.

Шум, вероятно, будет также генерироваться из-за разрыва непрерывности между парой смежных параметрических диапазонов. Например, когда третья пространственная информация, соответствующая первому параметрическому диапазону, отличается от четвертой пространственной информации, соответствующей второму параметрическому диапазону, когда первый и второй параметрические диапазоны являются смежными друг с другом, нарушение непрерывности, вероятно, произойдет между первым и вторым параметрическими диапазонами.

В этом случае третья пространственная информация может быть скомпенсирована в отношении использования четвертой пространственной информации, или четвертая пространственная информация может быть скомпенсирована в отношении использования третьей пространственной информации так, чтобы различие между третьей пространственной информацией и четвертой пространственной информацией могло быть уменьшено, и шум, вызванный нарушением непрерывности между первым и вторым параметрическими дипазонами, мог быть уменьшен. Более конкретно, по меньшей мере, одна из третьей пространственной информации и четвертой пространственной информации может быть заменена средним значением третьей пространственной информации и четвертой пространственной информации, таким образом, уменьшая шум.

Шум, вызванный нарушением непрерывности между парой смежных кадров или парой смежных параметрических диапазонов, может быть уменьшен, используя способы иные, чем вышеупомянутые способы.

Более конкретно, каждый кадр может быть умножен на окно, такое как Hanning-окно, и схема "наложение и добавление" может быть применена к результатам умножения так, чтобы изменения между кадрами могли быть уменьшены. Альтернативно, выходной сигнал, к которому применяется множество частей пространственной информации, может быть сглажен так, чтобы изменения между множеством кадров выходного сигнала могли быть предотвращены.

Декорреляция между каналами в области ДПФ, используя пространственную информацию, например, ICC, может быть настроена следующим образом.

Степень декорреляции может быть настроена, умножая коэффициент сигнала, введенного в блок «один к двум» (OTT) или «два к трем» (TTT), на предопределенное значение. Предопределенное значение может быть определено следующим уравнением: (А+(l-A·A)^0,5·i), где A указывает значение ICC, примененное к предопределенному диапазону блока OTT или TTT, и i указывает мнимую часть. Мнимая часть может быть положительной или отрицательной.

Предопределенное значение может соответствовать весовому коэффициенту согласно характеристикам сигнала, например уровня энергии сигнала, характеристикам энергии каждой частоты сигнала, или типа блока, к которому применено значение А ICC. В результате введения весового коэффициента степень декорреляции может быть дополнительно настроена, и может быть применено межкадровое сглаживание или интерполяция.

Как описано выше со ссылкой на фиг. 7, 3D сигнал понижающего микширования может генерироваться в частотной области с использованием HRTF или связанной с головой импульсной характеристики (HRIR), которая преобразована в частотную область.

Альтернативно, 3D сигнал понижающего микширования может генерироваться сверткой HRIR и сигнала понижающего микширования во временной области. 3D сигнал понижающего микширования, сгенерированный в частотной области, можно оставить в частотной области, не подвергая инверсному преобразованию области.

Для свертки HRIR и сигнала понижающего микширования во временной области может использоваться фильтр с конечным импульсным откликом (FIR) или фильтр с бесконечным импульсным откликом (IIR).

Как описано выше, устройство кодирования или устройство декодирования согласно варианту осуществления настоящего изобретения могут генерировать 3D сигнал понижающего микширования, используя первый способ, который предусматривает использование HRTF в частотной области, или HRIR, преобразованный в частотную область, второй способ, который предусматривает свертку HRIR во временной области, или комбинацию первого и второго способов.

Фиг. 8 - 11 иллюстрируют потоки битов согласно вариантам осуществления настоящего изобретения.

Согласно фиг. 8 поток битов включает в себя поле информации многоканального декодирования, которое содержит информацию, необходимую для генерации многоканального сигнала, поле информации 3D воспроизведения, которое содержит информацию, необходимую для генерации 3D сигнала понижающего микширования, и поле заголовка, которое содержит информацию заголовка, необходимую для использования информации, включенной в поле информации многоканального декодирования, и информации, включенной в поле информации 3D воспроизведения. Поток битов может включать в себя только одно или два из полей информации многоканального декодирования, поля информации 3D воспроизведения и поля заголовка.

Согласно фиг. 9 поток битов, который содержит побочную информацию, необходимую для операции декодирования, может включать в себя поле заголовка конкретной конфигурации, которое содержит информацию заголовка всего кодированного сообщения и множество полей данных кадра, которые содержат побочную информацию относительно множества кадров. Более определенно, каждое из полей данных кадра может включать в себя поле заголовка кадра, которое содержит информацию заголовка соответствующего кадра, и поле данных параметра кадра, которое содержит пространственную информацию соответствующего кадра. Альтернативно, каждое из полей данных кадра может включать в себя только поле данных параметра кадра.

Каждое из полей данных параметра кадра может включать множество модулей, причем каждый модуль включает в себя данные параметра и флаг. Модули представляют собой наборы данных, включая данные параметра, такие как пространственная информация и другие данные, такие как данные усиления понижающего микширования и сглаживания, которые необходимы для улучшения качества звучания сигнала.

Если данные модуля относительно информации, определенной областями заголовка кадра, приняты без какого-нибудь дополнительного флага, если информация, определенная полями заголовка кадра дополнительно классифицирована, или если приняты дополнительный флаг и данные в связи с информацией, не определенной заголовком кадра, то данные модуля могут не включать какого-либо флага.

Побочная информация относительно 3D сигнала понижающего микширования, например информация коэффициентов HRTF, может быть включена в, по меньшей мере, одно из полей заголовка конкретной конфигурации, полей заголовка кадра и полей данных параметров кадра.

Согласно фиг. 10 поток битов может включать в себя множество полей информации многоканального декодирования, которые содержат информацию, необходимую для генерации многоканальных сигналов и множество полей информации 3D воспроизведения, которые содержат информацию, необходимую для генерации 3D сигналов понижающего микширования.

При приеме потока битов устройство декодирования может использовать поля информации многоканального декодирования или поля информации 3D воспроизведения, чтобы выполнить операцию декодирования, и пропустить какие-либо из полей информации многоканального декодирования и полей информации 3D воспроизведения поля, не используемые в операции декодирования. В этом случае, может быть определено, какие из полей информации многоканального декодирования и полей информации 3D воспроизведения должны использоваться, чтобы выполнить операцию декодирования согласно типу сигналов, подлежащих воспроизведению.

Другими словами, чтобы генерировать многоканальные сигналы, устройство декодирования может пропустить поля информации 3D воспроизведения и считать информацию, включенную в поля информации многоканального декодирования. С другой стороны, чтобы генерировать 3D сигналы понижающего микширования, устройство декодирования может пропустить поля информации многоканального декодирования и считать информацию, включенную в поля информации 3D воспроизведения.

Способы пропуска некоторых из множества полей в потоке битов описаны ниже.

Во-первых, информация длины поля относительно размера в битах поля может быть включена в поток битов. В этом случае, поле может быть пропущено путем пропуска количества битов, соответствующего размеру в битах поля. Информация длины поля может быть расположена в начале поля.

Во-вторых, синхрослово может быть расположено в конце или начале поля. В этом случае, поле может быть пропущено, путем определения местонахождения поля, основываясь на местоположении синхрослова.

В-третьих, если длина поля определена заранее и фиксирована, то поле может быть пропущено путем пропуска некоторого количества данных, соответствующего длине поля. Фиксированная информация длины поля относительно длины поля может быть включена в поток битов или может храниться в устройстве декодирования.

В-четвертых, одно из множества полей может быть пропущено, используя комбинацию двух или более из вышеупомянутых способов пропуска поля.

Информация пропуска поля, которая является информацией, необходимой для пропуска поля, такой как информация длины поля, синхрослово или фиксированная информация длины поля, может быть включена в одно из конкретных полей заголовка конфигурации, полей заголовка кадра и полей данных параметров кадра, проиллюстрированных на фиг. 9, или может быть включена в поле иное, чем проиллюстрированные на фиг. 9.

Например, для генерации многоканальных сигналов, устройство декодирования может пропустить поля информации 3D воспроизведения со ссылкой на информацию поля длины, синхрослово или фиксированную информацию длины поля, расположенную в начале каждого из полей информации 3D воспроизведения, и считать информацию, включенную в поля информации многоканального декодирования.

С другой стороны, для генерации 3D сигналов понижающего микширования, устройство декодирования может пропустить поля информации многоканального декодирования со ссылкой на информацию длины поля, синхрослово или фиксированную информацию длины поля, расположенную в начале каждого из полей информации многоканального декодирования, и считать информацию, включенную в поля информации 3D воспроизведения.

Поток битов может включать в себя информацию, указывающую, необходимы ли данные, включенные в поток битов, для генерации многоканальных сигналов или для генерации 3D сигналов понижающего микширования.

Однако, даже если поток битов не содержит какой-либо пространственной информации, такой как CLD, а содержит только данные (например, коэффициенты фильтра HRTF), необходимые для генерации 3D сигнала понижающего микширования, многоканальный сигнал может быть воспроизведен через декодирование с использованием данных, необходимых для генерации 3D сигнала понижающего микширования, без требования пространственной информации.

Например, параметр стерео, который является пространственной информацией относительно двух каналов, получается из сигнала понижающего микширования. Затем параметр стерео преобразуется в пространственную информацию относительно множества каналов, подлежащих воспроизведению, и многоканальный сигнал генерируется, применяя пространственную информацию, полученную преобразованием в сигнал понижающего микширования.

С другой стороны, даже если поток битов включает только данные, необходимые для генерации многоканального сигнала, сигнал понижающего микширования может быть воспроизведен без требования дополнительной операции декодирования, или 3D сигнал понижающего микширования может быть воспроизведен, выполняя 3D обработку над сигналом понижающего микширования, используя дополнительный фильтр HRTF.

Если поток битов включает в себя данные, необходимые для генерации многоканального сигнала, и данные, необходимые для генерации 3D сигнала понижающего микширования, пользователь имеет возможность решить, следует ли генерировать многоканальный сигнал или 3D сигнал понижающего микширования.

Способы пропуска данных будут в дальнейшем описаны подробно в отношении соответствующих синтаксисов.

Синтаксис 1 указывает способ декодирования аудиосигнала в блоках кадров.

[Синтаксис 1]

В синтаксисе 1, OttData() и TttData() являются модулями, которые представляют параметры (такие как пространственная информация, включающая CLD, ICC и CPC), необходимые для восстановления многоканального сигнала из сигнала понижающего микширования, и SmgData(), TempShapeData(), Arbitrary-DownmixData() и ResidualData() являются модулями, которые представляют информацию, необходимую для улучшения качества звука путем коррекции искажений сигнала, которые могут возникнуть во время операции кодирования.

Например, если параметр, такой как CLD, ICC или СРС, и информация, включенная в модуль ArbitraryDownmixData(), используются во время операции декодирования, то модули SmgData() и TempShapeData(), которые расположены между модулями TttData() и ArbitraryDownmixData(), могут быть ненужными. Таким образом, является эффективным пропустить модули SmgData() и TempShapeData().

Способ пропуска модулей согласно варианту осуществления настоящего изобретения будет в дальнейшем описан подробно в отношении Синтаксиса 2 ниже.

[Синтаксис 2]

Что касается Синтаксиса 2, модуль SkipData() может быть расположен перед модулем, который должен быть пропущен, и размер в битах модуля, который должен быть пропущен, определен в модуле SkipData() как bsSkipBits.

Другими словами, предполагая, что модули SmgData() и TempShapeData() должны быть пропущены, и что размер в битах объединенных модулей SmgData() и TempShapeData() равен 150, модули SmgData() и TempShapeData() могут быть пропущены путем установки bsSkipBits на 150.

Способ пропуска модулей согласно другому варианту осуществления настоящего изобретения будет в дальнейшем описан подробно в отношении Синтаксиса 3.

[Синтаксис 3]

Что касается Синтаксиса 3, ненужный модуль может быть пропущен с использованием bsSkipSyncflag, который является флагом, указывающим, следует ли использовать синхрослово, и bsSkipSyncword, который является синхрословом, которое может быть расположено в конце модуля, подлежащего пропуску.

Более определенно, если флаг bsSkipSyncflag установлен таким образом, что синхрослово может использоваться, то один или более модулей между флагом bsSkipSyncflag и синхрословом bsSkipSyncword, то есть модули SmgData() и TempShapeData(), могут быть пропущены.

Согласно фиг. 11 поток битов может включать поле многоканального заголовка, которое включает информацию заголовка, необходимую для воспроизведения многоканального сигнала, поле заголовка 3D воспроизведения, которое включает информацию заголовка, необходимую для воспроизведения 3D сигнала понижающего микширования, и множество полей информации многоканального декодирования, которые включают данные, необходимые для воспроизведения многоканального сигнала.

Чтобы воспроизвести многоканальный сигнал, устройство декодирования может пропустить поле заголовка 3D воспроизведения и считать данные из поля многоканального заголовка и полей информации многоканального декодирования.

Способ пропуска поля заголовка 3D воспроизведения является тем же самым, что и способы пропуска полей, описанные выше в отношении фиг. 10, и поэтому его детальное описание будет опущено.

Чтобы воспроизвести 3D сигнал понижающего микширования, устройство декодирования может считать данные из полей информации многоканального декодирования и поля 3D заголовка воспроизведения. Например, устройство декодирования может генерировать 3D сигнал понижающего микширования, используя сигнал понижающего микширования, включенный в поле информации многоканального декодирования, и информацию коэффициентов HRTF, включенную в 3D сигнал понижающего микширования.

На фиг. 12 показана блок-схема устройства кодирования/декодирования для обработки произвольного сигнала понижающего микширования согласно варианту осуществления настоящего изобретения. Согласно фиг. 12 произвольный сигнал понижающего микширования является сигналом понижающего микширования иным, чем сигнал понижающего микширования, генерированный многоканальным кодером 801, включенным в устройство 800 кодирования. Будут опущены детальные описания процессов, которые являются теми же самыми, что и процессы в варианте осуществления по фиг. 1.

Согласно фиг. 12 устройство 800 кодирования включает в себя многоканальный кодер 801, блок 802 синтезирования пространственной информации и блок 803 сравнения.

Многоканальный кодер 801 выполняет понижающее преобразование входного многоканального сигнала в стерео или моносигнал понижающего микширования и генерирует основную пространственную информацию, необходимую для восстановления многоканального сигнала из сигнала понижающего микширования.

Блок 803 сравнения сравнивает сигнал понижающего микширования с произвольным сигналом понижающего микширования и генерирует информацию компенсации, основанную на результате сравнения. Информация компенсации необходима для выполнения компенсации для произвольного сигнала понижающего микширования таким образом, чтобы произвольный сигнал понижающего микширования мог быть преобразован, чтобы быть близким к сигналу понижающего микширования. Устройство декодирования может выполнить компенсацию для произвольного сигнала понижающего микширования, используя информацию компенсации, и восстановить многоканальный сигнал, используя скомпенсированный произвольный сигнал понижающего микширования. Восстановленный многоканальный сигнал более подобен исходному входному многоканальному сигналу, чем многоканальный сигнал, восстановленный из произвольного сигнала понижающего микширования, генерированного многоканальным кодером 801.

Информация компенсации может быть разностью между сигналом понижающего микширования и произвольным сигналом понижающего микширования. Устройство декодирования может выполнить компенсацию для произвольного сигнала понижающего микширования, добавляя к произвольному сигналу понижающего микширования разность между сигналом понижающего микширования и произвольным сигналом понижающего микширования.

Разность между сигналом понижающего микширования и произвольным сигналом понижающего микширования может быть усилением понижающего микширования, которое указывает на разность между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования.

Усиление понижающего микширования может быть определено для каждого диапазона частот, для каждого времени/временного сегмента и/или для каждого канала. Например, одна часть усиления понижающего микширования может быть определена для каждого диапазона частот, а другая часть усиления понижающего микширования может быть определена для каждого временного сегмента.

Усиление понижающего микширования может быть определено для каждого параметрического диапазона или для каждого диапазона частот, оптимизированного для произвольного сигнала понижающего микширования. Параметрические диапазоны являются частотными интервалами, к которым применена пространственная информация для типа параметра.

Разность между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования может квантоваться. Разрешение уровней квантования для квантования разности между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования может быть тем же самым или отличающимся от разрешения уровней квантования для квантования CLD между сигналом понижающего микширования и произвольным сигналом понижающего микширования. Кроме того, квантование разности между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования может предусматривать использование всех или некоторых из уровней квантования для квантования CLD между сигналом понижающего микширования и произвольным сигналом понижающего микширования.

Так как разрешение разности между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования в общем случае ниже, чем разрешение CLD между сигналом понижающего микширования и произвольным сигналом понижающего микширования, то разрешение уровней квантования для квантования разности между уровнями энергии сигнала понижающего микширования и произвольного сигнала понижающего микширования может иметь незначительную величину по сравнению с разрешением уровней квантования для квантования CLD между сигналом понижающего микширования и произвольным сигналом понижающего микширования.

Информация компенсации для выполнения компенсации для произвольного сигнала понижающего микширования может быть информацией расширения, включающей остаточную информацию, которая определяет компоненты входного многоканального сигнала, которые не могут быть восстановлены, используя произвольный сигнал понижающего микширования или усиление понижающего микширования. Устройство декодирования может восстановить компоненты входного многоканального сигнала, который не может быть восстановлен с использованием произвольного сигнала понижающего микширования или усиления понижающего микширования, используя информацию расширения, восстанавливая тем самым сигнал, практически неотличимый от исходного входного многоканального сигнала.

Способы генерации информации расширения являются следующими.

Многоканальный кодер 801 может генерировать информацию относительно компонентов входного многоканального сигнала, в которых испытывает недостаток сигнал понижающего микширования, в качестве первой информации расширения. Устройство декодирования может восстановить сигнал, почти неотличимый от исходного входного многоканального сигнала, применяя первую информацию расширения для генерации многоканального сигнала с использованием сигнала понижающего микширования и основной пространственной информации.

Альтернативно, многоканальный кодер 801 может восстановить многоканальный сигнал, используя сигнал понижающего микширования и основную пространственную информацию, и генерировать разность между восстановленным многоканальным сигналом и исходным входным многоканальным сигналом в качестве первой информации расширения.

Блок 803 сравнения может генерировать, в качестве второй информации расширения, информацию относительно компонентов сигнала понижающего микширования, в которых испытывает недостаток произвольный сигнал понижающего микширования, то есть компоненты сигнала понижающего микширования, для которых не может быть выполнена компенсация с использованием усиления понижающего микширования. Устройство декодирования может восстановить сигнал, почти неотличимый от сигнала понижающего микширования, используя произвольный сигнал понижающего микширования и вторую информацию расширения.

Информация расширения может быть генерирована с использованием способов кодирования остатка иных, чем вышеописанный способ.

Усиление понижающего микширования и информация расширения могут использоваться как информация компенсации. Более конкретно, усиление понижающего микширования и информация расширения могут быть получены для всего частотного диапазона сигнала понижающего микширования и могут использоваться вместе как информация компенсации. Альтернативно, усиление понижающего микширования может использоваться как информация компенсации для одной части частотного диапазона сигнала понижающего микширования, а информация расширения может использоваться как информация компенсации для другой части частотного диапазона сигнала понижающего микширования. Например, информация расширения может использоваться как информация компенсации для низкочастотного диапазона сигнала понижающего микширования, а усиление понижающего микширования может использоваться как информация компенсации для высокочастотного диапазона сигнала понижающего микширования.

Информация расширения относительно частей сигнала понижающего микширования иных, чем низкочастотный диапазон сигнала понижающего микширования, таких как пики или провалы, которые могут значительно повлиять на качество звучания, может также использоваться как информация компенсации.

Блок 802 синтезирования пространственной информации синтезирует основную пространственную информацию (например, CLD, СРС, ICC и CTD) и информацию компенсации, тем самым, генерируя пространственную информацию. Другими словами, пространственная информация, которая передается на устройство декодирования, может включать в себя основную пространственную информацию, усиление понижающего микширования, а также первую и вторую информацию расширения.

Пространственная информация может быть включена в поток битов наряду с произвольным сигналом понижающего микширования, и поток битов может быть передан на устройство декодирования.

Информация расширения и произвольный сигнал понижающего микширования могут кодироваться с использованием способа аудиокодирования, такого как способ AAC, способ MP3 или способ BSAC. Информация расширения и произвольный сигнал понижающего микширования могут кодироваться с использованием того же самого способа аудиокодирования или различных способов аудиокодирования.

Если информация расширения и произвольный сигнал понижающего микширования кодируются с использованием того же самого способа аудиокодирования, то устройство декодирования может декодировать как информацию расширения, так и произвольный сигнал понижающего микширования, используя единственный способ аудиодекодирования. В этом случае, так как произвольный сигнал понижающего микширования может всегда декодироваться, информация расширения также может всегда декодироваться. Однако, так как произвольный сигнал понижающего микширования в общем случае вводится в устройство декодирования как сигнал импульсно-кодовой модуляции (PCM), то тип аудиокодека, используемого для кодирования произвольного сигнала понижающего микширования, не может быть легко идентифицирован, и таким образом, тип аудиокодека, используемого для кодирования информации расширения, также не может быть легко идентифицирован.

Поэтому информация аудиокодека относительно типа аудиокодека, использованного для кодирования произвольного сигнала понижающего микширования, и информация расширения могут быть вставлены в поток битов.

Более конкретно, информация аудиокодека может быть вставлена в конкретное поле заголовка конфигурации потока битов. В этом случае, устройство декодирования может извлечь информацию аудиокодека из конкретного поля заголовка конфигурации потока битов и использовать извлеченную информацию аудиокодека для декодирования произвольного сигнала понижающего микширования и информации расширения.

С другой стороны, если произвольный сигнал понижающего микширования и информация расширения кодированы с использованием различных способов аудиокодирования, то информация расширения, возможно, не сможет быть декодирована. В этом случае, так как часть информации расширения не может быть идентифицирована, никакая дальнейшая операция декодирования не может быть выполнена.

Для решения этой проблемы информация аудиокодека относительно типов аудиокодеков, использованных, соответственно, для кодирования произвольного сигнала понижающего микширования и информации расширения, может быть вставлена в конкретное поле заголовка конфигурации потока битов. Тогда устройство декодирования может считать информацию аудиокодека из конкретного поля заголовка конфигурации потока битов и использовать считанную информацию для декодирования информации расширения. Если устройство декодирования не включает никакого блока декодирования, способного декодировать информацию расширения, то декодирование информации расширения не может далее продолжаться, и считывается информация, следующая с информацией расширения.

Информация аудиокодека относительно типа аудио кодека, используемого для кодирования информации расширения, может быть представлена элементом синтаксиса, включенным в конкретное поле заголовка конфигурации потока битов. Например, информация аудиокодека может быть представлена элементом bsResidualCodecType, который является 4-битовым элементом синтаксиса, как указано в Таблице 1 ниже.

Таблица 1 Кодек 0 ААС 1 МР3 2 BSAC 3…15 Зарезервировано

Информация расширения может включать не только остаточную информацию, но также и информацию расширения каналов. Информация расширения каналов - это информация, необходимая для расширения многоканального сигнала, полученного посредством декодирования с использованием пространственной информации, в многоканальный сигнал с большим количеством каналов. Например, информация расширения каналов может быть информацией, необходимой для того, чтобы расширить сигнал с 5.1 каналами или сигнал с 7.1 каналами в сигнал с 9.1 каналами.

Информация расширения может быть включена в поток битов, и поток битов может быть передан на устройство декодирования. Затем устройство декодирования может выполнить компенсацию для сигнала понижающего микширования или расширить многоканальный сигнал, используя информацию расширения. Однако устройство декодирования может пропустить информацию расширения, вместо того, чтобы извлечь информацию расширения из потока битов. Например, в случае генерации многоканального сигнала с использованием 3D сигнала понижающего микширования, включенного в поток битов, или генерации 3D сигнала понижающего микширования с использованием сигнала понижающего микширования, включенного в поток битов, устройство декодирования может пропустить информацию расширения.

Способ пропуска информации расширения, включенной в поток битов, может быть тем же самым, что и один из способов пропуска полей, описанных выше со ссылками на фиг. 10.

Например, информация расширения может быть пропущена, используя, по меньшей мере, одно из информации размера в битах, которая присоединена к началу потока битов, включающему в себя информацию расширения, и указывает размер в битах информации расширения, синхрослова, которое присоединено к началу или концу поля, включающему в себя информацию расширения, и информации фиксированного размера в битах, которая указывает фиксированный размер в битах информации расширения. Информация размера в битах, синхрослово и информация фиксированного размера в битах могут все быть включены в поток битов. Информация фиксированного размера в битах может также храниться в устройстве декодирования.

Согласно фиг. 12 блок 810 декодирования включает в себя блок 811 компенсации понижающего микширования, блок 815 3D воспроизведения и многоканальный декодер 816.

Блок 811 компенсации понижающего микширования выполняет компенсацию для произвольного сигнала понижающего микширования, используя информацию компенсации, включенную в пространственную информацию, например, используя усиление понижающего микширования или информацию расширения.

Блок 815 3D воспроизведения генерирует 3D сигнал понижающего микширования декодера, выполняя операцию 3D воспроизведения над скомпенсированным сигналом понижающего микширования. Многоканальный декодер 816 генерирует 3D многоканальный сигнал, используя скомпенсированный сигнал понижающего микширования и основную пространственную информацию, которая включена в пространственную информацию.

Блок 811 компенсации понижающего микширования может выполнить компенсацию для произвольного сигнала понижающего микширования следующим образом.

Если информация компенсации представляет собой усиление понижающего микширования, то блок 811 компенсации понижающего микширования 811 выполняет компенсацию для уровня энергии произвольного сигнала понижающего микширования, используя усиление понижающего микширования так, чтобы произвольный сигнал понижающего микширования мог быть преобразован в сигнал, подобный сигналу понижающего микширования.

Если информация компенсации представляет собой вторую информацию расширения, то блок 811 компенсации понижающего микширования может выполнить компенсацию для компонентов, в которых испытывает недостаток произвольный сигнал понижающего микширования, используя вторую информацию расширения.

Многоканальный декодер 816 может генерировать многоканальный сигнал, последовательно применяя предматрицу М1, смешанную матрицу M2 и постматрицу M3 к сигналу понижающего микширования. В этом случае, вторая информация расширения может использоваться для выполнения компенсации для сигнала понижающего микширования при применении смешанной матрицы M2 к сигналу понижающего микширования. Другими словами, вторая информация расширения может использоваться для выполнения компенсации для сигнала понижающего микширования, к которому уже была применена предматрица М1.

Как описано выше, каждый из множества каналов может быть избирательно скомпенсирован, применяя информацию расширения к генерации многоканального сигнала. Например, если информация расширения применена к центральному каналу смешанной матрицы M2, то компоненты левого и правого канала сигнала понижающего микширования могут быть скомпенсированы посредством информации расширения. Если информация расширения применена к левому каналу смешанной матрицы M2, компонент левого канала сигнала понижающего микширования может быть скомпенсирован посредством информации расширения.

Усиление понижающего микширования и информация расширения могут использоваться как информация компенсации. Например, низкочастотный диапазон произвольного сигнала понижающего микширования может быть скомпенсирован с использованием информации расширения, а высокочастотный диапазон произвольного сигнала понижающего микширования может быть скомпенсирован с использованием усиления понижающего микширования. Кроме того, части произвольного сигнала понижающего микширования иные, чем низкочастотный диапазон произвольного сигнала понижающего микширования, например, пики или провалы, которые могут значительно повлиять на качество звучания, могут также быть скомпенсированы с использованием информации расширения. Информация относительно части, подлежащей компенсации посредством информации расширения, может быть включена в поток битов. Информация, указывающая, является ли сигнал понижающего микширования, включенный в поток битов, произвольным сигналом понижающего микширования или нет, и информация, указывающая, включает ли поток битов информацию компенсации, может быть включена в поток битов.

Чтобы предотвратить ограничение сигнала понижающего микширования, генерированного блоком 800 кодирования, сигнал понижающего микширования может быть разделен на предопределенное усиление. Предопределенное усиление может иметь статическое значение или динамическое значение.

Блок 811 компенсации понижающего микширования может восстановить исходный сигнал понижающего микширования путем выполнения компенсации для сигнала понижающего микширования, который ослаблен, чтобы предотвратить ограничение, используя предопределенное усиление.

Произвольный сигнал понижающего микширования, скомпенсированный блоком 811 компенсации понижающего микширования, может быть легко воспроизведен. Альтернативно, произвольный сигнал понижающего микширования, подлежащий компенсации, может быть введен в блок 815 3D воспроизведения и может быть преобразован в 3D сигнал понижающего микширования декодера блоком 815 3D воспроизведения.

Согласно фиг. 12 блок 811 компенсации понижающего микширования включает в себя первый преобразователь 812 области, процессор 813 компенсации и второй преобразователь 814 области.

Первый преобразователь 812 области преобразует произвольный сигнал понижающего микширования в предопределенную область. Процессор 813 компенсации компенсирует произвольный сигнал понижающего микширования в предопределенной области, используя информацию компенсации, например, усиление понижающего микширования или информацию расширения.

Компенсация произвольного сигнала понижающего микширования может быть выполнена в QMF/гибридной области. Для этого первый преобразователь 812 области может выполнить QMF/гибридный анализ на произвольном сигнале понижающего микширования. Первый преобразователь 812 области может преобразовать область произвольного сигнала понижающего микширования в область иную, чем QMF/гибридная область, например частотную область, такую как область ДПФ или БПФ. Компенсация произвольного сигнала понижающего микширования может также быть выполнена в области иной, чем QMF/гибридная область, например в частотной области или временной области.

Второй преобразователь 814 области преобразует область скомпенсированного произвольного сигнала понижающего микширования в ту же самую область, что и исходный произвольный сигнал понижающего микширования. Более конкретно, второй преобразователь 814 области преобразует область скомпенсированного произвольного сигнала понижающего микширования в ту же самую область, что и исходный произвольный сигнал понижающего микширования, путем инверсного выполнения операции преобразования области, выполненной первым преобразователем 812 области.

Например, второй преобразователь 814 области может преобразовать скомпенсированный произвольный сигнал понижающего микширования в сигнал временной области, выполняя QMF/гибридный синтез на скомпенсированном произвольном сигнале понижающего микширования. Кроме того, второй преобразователь 814 области может выполнить ОДПФ или ОБПФ на скомпенсированном произвольном сигнале понижающего микширования.

Блок 815 3D воспроизведения, как и блок 710 3D воспроизведения, проиллюстрированный на фиг. 7, может выполнить операцию 3D воспроизведения на скомпенсированном произвольном сигнале понижающего микширования в частотной области, QMF/гибридной области или временной области. Для этого блок 815 3D воспроизведения может включать в себя преобразователь области (не показан). Преобразователь области преобразует область скомпенсированного произвольного сигнала понижающего микширования в область, в которой должна быть выполнена операция 3D воспроизведения, или преобразует область сигнала, полученного операцией 3D воспроизведения.

Область, в которой процессор компенсации 813 выполняет компенсацию для произвольного сигнала понижающего микширования, может быть той же самый или отличающейся от области, в которой блок 815 3D воспроизведения выполняет операцию 3D воспроизведения над скомпенсированным произвольным сигналом понижающего микширования.

На фиг. 13 представлена блок-схема блока 820 компенсации понижающего микширования/3D воспроизведения согласно варианту осуществления настоящего изобретения. Согласно фиг. 13 блок 820 компенсации понижающего микширования/3D воспроизведения включает в себя первый преобразователь 821 области, второй преобразователь 822 области, процессор 823 компенсации/3D воспроизведения и третий преобразователь 824 области.

Блок 820 компенсации понижающего микширования/3D воспроизведения может выполнить и операцию компенсации, и операцию 3D воспроизведения над произвольным сигналом понижающего микширования в единой области, таким образом, уменьшая объем вычислений устройства декодирования.

Более конкретно, первый преобразователь 821 области преобразует область произвольного сигнала понижающего микширования в первую область, в которой должны быть выполнены операция компенсации и операция 3D воспроизведения. Второй преобразователь 822 области преобразует пространственную информацию, включая основную пространственную информацию, необходимую для генерации многоканального сигнала, и информацию компенсации, необходимую для выполнения компенсации для произвольного сигнала понижающего микширования, так, чтобы пространственная информация могла применяться в первой области. Информация компенсации может включать в себя, по меньшей мере, одно из усиления понижающего микширования и информации расширения.

Например, второй преобразователь 822 области может отобразить информацию компенсации, соответствующую параметрическому диапазону в QMF/гибридной области, на диапазон частот так, чтобы информация компенсации могла быть легко применимой в частотной области.

Первая область может быть частотной областью, такой как область ДПФ или БПФ, QMF/гибридной областью или временной областью. Альтернативно, первая область может быть областью иной, чем указанные выше.

Во время преобразования информации компенсации может иметь место временная задержка. Чтобы решить эту проблему, второй преобразователь 822 области может выполнить операцию компенсации временной задержки так, чтобы временная задержка между областью информации компенсации и первой областью могла быть скомпенсирована.

Процессор 823 компенсации/3D воспроизведения выполняет операцию компенсации над произвольным сигналом понижающего микширования в первой области, используя преобразованную пространственную информацию, и затем выполняет операцию 3D воспроизведения над сигналом, полученным операцией компенсации. Процессор 23 компенсации/3D воспроизведения может выполнять операцию компенсации и операцию 3D воспроизведения в порядке, отличающемся от описанного выше.

Процессор 823 компенсации/3D воспроизведения может выполнить операцию компенсации и операцию 3D воспроизведения над произвольным сигналом понижающего микширования в то же самое время. Например, процессор 823 компенсации/3D воспроизведения может генерировать скомпенсированный 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над произвольным сигналом понижающего микширования в первой области, используя новый коэффициент фильтра, который является комбинацией информации компенсации и существующего коэффициента фильтра, в типовом случае используемого в операции 3D воспроизведения.

Третий преобразователь 824 области преобразует 3D сигнал понижающего микширования, сгенерированного процессором 823 компенсации/3D воспроизведения в частотной области.

На фиг. 14 показана блок-схема устройства 900 декодирования для обработки совместимого сигнала понижающего микширования согласно варианту осуществления настоящего изобретения. Согласно фиг. 14 устройство 900 декодирования включает в себя первый многоканальный декодер 910, блок 920 обработки совместимости понижающего микширования, второй многоканальный декодер 930 и блок 940 3D воспроизведения. Детальные описания процессов декодирования, аналогичных процессам в варианте осуществления по фиг. 1, будут опущены.

Совместимый сигнал понижающего микширования представляет собой сигнал понижающего микширования, который может быть декодирован двумя или более многоканальными декодерами. Другими словами, совместимый сигнал понижающего микширования - это сигнал понижающего микширования, который первоначально оптимизирован для предопределенного многоканального декодера, и который может быть преобразован затем в сигнал, оптимизированный для многоканального декодера иного, чем предопределенный многоканальный декодер, посредством операции обработки совместимости.

Ссылаясь на фиг. 14, предположим, что входной совместимый сигнал понижающего микширования оптимизирован для первого многоканального декодера 910. Для того чтобы второй многоканальный декодер 930 мог декодировать входной совместимый сигнал понижающего микширования, блок 920 обработки совместимости понижающего микширования может выполнить операцию обработки совместимости над входным совместимым сигналом понижающего микширования так, чтобы входной совместимый сигнал понижающего микширования мог быть преобразован в сигнал, оптимизированный для второго многоканального декодера 930. Первый многоканальный декодер 910 генерирует первый многоканальный сигнал путем декодирования входного совместимого сигнала понижающего микширования. Первый многоканальный декодер 910 может генерировать многоканальный сигнал посредством декодирования, просто используя входной совместимый сигнал понижающего микширования без требования пространственной информации.

Второй многоканальный декодер 930 генерирует второй многоканальный сигнал, используя сигнал понижающего микширования, полученный операцией обработки совместимости, выполненной блоком 920 обработки совместимости понижающего микширования. Блок 940 3D воспроизведения может генерировать 3D сигнал понижающего микширования декодера, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным операцией обработки совместимости, выполненной блоком 920 обработки совместимости понижающего микширования.

Совместимый сигнал понижающего микширования, оптимизированный для предопределенного многоканального декодера, может быть преобразован в сигнал понижающего микширования, оптимизированный для многоканального декодера иного, чем предопределенный многоканальный декодер, используя информацию совместимости, такую как матрица инверсии. Например, когда имеются первый и второй многоканальные кодеры, использующие различные способы кодирования, и первый и второй многоканальные декодеры, использующие различные способы кодирования/декодирования, устройство кодирования может применить матрицу к сигналу понижающего микширования, сгенерированному первым многоканальным кодером, таким образом, генерируя совместимый сигнал понижающего микширования, который оптимизирован для второго многоканального декодера. Тогда устройство декодирования может применить матрицу инверсии к совместимому сигналу понижающего микширования, сгенерированному устройством кодирования, таким образом, генерируя совместимый сигнал понижающего микширования, который оптимизирован для первого многоканального декодера.

Согласно фиг. 14 блок 920 обработки совместимости понижающего микширования может выполнить операцию обработки совместимости над входным совместимым сигналом понижающего микширования, используя матрицу инверсии, таким образом, генерируя сигнал понижающего микширования, который оптимизирован для второго многоканального декодера 930.

Информация относительно матрицы инверсии, используемой блоком 920 обработки совместимости понижающего микширования, может быть сохранена в устройстве 900 декодирования 900 заранее или может быть включена во входной поток битов, переданный устройством кодирования. Кроме того, информация, указывающая, является ли сигнал понижающего микширования, включенный во входной поток битов, произвольным сигналом понижающего микширования или совместимым сигналом понижающего микширования, может быть включена во входной поток битов.

Согласно фиг. 14 блок 920 обработки совместимости понижающего микширования включает в себя первый преобразователь 921 области, процессор 922 совместимости и второй преобразователь 923 области.

Первый преобразователь 921 области преобразует область входного совместимого сигнала понижающего микширования в предопределенную область, и процессор 922 совместимости выполняет операцию обработки совместимости, используя информацию совместимости, такую как матрица инверсии, чтобы входной совместимый сигнал понижающего микширования в предопределенной области мог быть преобразован в сигнал, оптимизированный для второго многоканального декодера 930.

Процессор 922 совместимости может выполнить операцию обработки совместимости в QMF/гибридной области. Для этого первый пребразователь 921 области может выполнить QMF/гибридный анализ над входным совместимым сигналом понижающего микширования. Кроме того, первый пребразователь 921 области может преобразовать область входного совместимого сигнала понижающего микширования в область иную, чем QMF/гибридная область, например частотную область, такую как область ДПФ или область БПФ, и процессор 922 совместимости может выполнить операцию обработки совместимости в области иной, чем QMF/гибридная область, например, в частотной области или временной области.

Второй пребразователь 923 области преобразует область совместимого сигнала понижающего микширования, полученного операцией обработки совместимости. Более конкретно, второй пребразователь 923 области может преобразовать область совместимого сигнала понижающего микширования, полученного операцией обработки совместимости, в ту же самую область, что и область исходного входного совместимого сигнала понижающего микширования, инверсно выполняя операцию преобразования области, выполненную первым преобразователем 921 области.

Например, второй пребразователь 923 области может преобразовать совместимый сигнал понижающего микширования, полученный операцией обработки совместимости, в сигнал временной области, выполняя QMF/гибридный синтез над совместимым сигналом понижающего микширования, полученным операцией обработки совместимости. Альтернативно, второй пребразователь 923 области может выполнить ОДПФ или ОБПФ над совместимым сигналом понижающего микширования, полученным операцией обработки совместимости.

Блок 940 3D воспроизведения может выполнить операцию 3D воспроизведения над совместимым сигналом понижающего микширования, полученным операцией обработки совместимости, в частотной области, QMF/гибридной области или временной области. Для этого блок 940 3D воспроизведения может включать в себя преобразователь области (не показан). Преобразователь области преобразует область входного совместимого сигнала понижающего микширования в область, в которой должна быть выполнена операция 3D воспроизведения, или преобразует область сигнала, полученного операцией 3D воспроизведения.

Область, в которой процессор 922 совместимости выполняет операцию обработки совместимости, может быть той же самой или отличающейся от области, в которой блок 940 3D воспроизведения выполняет операцию 3D воспроизведения.

На фиг. 15 показана блок-схема блока 950 обработки совместимости понижающего микширования/3D воспроизведения согласно варианту осуществления настоящего изобретения. Согласно фиг. 15, блок 950 обработки совместимости понижающего микширования/3D воспроизведения содержит первый пребразователь 951 области, второй пребразователь 952 области, процессор 953 совместимости/3D воспроизведения и третий пребразователь 954 области.

Блок 950 обработки совместимости понижающего микширования/3D воспроизведения выполняет операцию обработки совместимости и операцию 3D воспроизведения в единой области, таким образом, уменьшая объем вычислений устройства декодирования.

Первый пребразователь 951 области преобразует входной совместимый сигнал понижающего микширования в первую область, в которой должны быть выполнены операция обработки совместимости и операция 3D воспроизведения. Второй пребразователь 952 области преобразует пространственную информацию и информацию совместимости, например матрицу инверсии, чтобы пространственная информация и информация совместимости могли применяться в первой области.

Например, второй пребразователь 952 области отображает матрицу инверсии, соответствующую параметрическому диапазону в QMF/гибридной области, в частотную область, чтобы матрица инверсии могла быть легко применимой в частотной области.

Первая область может быть частотной областью, такой как область ДПФ или область БПФ, QMF/гибридной областью или временной областью. Альтернативно, первая область может быть областью иной, чем указанные выше.

Во время преобразования пространственной информации и информации совместимости может иметь место временная задержка.

Чтобы решить эту проблему, второй пребразователь 952 области может выполнить операцию компенсации временной задержки, чтобы временная задержка между областью пространственной информации и информации компенсации и первой областью могла быть скомпенсирована.

Процессор 953 совместимости/3D воспроизведения выполняет операцию обработки совместимости над входным совместимым сигналом понижающего микширования в первой области, используя преобразованную информацию совместимости, и затем выполняет операцию 3D воспроизведения над совместимым сигналом понижающего микширования, полученным операцией обработки совместимости. Процессор 953 совместимости/3D воспроизведения может выполнить операцию обработки совместимости и операцию 3D воспроизведения в порядке ином, чем описанный выше.

Процессор 953 совместимости/3D воспроизведения может выполнить операцию обработки совместимости и операцию 3D воспроизведения над входным совместимым сигналом понижающего микширования в то же самое время. Например, процессор 953 совместимости/3D воспроизведения может генерировать 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над входным совместимым сигналом понижающего микширования в первой области, используя новый коэффициент фильтра, который является комбинацией информации совместимости и существующего коэффициента фильтра, в типовом случае используемого в операции 3D воспроизведения.

Третий пребразователь 954 области преобразует область 3D сигнала понижающего микширования, сгенерированного процессором 953 совместимости/3D воспроизведения, в частотную область.

На фиг. 16 показана блок-схема устройства декодирования для компенсации перекрестной связи согласно варианту осуществления настоящего изобретения. Согласно фиг. 16 устройство декодирования включает в себя блок 960 распаковки битов, декодер 970 понижающего микширования, блок 980 3D воспроизведения и блок 990 компенсации перекрестной связи. Детальные описания процессов декодирования, аналогичных описанным выше для варианта осуществления по фиг. 1, будут опущены.

3D сигнал понижающего микширования, сгенерированный блоком 980 3D воспроизведения, может быть воспроизведен наушником. Однако, когда 3D сигнал понижающего микширования воспроизводится динамиками, которые удалены от пользователя, может возникнуть межканальная перекрестная связь.

Поэтому устройство декодирования может включать в себя блок 990 компенсации перекрестной связи, который выполняет операцию компенсации перекрестной связи над 3D сигналом понижающего микширования.

Устройство декодирования может выполнить операцию обработки звукового поля.

Информация звукового поля, используемая в операции обработки звукового поля, то есть информация, идентифицирующая место, в котором должен быть воспроизведен 3D сигнал понижающего микширования, может быть включена во входной поток битов, переданный устройством кодирования, или может быть выбрана устройством декодирования.

Входной поток битов может включать в себя информацию времени реверберации. Фильтр, используемый в операции обработки звукового поля, может управляться согласно информации времени реверберации.

Операция обработки звукового поля может быть выполнена по-разному для начальной части и конечной части реверберации. Например, начальная часть может быть обработана с использованием фильтра FIR, а последняя часть реверберациии может быть обработана с использованием фильтра IIR.

Более конкретно, операция обработки звукового поля может быть выполнена над начальной частью путем выполнения операции свертки во временной области с использованием фильтра FIR или путем выполнения операции умножения в частотной области и преобразования результата операции умножения во временную область. Операция обработки звукового поля может быть выполнена над последней частью реверберации во временной области.

Настоящее изобретение может быть реализовано как считываемый компьютером код, записанный на машиночитаемом носителе записи. Машиночитаемый носитель записи может быть устройством записи любого типа, в котором данные сохраняются в машиночитаемой форме. Примеры машиночитаемого носителя записи включают в себя ROM, RAM, CD-ROM, магнитную ленту, гибкий диск, оптическое ЗУ данных и несущее колебание (например, передача данных через Интернет). Машиночитаемый носитель записи может быть распределен по множеству компьютерных систем, связанных с сетью так, чтобы машиночитаемый код мог записываться на них и исполняться с них децентрализованным способом. Функциональные программы, код и сегменты кода, необходимые для реализации настоящего изобретения, могут быть без труда истолкованы специалистами в данной области техники.

Как описано выше, согласно настоящему изобретению возможно эффективно кодировать многоканальные сигналы с 3D эффектами и адаптивно восстанавливать и воспроизводить аудиосигналы с оптимальным качеством звучания в соответствии с характеристиками среды воспроизведения.

Промышленная применимость

Другие реализации находятся в пределах объема приведенных далее пунктов формулы изобретения. Например, группирование, кодирование данных и энтропийное кодирование согласно настоящему изобретению могут быть применены к различным областям применения и различным продуктам. Носители данных, хранящие данные, к которым применен аспект настоящего изобретения, входят в объем настоящего изобретения.

Изобретение относится к способу и устройству кодирования/декодирования, более конкретно, к устройству кодирования/декодирования, которое обрабатывает аудиосигналы так, чтобы можно было создавать трехмерные (3D) звуковые эффекты. Способ декодирования включает в себя извлечение трехмерного (3D) сигнала понижающего микширования и пространственной информации из входного потока битов; удаление 3D эффектов из 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над 3D сигналом понижающего микширования; и генерацию многоканального сигнала, используя пространственную информацию и сигнал понижающего микширования, полученный посредством удаления. Технический результат - обеспечить возможность эффективно кодировать многоканальные сигналы с 3D эффектами и адаптивно восстанавливать и воспроизводить аудиосигналы с оптимальным качеством звучания в соответствии с характеристиками среды воспроизведения. 3 н. и 8 з.п. ф-лы, 3 табл., 16 ил.

1. Способ декодирования сигнала, содержащий
прием трехмерного (3D) сигнала понижающего микширования и пространственной информации;
декодирование 3D сигнала понижающего микширования;
извлечение информации, относящейся к фильтру, из входного потока битов;
удаление 3D эффекта из 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над 3D сигналом понижающего микширования с использованием фильтра, инверсного фильтру, используемому для генерации 3D сигнала понижающего микширования, на основании информации, относящейся к фильтру; и
генерацию многоканального сигнала, используя пространственную информацию и сигнал понижающего микширования, из которого удален 3D эффект.

2. Способ по п.1, в котором инверсный фильтр является функцией, инверсной связанной с головой передаточной функции (HRTF), используемой для генерации 3D сигнала понижающего микширования.

3. Способ по п.2, в котором информация, относящаяся к фильтру, является, по меньшей мере, одной из информации, относящейся к коэффициентам HRTF, и информации, относящейся к коэффициентам функции, инверсной HRTF.

4. Способ по п.2, дополнительно содержащий прием, по меньшей мере, одной из информации, указывающей, включает ли входной поток битов информацию, относящуюся к фильтру, и информации, указывающей, является ли информация, относящаяся к фильтру, информацией, относящейся к коэффициентам функции, инверсной HRTF.

5. Способ по п.1, в котором операцию 3D воспроизведения выполняют в одной из области дискретного преобразования Фурье (ДПФ), области быстрого преобразования Фурье (БПФ), области квадратурного зеркального фильтра (QMF)/гибридной области и временной области.

6. Машиночитаемый носитель записи, содержащий компьютерную программу для исполнения способа декодирования по любому из пп.1-5.

7. Устройство для декодирования сигнала, содержащее
блок распаковки битов, принимающий трехмерный (3D) сигнал понижающего микширования и пространственную информацию;
декодер понижающего микширования, декодирующий 3D сигнал понижающего микширования;
блок 3D воспроизведения, удаляющий 3D эффект из 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над 3D сигналом понижающего микширования с использованием фильтра, инверсного фильтру, используемому для генерации 3D сигнала понижающего микширования, на основании информации, относящейся к фильтру; и
многоканальный декодер, генерирующий многоканальный сигнал, используя пространственную информацию и сигнал понижающего микширования, из которого удален 3D эффект.

8. Устройство по п.7, в котором инверсный фильтр является функцией, инверсной связанной с головой передаточной функции (HRTF), используемой для генерации 3D сигнала понижающего микширования.

9. Устройство декодирования по п.8, в котором информация, относящаяся к фильтру, является, по меньшей мере, одной из информации, относящейся к коэффициентам HRTF, и информации, относящейся к коэффициентам функции, инверсной HRTF.

10. Устройство декодирования по п.8, в котором блок распаковки битов принимает, по меньшей мере, одну из информации, указывающей, включает ли входной поток битов информацию, относящуюся к фильтру, и информации, указывающей, является ли информация, относящаяся к фильтру, информацией относящейся к коэффициентам функции, инверсной HRTF.

11. Устройство декодирования по п.9, в котором операция 3D воспроизведения выполняется в одной из области дискретного преобразования Фурье (ДПФ), области быстрого преобразования Фурье (БПФ), области квадратурного зеркального фильтра (QМF)/гибридной области и временной области.