ДЕКОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ ДЕКОДИРОВАНИЯ, КОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ КОДИРОВАНИЯ И ПРОГРАММА Российский патент 2018 года по МПК G10L19/08 

Область техники, к которой относится изобретение

Настоящее изобретение относится к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования и программе и, более конкретно, к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования и программе, позволяющим получить высококачественное реалистичное звучание.

Уровень техники

В последние годы во всех странах мира появились сервис распространения кинофильмов, цифровое телевизионное вещание и архивирование следующего поколения. В дополнение к известному стереофоническому вещанию началось внедрение звукового вещания, соответствующего множеству каналов, таких как каналы стандарта 5.1.

Для дальнейшего усовершенствования качества изображения проводятся исследования в области телевидения высокой четкости с увеличенным числом пикселов. На основе результатов исследований телевидения высокой четкости следующего поколения можно ожидать, что совокупность каналов может быть расширена до множества каналов, превышающих каналов 5.1 в горизонтальном направлении и в вертикальном направлении в поле обработки звука для достижения реалистичного звучания.

Для кодирования аудиоданных предложен способ, группирующий множество окон из разных каналов в некоторое число ячеек, "плиток", для повышения эффективности кодирования (например, см. Патентный документ 1).

Список литературы

Патентная литература

Патентный документ 1: JP 2010-217900 A

Раскрытие изобретения

Проблемы, которые должно решить изобретение

Однако при использовании упомянутого выше способа трудно получить высококачественное реалистичное звучание.

Например, при многоканальном кодировании на основе стандарта Усовершенствованного аудио кодирования Группы экспертов по кинематографии (Moving Picture Experts Group-2 Advanced Audio Coding (MPEG-2AAC)) и на основе стандарта MPEG-4AAC, являющихся международными стандартами, определены только расположение громкоговорителей в горизонтальном направлении и информация о микшировании с уменьшением числа каналов для преобразования от стандарта 5.1 каналов в стереоканалы. Поэтому трудно реагировать в достаточной степени на протяженность каналов в плоскости и в вертикальном направлении.

Предлагаемый способ разработан с учетом упомянутых выше проблем и позволяет получить высококачественное реалистичное звучание.

Решение проблем

Декодирующее устройство согласно первому аспекту настоящего изобретения содержит декодирующий модуль, который декодирует аудиоданные, включенные в кодированный поток битов данных, модуль считывания, который считывает из кодированного потока битов данных информацию, указывающую, что в кодированном потоке битов данных присутствует расширенная информация, и считывает расширенную информацию на основе считанной информации, и обрабатывающий модуль, который обрабатывает декодированные аудиоданные на основе расширенной информации.

Расширенная информация может представлять собой информацию о микшировании с уменьшением числа каналов, а обрабатывающий модуль может осуществлять микширование с уменьшением числа каналов декодированных аудиоданных множества каналов на основе расширенной информации.

Обрабатывающий модуль может далее осуществлять микширование с уменьшением числа каналов применительно к аудиоданным, которые уже были подвергнуты микшированию с уменьшением числа каналов на основе расширенной информации, на основе информации, отличной от расширенной информации, входящей в состав кодированного потока битов данных.

Расширенная информация может представлять собой информацию для получения коэффициента, используемого для микширования аудиоданных с уменьшением числа каналов.

Расширенная информация может представлять собой информацию для получения значения коэффициента усиления, используемого для регулировки коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов.

Расширенная информация может представлять собой информацию, указывающую, нужно ли использовать аудиоданные определенного канала при микшировании с уменьшением числа каналов.

Способ декодирования или программа согласно первому аспекту настоящего изобретения содержит этап декодирования аудиоданных, включенных в кодированный поток битов данных, этап считывания информации, указывающей на наличие расширенной информации в кодированном потоке битов данных, и считывания расширенной информации на основе считанной информации, и этап обработки декодированных аудиоданных на основе расширенной информации.

Согласно первому аспекту настоящего изобретения декодируют аудиоданные, включенные в кодированный поток битов данных. Из кодированного потока битов данных считывают информацию, указывающую на наличие расширенной информации в кодированном потоке битов данных, и считывают расширенную информацию на основе считанной информации. Указанные декодированные аудиоданные обрабатывают на основе расширенной информации.

Кодирующее устройство согласно второму аспекту настоящего изобретения содержит кодирующий модуль, который кодирует аудиоданные, информацию, указывающую на наличие расширенной информации, и расширенную информацию, и модуль упаковки, который сохраняет кодированные аудиоданные, кодированную информацию, указывающую на наличие расширенной информации, и кодированную расширенную информацию в заданной области и генерирует кодированный поток битов данных.

Указанная расширенная информация может представлять собой информацию о микшировании с уменьшением числа каналов, так что декодированные аудиоданные множества каналов могут быть подвергнуты микшированию с уменьшением числа каналов на основе расширенной информации.

Аудиоданные, которые уже были подвергнуты микшированию с уменьшением числа каналов на основе расширенной информации, могут быть дополнительно микшированы с уменьшением числа каналов на основе информации, отличной от расширенной информации, входящей в состав кодированного потока битов данных.

Указанная расширенная информация может представлять собой информацию для получения коэффициента, используемого при микшировании аудиоданных с уменьшением числа каналов.

Расширенная информация может представлять собой информацию для получения значения коэффициента усиления, используемого для регулировки коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов, так что коэффициент усиления аудиоданных, микшированных с уменьшением числа каналов, может быть отрегулирован на основе указанного значения коэффициента усиления.

Расширенная информация может представлять собой информацию, указывающую, следует ли использовать аудиоданные определенного канала при микшировании с уменьшением числа каналов.

Способ или программа кодирования согласно второму аспекту настоящего изобретения содержит этап кодирования аудиоданных, информации, указывающей на наличие расширенной информации, и расширенной информации и этап сохранения кодированных аудиоданных, кодированной информации, указывающей на наличие расширенной информации, и кодированной расширенной информации в заданной области и генерирования кодированного потока битов данных.

Согласно второму аспекту настоящего изобретения кодируют аудиоданные, информацию, указывающую на наличие расширенной информации, и расширенную информацию. Кодированные аудиоданные, кодированную информацию, указывающую на наличие расширенной информации, и кодированную расширенную информацию сохраняют в заданной области и генерируют кодированный поток битов данных.

Полезные результаты изобретения

Согласно первому и второму аспектам настоящего изобретения можно получить высококачественное реалистичное звучание.

Краткое описание чертежей

Фиг. 1 представляет схему, иллюстрирующую расположение громкоговорителей.

Фиг. 2 представляет таблицу, иллюстрирующую пример расшифровки обозначений громкоговорителей.

Фиг. 3 представляет схему, иллюстрирующую кодированный поток битов данных.

Фиг. 4 представляет таблицу, иллюстрирующую синтаксис элемента height_extension_element.

Фиг. 5 представляет таблицу, иллюстрирующую высоты расположения громкоговорителей.

Фиг. 6 представляет таблицу, иллюстрирующую синтаксис вспомогательных данных согласно стандарту MPEG4.

Фиг. 7 представляет таблицу, иллюстрирующую синтаксис параметра bs_info().

Фиг. 8 представляет таблицу, иллюстрирующую синтаксис параметра ancillary_data_status().

Фиг. 9 представляет таблицу, иллюстрирующую синтаксис параметра downmixing_levels_MPEG4().

Фиг. 10 представляет таблицу, иллюстрирующую синтаксис параметра audio_coding_mode().

Фиг. 11 представляет таблицу, иллюстрирующую синтаксис параметра MPEG4_ext_ancillary_data().

Фиг. 12 представляет таблицу, иллюстрирующую синтаксис параметра ext_ancillary_data_status().

Фиг. 13 представляет таблицу, иллюстрирующую синтаксис параметра ext_downmixing_levelsO.

Фиг. 14 представляет таблицу, иллюстрирующую целевые объекты, к которым применяется каждый коэффициент.

Фиг. 15 представляет таблицу, иллюстрирующую синтаксис параметра ext_dowiimixing_global_gains().

Фиг. 16 представляет таблицу, иллюстрирующую синтаксис параметра ext_downmixing_lfe_level().

Фиг. 17 представляет таблицу, иллюстрирующую микширование с уменьшением числа каналов.

Фиг. 18 представляет таблицу, иллюстрирующую коэффициент, определяемый для параметра dmix_lfe_idx.

Фиг. 19 представляет таблицу, иллюстрирующую коэффициенты, определяемые для параметров dmix_a_idx и dmix_b_idx.

Фиг. 20 представляет таблицу, иллюстрирующую синтаксис параметра drc_presentation_mode.

Фиг. 21 представляет таблицу, иллюстрирующую параметр drc_presentation_mode.

Фиг. 22 представляет схему, показывающую пример структуры кодирующего устройства.

Фиг. 23 представляет логическую схему, иллюстрирующую процесс кодирования.

Фиг. 24 представляет схему, показывающую пример структуры декодирующего устройства.

Фиг. 25 представляет логическую схему, иллюстрирующую процесс декодирования.

Фиг. 26 представляет схему, показывающую пример структуры кодирующего устройства.

Фиг. 27 представляет логическую схему, иллюстрирующую процесс кодирования.

Фиг. 28 представляет схему, показывающую пример декодирующего устройства.

Фиг. 29 представляет схему, показывающую пример структуры устройства микширования с уменьшением числа каналов.

Фиг. 30 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 31 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 32 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 33 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 34 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 35 представляет схему, показывающую пример структуры модуля микширования с уменьшением числа каналов.

Фиг. 36 представляет логическую схему, иллюстрирующую процесс декодирования.

Фиг. 37 представляет логическую схему, иллюстрирующую процесс реорганизации данных.

Фиг. 38 представляет логическую схему, иллюстрирующую процесс реорганизации данных.

Фиг. 39 представляет логическую схему, иллюстрирующую процесс микширования с уменьшением числа каналов.

Фиг. 40 представляет схему, показывающую пример структуры компьютера.

Осуществление изобретения

Далее, варианты предлагаемой технологии будут описаны со ссылками на перечисленные чертежи.

Первый вариант

Очерк предлагаемой технологии

Сначала будет дан общий очерк предлагаемой технологии.

Настоящее изобретение относится к кодированию и декодированию аудиоданных. Например, при многоканальном кодировании на основе стандарта MPEG-2AAC или MPEG-4AAC трудно получить информацию о протяженности каналов в горизонтальной плоскости и в вертикальном направлении.

При многоканальном кодировании отсутствует информация о микшировании с уменьшением числа каналов применительно к контенту расширенных каналов и не известен подходящий коэффициент смешивания каналов. Поэтому портативному устройству с небольшим числом воспроизводимых каналов трудно воспроизводить звук.

Предлагаемая технология позволяет получать высококачественное реалистичное звучание с использованием следующих характеристик с (1) по (4),

(1) Информация о расположении громкоговорителей в вертикальном направлении записана в области комментариев в элементе конфигурации РСЕ (Program_config_element), определенном в существующем стандарте ААС.

(2) В случае характеристики (1), чтобы отличать открытые комментарии от информации о расположении громкоговорителей в вертикальном направлении, используют два кодируемых на стороне кодирующего устройства элемента идентификационной информации, а именно слово синхронизации и циклически избыточный контрольный код (CRC), а декодирующее устройство сравнивает эти два элемента идентификационной информации. Когда эти два элемента идентификационной информации идентичны один другому, декодирующее устройство принимает информацию о расположении громкоговорителей.

(3) Информацию о микшировании аудиоданных с уменьшением числа каналов записывают в области вспомогательных данных (DSE (data_stream_element)).

(4) Процедура микширования с уменьшением числа каналов для преобразования сигналов от стандарта 6.1 каналов или 7.1 каналов к стандарту 2 каналов представляет собой двухступенчатую процедуру обработки данных, содержащую этап микширования от стандарта 6.1 каналов или 7.1 каналов к стандарту 5.1 каналов и этап микширования от стандарта 5.1 каналов к стандарту 2 каналов.

В такой ситуации использование информации о расположении громкоговорителей в вертикальном направлении делает возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости, и воспроизведение более реалистичного звучания, чем это возможно при использовании нескольких каналов в плоскости в соответствии с известными способами.

Кроме того, при передаче информации о микшировании от стандарта 6.1 каналов или стандарта 7.1 каналов к стандарту 5.1 каналов или 2 каналов использование одного кодирующего элемента данных делает возможным воспроизведение звука с числом каналов, наиболее подходящим для каждой среды, где происходит воспроизведение. В декодирующем устройстве в известных системах, не соответствующих предлагаемой технологии, информацию в вертикальном направлении игнорируют, как открытые комментарии, и декодируют аудиоданные. Таким образом, совместимость не пострадала.

О расположении громкоговорителей

Далее будет описано расположение громкоговорителей при воспроизведении аудиоданных.

Например, предположим, что, как показано на Фиг. 1, пользователь смотрит на экран TVS дисплея устройства, такого как телевизор, спереди. Иными словами, предположим, что пользователь находится перед экраном TVS дисплея, показанным на Фиг. 1.

В этой ситуации, предположим, что вокруг пользователя расположены 13 громкоговорителей, а именно Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE.

В дальнейшем каналы аудиоданных (звуки), воспроизводимые громкоговорителями Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, будут именоваться Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, соответственно.

Как показано на Фиг. 2, канал L представляет собой "Передний левый" ("Front Left"), канал R представляет собой "Передний правый" ("Front Right") и канал C представляет собой "Передний центральный" ("Front Center").

Кроме того, канал Ls представляет собой "Левый окружной" ("Left Surround"), канал Rs представляет собой "Правый окружной" ("Right Surround"), канал Lrs представляет собой "Левый задний" ("Left Rear"), канал Rrs представляет собой "Правый задний" ("Right Rear") и канал Cs представляет собой "Центральный задний" ("Center Back").

Канал Lvh представляет собой "Левый верхний передний" ("Left High Front"), канал Rvh представляет собой "Правый верхний передний" ("Right High Front") и канал LFE представляет собой канал "Канал низкочастотных эффектов" ("Low-Frequency-Effect").

Возвращаясь к Фиг. 1, громкоговоритель Lvh и громкоговоритель Rvh расположены на левой и правой сторонах, соответственно, спереди от пользователя. Уровень, на котором расположены громкоговорители Rvh и Lvh, называется "Верхний уровень".

Громкоговорители L, C и R расположены соответственно слева, в центре и справа от пользователя. Громкоговорители Lc и Rc расположены между громкоговорителями L и C и между громкоговорителями R и C, соответственно. Кроме того, громкоговорители Ls и Rs расположены на левой и правой сторонах от пользователя, соответственно, а громкоговорители Lrs, Rrs и Cs расположены сзади слева, сзади справа и сзади от пользователя, соответственно.

Громкоговорители Lrs, Ls, L, Lc, С, Rc, R, Rs, Rrs и Cs расположены в плоскости, лежащей по существу на высоте ушей пользователя так, чтобы окружать пользователя. Уровень, на котором расположены эти громкоговорители, называется "Средний уровень".

Громкоговоритель LFE канала низкочастотных эффектов находится с передней нижней стороны от пользователя, а уровень, на котором расположен этот громкоговоритель LFE, так и называется "уровень LFE" ("LFE layer").

О кодированном потоке битов данных

Когда кодируют аудиоданные в каждом канале, получают кодированный поток битов данных, показанный, например, на Фиг. 3. Иными словами, Фиг. 3 иллюстрирует синтаксис кодированного потока битов данных для кадра по стандарту AAC.

Кодированный поток битов данных, показанный на Фиг. 3, содержит поля и элементы "Header/sideinfo", "РСЕ", "SCE", "CPE", "LFE", "DSE", "FIL(DRC)" и "FIL(END)". В этом примере кодированный поток битов данных содержит три элемента "СРЕ".

Например, элемент "РСЕ" содержит информацию о каждом канале аудиоданных. В этом примере элемент "РСЕ" содержит параметр "Matrix-mixdown", представляющий собой информацию о микшировании аудиоданных с уменьшением числа каналов, и элемент "Информация о высоте" ("Height Infomation"), представляющий собой информацию о расположении громкоговорителей. Кроме того, элемент "РСЕ" содержит параметр "comment_field_data", представляющий собой область комментариев (поле комментариев), которое может сохранять произвольные комментарии, причем параметр "comment_field_data" содержит элемент "height_extension_element", представляющий расширенную область. Область комментариев может иметь произвольные данные, такие как открытые комментарии. Указанный элемент "height_extension_element" содержит элемент "Height Infomation", представляющий собой информацию о высоте, на которой расположены громкоговорители.

Элемент "SCE" содержит аудиоданные единственного канала, элемент" СРЕ" содержит аудиоданные пары, т.е. двух, каналов и элемент "LFE" содержит аудиоданные, например, канала LFE. Например, элемент "SCE" сохраняет аудиоданные канала C или Cs и элемент "СРЕ" содержит аудиоданные канала L или R, либо канала Lvh или Rvh.

Кроме того, элемент "DSE" представляет собой область вспомогательных данных. Элемент "DSE" сохраняет произвольные данные. В этом примере, элемент "DSE" содержит в качестве информации о микшировании аудиоданных с уменьшением числа каналов поля «Микширование от 5.1 к 2» ("Downmix 5.1ch to 2ch"), «Управление динамическим диапазоном» ("Dynamic Range Control"), «Режим представления DRC» ("DRC Presentation Mode"), «Микширование от 6.1 и 7.1 к 5.1» ("Downmix 6.1ch and 7.1ch to 5.1ch"), «микширование с глобальным коэффициентом усиления» ("global gain downmixing") и «микширование LFE»" ("LFE downmixing").

Кроме того, элемент "FIL(DRC)" содержит информацию об управлении динамическим диапазоном звуков. Например, элемент "FIL(DRC)" содержит параметры «Опорный уровень программы» ("Program Reference Level") и «Управление динамическим диапазоном» ("Dynamic Range Control").

О поле комментариев

Как описано выше, поле "comment_field_data" элемента "РСЕ" содержит элемент "height_extension_element". Поэтому многоканальное воспроизведение обеспечивается с применением информации о расположении громкоговорителей в вертикальном направлении. Иными словами, громкоговорители, расположенные на каждом уровне, таком как «Верхний уровень» или «Средний уровень», воспроизводят высококачественный реалистичный звук.

Например, как показано на Фиг. 4, элемент "height_extension_element" содержит слово синхронизации, чтобы отличать эту информацию от других открытых комментариев. Иными словами, Фиг. 4 представляет таблицу, иллюстрирующую синтаксис элемента height_extension_element.

На Фиг. 4 параметр "PCE_HEIGHT_EXTENSION_SYNC" обозначает слово синхронизации.

Кроме того, параметры "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" указывают высоты расположения громкоговорителей, находящихся спереди, сбоку и сзади от наблюдателя, т.е. уровни.

Далее, параметр "byte_alignment()" обозначает выравнивание байтов, а параметр "height_info_crc_check" указывает циклически избыточный контрольный код CRC, используемый в качестве идентификационной информации. Кроме того, контрольный код CRC вычисляют на основе информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()", иными словами в последовательности, содержащей слово синхронизации, информацию о расположении каждого громкоговорителя (информацию о каждом канале) и данные о выравнивании байтов. Затем определяют, идентичен ли вычисленный контрольный код CRC контрольному коду CRC, указанному в параметре "height_info_crc_check". Когда указанные контрольные коды CRC идентичны один другому, определяют, что информация о расположении каждого громкоговорителя прочитана правильно. Кроме того, параметр "crc_cal()!=height_info_crc_check" обозначает результат сравнения контрольных кодов CRC.

Кроме того, параметры "front_element_height_info [i]" и "back_element_height_info [i]", представляющие собой информацию о позициях источников звука, иными словами, о расположении (высоте) громкоговорителей, задают, как показано на Фиг. 5.

Иными словами, когда информация о параметрах "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" равна "0", "1" и "2", высоты расположения громкоговорителей соответствуют «Нормальной высоте», «Верхнему громкоговорителю» и «Нижнему громкоговорителю». Иными словами, уровни, на которых расположены громкоговорители, являются «Средним уровнем», «Верхним уровнем» и «Уровнем LFE».

Об элементе DSE

Далее будет описана область «Вспомогательные данные MPEG4», представляющая собой область вспомогательных данных, входящую в элемент "DSE", иными словами, "data_stream_byte []" из состава элемента "data_stream_element()". Эта область «Вспомогательные данные MPEG4» ("MPEG4 ancillary data") может обеспечивать управление динамическим диапазоном (DRC) при микшировании с уменьшением числа каналов от стандарта 6.1 каналов или 7.1 каналов к стандарту 5.1 каналов или 2 канала.

Фиг. 6 представляет таблицу, иллюстрирующую синтаксис этой области вспомогательных данных согласно стандарту MPEG4. Указанная область «Вспомогательные данные MPEG4» содержит параметры "bs_info()", "ancillary_data_status()", "downmixing_levels_MPEG4()", "audio_coding_mode()", "Compression_value" и "MPEG4_ext_ancillary_data()".

Здесь параметр "Compression_value" соответствует полю "Управление динамическим диапазоном" ("Dynamic Range Control"), показанному на Фиг. 3. Кроме того, синтаксис параметров "bs_info()", "ancillary_data_status()", "downmixing_levels_MPEG4()", "audio_coding_mode()" и "MPEG4_ext_ancillary_data()" показан на Фиг. 7-11, соответственно.

Например, как показано на Фиг. 7, параметр "bs_infto()" содержит параметры "mpeg_audio_type", "dolby_surround_mode", "drc_presentation_mode" и "pseudo_surround_enable".

Кроме того, параметр "drc_presentation_mode" соответствует параметру «Режим представления управления динамическим диапазоном» ("DRC Presentation Mode"), показанному на Фиг. 3. Далее, параметр "pseudo_surround_enable" содержит информацию, указывающую процедуру микширования от стандарта 5.1 каналов к стандарту 2 канала, иными словами, информацию, указывающую один из нескольких способов микширования с уменьшением числа каналов, который нужно использовать для микширования.

Например, процедура зависит от того, равен ли параметр "ancillary_data_extension_status", входящий в состав параметра "ancillary_data_status()", изображенного на Фиг. 8, 0 или 1. Когда параметр "ancillary_data_extension_status" равен 1, осуществляется доступ к параметру "MPEG4_ext_ancillary_data()" в области «Вспомогательных данных MPEG4», показанной на Фиг. 6, и выполняется управление динамическим диапазоном DRC при микшировании с уменьшением числа каналов. С другой стороны, когда параметр "ancillary_data_extension_status" равен 0, осуществляется процедура согласно известным технологиям. Такой подход позволяет обеспечить совместимость с существующими стандартами.

Кроме того, параметр "downmixing_levels_MPEG4_status", входящий в состав параметра "ancillary_data_status()", показанного на Фиг. 8, представляет собой информацию для назначения коэффициента (пропорции микширования), используемого при микшировании от стандарта 5.1 каналов к 2 каналам. Иными словами, когда параметр "downmixing_levels_MPEG4_status" равен 1, для микширования используется коэффициент, определенный информацией, записанной в параметре "downmixing_levels_MPEG4()", показанном на Фиг. 9.

Кроме того, параметр "downmixing_levels_MPEG4()", показанный на Фиг. 9, содержит параметры "center_mix_level_value" и "surround_mix_level_value" в качестве информации, задающей коэффициент микширования. Например, значения коэффициентов, соответствующих параметрам "center_mix_level_value" и "surround_mix_level_value", определены в показанной на Фиг. 19 таблице, которая будет рассмотрена ниже.

Кроме того, параметр "dovvnmixing_levels_MPEG4()", показанный на Фиг. 9, соответствует полю «Микширование от 5.1 к 2», изображенному на Фиг. 3.

Далее, параметр "MPEG4_ext_ancillary_data()", показанный на Фиг. 11, содержит параметры "ext_ancillary_data_status()", "ext_downmixing_levels()", "ext_downmixing_global_gains()" и "ext_downmixing_lfe_level()".

Информация, необходимая для увеличения числа каналов, чтобы аудиоданные стандарта 5.1 каналов расширить до аудиоданных стандартов 7.1 каналов или 6.1 каналов, сохранена в параметре "MPEG4_ext_ancillary_data()".

В частности, параметр "ext_ancillary_data_status()" содержит информацию (флаг), указывающую, следует ли микшировать каналы от стандарта более 5.1 каналов к стандарту 5,1 канала, информацию, нужно ли производить регулировку коэффициента усиления в процессе микширования, и информацию, указывающую, следует ли использовать канал LFE при микшировании.

Информацию, задающую коэффициент (пропорцию микширования), используемый при микшировании, сохраняют в параметре "ext_downmixing_levels()", а информацию, относящуюся к коэффициенту усиления в процессе регулировки усиления, сохраняют в параметре "ext_downmixing_global_gains()". Информацию, задающую коэффициент (пропорцию микширования) для сигнала канала LEF, используемый при микшировании, сохраняют в параметре "ext_downmixing_lfe_level()".

В частности, например, синтаксис параметра "ext__ancillary_data_status()" показан на Фиг. 12. Параметры "ext_ancillary_data_status()", "ext_downmixing_levels_status" указывают, нужно ли выполнять микширование от стандарта 6.1 каналов или стандарта 7.1 каналов к стандарту 5.1 каналов. Иными словами, параметр "ext_downmixing_levels_status" обозначает, присутствует ли параметр "ext_downmixing_levels()". Параметр "ext_downmixing_levels_status" соответствует параметру «Микширование от 6.1 и 7.1 к 5.1», показанному на Фиг. 3.

Кроме того, параметр "ext_downmixing_global_gains_status" указывает, нужно ли осуществлять глобальную регулировку усиления, и соответствует параметру «микширование с глобальным коэффициентом усиления», показанному на Фиг. 3. Иными словами, параметр "ext_downmixing_global_gains_status" обозначает, присутствует ли параметр "ext_downmixing_global_gains()". Кроме того, параметр "ext_downmixing_lfe_level_status" указывает, нужно ли использовать канал LFE во время микширования от стандарта 5.1 каналов к стандарту 2 каналов, и соответствует параметру «Микширование с использованием канала LFE», показанному на Фиг. 3.

Синтаксис параметра "ext_downmixing_levels()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на Фиг. 11, соответствует тому, что представлено на Фиг. 13, а параметры "dmix_a_idx" и "dmix_b_idx", изображенные на Фиг. 13, представляют собой информацию, указывающую пропорцию микширования (коэффициент) во время микширования с уменьшением числа каналов.

Фиг. 14 иллюстрирует соответствие между параметрами "dmix_a_idx" и "dmix_b_idx", определяемое параметром "ext_downmixing_levels()", и компоненты, к которым применяются параметры "dmix_a_idx" и "dmix_b_idx", когда происходит микшированием аудиоданных от стандарта 7.1 с уменьшением числа каналов.

Синтаксис параметров "ext_downmixing_global_gains()" и "ext_downmixing_lfe_level()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на Фиг. 11, изображен на Фиг. 15 и 16.

Например, параметр "ext_downmixing_global_gains()", показанный на Фиг. 15, содержит параметр "dmx_gain_5_sign", указывающий знак коэффициента усиления при микшировании к стандарту 5.1. каналов, параметр "dmx_gain_5_idx", указывающий величину коэффициента усиления при таком микшировании, параметр "dmx_gain_2_sign", указывающий знак коэффициента усиления при микшировании к стандарту 2 каналов, и параметр dmx_gain_2_idx", указывающий величину коэффициента усиления при таком микшировании.

Кроме того, параметр "ext_downmixing_lfe_level()", показанный на Фиг. 16, содержит параметры "dmix_lfe_idx" и "dmix_lfe_idx" в качестве информации, задающей пропорцию микширования (коэффициент) для канала LFE в процессе микширования с уменьшением числа каналом.

О микшировании с уменьшением числа каналов

Кроме того, параметр "pseudo_surround_enable" в составе синтаксиса параметра "bs_info()", изображенного на Фиг. 7, обозначает процедуру микширования с уменьшением числа каналов и процедуру, показанную на Фиг. 17. Здесь Фиг. 17 иллюстрирует две процедуры - случай, когда параметр "pseudo_surround_enable" равен 0, и случай, когда параметр "pseudo_surround_enable" равен 1

Далее будет описана процедура микширования аудиоданных с уменьшением числа каналов.

Сначала будет рассмотрена процедура микширования от стандарта 5.1 каналов к стандарту 2 каналов. В этом случае, когда канал L и канал R превращаются после микширования в канал L' и канал R', соответственно, выполняется следующая процедура.

Другими словами, когда параметр "pseudo_surround_enable" равен 0, аудиоданные в канале L' и в канале R' вычисляют с использованием следующего Выражения (1).

Другими словами, когда параметр "pseudo_surround_enable" равен 1, аудиоданные в канале L' и в канале R' вычисляют с использованием следующего Выражения (2).

В Выражении (1) и Выражении (2) L, R, С, Ls, Rs и LFE представляют собой каналы, составляющие совокупность каналов стандарта 5.1, и являются каналами L, R, С, Ls, Rs и LFE, которые были описаны со ссылками на Фиг. 1 и 2, соответственно.

В Выражении (1) и Выражении (2), "с" представляет собой константу, определяемую величиной параметра "dmix_lfe_idx" в составе параметра "ext_downmixing_lfe_level()", изображенного на Фиг. 16. Например, величины этой константы "с", соответствующие каждому значению параметра "dmix_lfe_idx", приведены на Фиг. 18. В частности, когда параметр "ext_downmixing_lfe_level_status" в составе параметра "ext_ancillary_data_status()", изображенного на Фиг. 12, равен 0, канал LFE не используется для вычисления Выражения (1) и Выражения (2). Когда параметр "ext_downmixing_lfe_level_status" равен 1, величину константы "с", умножаемой на данные канала LFE, определяют на основе таблицы, показанной на Фиг. 18.

В Выражении (1) и Выражении (2), "a" и "b" представляют собой константы, определяемые величинами параметров "dmix_a_idx" и "dmix_b_idx" в составе параметра "ext_downmixing_levels()", показанного на Фиг. 13. Кроме того, в Выражении (1) и Выражении (2), "a" и "b" могут быть константами, определяемыми величинами параметров "center_mix_level_value" и "surround_mix_level_value" в составе параметра "downmixing_levels_MPEG4()", показанного на Фиг. 9.

Например, величины констант "a" и "b" относительно величин параметров "dmix_a_idx" и "dmix_b_idx" или величин параметров "center_mix_level_value" и "surround_mix_level_value", показаны на Фиг. 19. В этом примере, поскольку одна и та же таблица относится и к паре параметров "dmix_a_idx" и "dmix_b_idx", и к паре параметров "center_mix_level_value" и "surround_mix_level_value", константы (коэффициенты) "a" и "b" для микширования с уменьшением числа каналов имеют одинаковую величину.

Затем, будет рассмотрена процедура микширования от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов.

Когда аудиоданные совокупности каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE, содержащей каналы Lrs и Rrs, громкоговорители которых расположены сзади пользователя, преобразуют в аудиоданные стандарта 5.1. каналов, содержащие данные каналов C, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (3). Здесь, каналы C, L', R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после микширования с уменьшением числа каналов. Кроме того, в Выражении (3), С, L, R, Ls, Rs, Lrs, Rrs и LFE обозначают аудиоданные каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE.

В Выражении (3) d1 и d2 являются константами. Например, величины этих констант d1 и d2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на Фиг. 19.

Когда аудиоданные совокупности каналов С, L, R, Lc, Rc, Ls, Rs и LFE, содержащей каналы Lc и Rc, громкоговорители которых расположены спереди от пользователя, преобразуют в аудиоданные стандарта 5.1. каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (4). Здесь, каналы С, L', R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после микширования с уменьшением числа каналов. Кроме того, в Выражении (4), С, L, R, Lc, Rc, Ls, Rs и LFE обозначают аудиоданные каналов С, L, R, Lc, Rc, Ls, Rs и LFE.

В Выражении (4) e1 и e2 являются константами. Например, величины этих констант e1 и e2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на Фиг. 19.

Когда аудиоданные совокупности каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE, содержащей каналы Rvh и Lvh, громкоговорители которых расположены спереди сверху от пользователя, преобразуют в аудиоданные стандарта 5.1 каналов, содержащие данные каналов C, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (5). Здесь, каналы C, L', R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после микширования с уменьшением числа каналов. Кроме того, в Выражении (5), С, L, R, Lvh, Rvh, Ls, Rs и LFE обозначают аудиоданные каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE.

В Выражении (5) f1 и f2 являются константами. Например, величины этих констант f1 и f2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на Фиг. 19.

При осуществлении микширования от стандарта 6.1 каналов к стандарту 5,1 каналов выполняется следующая процедура. Иными словами, когда аудиоданные совокупности каналов С, L, R, Ls, Rs, Cs и LFE преобразуют в аудиоданные стандарта 5.1 каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (6). Здесь, каналы C, L', R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после микширования с уменьшением числа каналов. Кроме того, в Выражении (6) С, L, R, Ls, Rs, Cs и LFE обозначают аудиоданные каналов С, L, R, Ls, Rs, Cs и LFE.

В Выражении (6) g1 и g2 являются константами. Например, величины этих констант g1 и g2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на Фиг. 19.

Далее будет описан глобальный коэффициент усиления для коррекции громкости во время микширования с уменьшением числа каналов.

Глобальный коэффициент усиления во время микширования с уменьшением числа каналов используется для коррекции громкости звучания, которая увеличивается или уменьшается в ходе микширования. Здесь параметр dmx_gain5 обозначает величину коррекции при микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов, а параметр dmx_gain2 обозначает величину коррекции при микшировании от стандарта 5.1 каналов к стандарту 2 каналов. Кроме того, параметр dmx_gain2 относится к декодирующему устройству или потоку битов данных, не соответствующему стандарту 7.1 каналов.

Применение этого подхода и его действие аналогичны сильному сжатию с управлением динамическим диапазоном (DRC). Кроме того, кодирующее устройство может должным образом выполнять избирательную оценку за период, для которого аудио кадр слишком длинен, или за период, для которого аудио кадр слишком короток, чтобы определить глобальный коэффициент усиления при микшировании с уменьшением числа каналов.

При осуществлении микширования от стандарта 7.1 каналов к стандарту 2 каналов применяется суммарный коэффициент усиления (dmx_gain5 + dmx_gain2). Например, в качестве параметров dmx_gain5 и dmx_gain2 используются 6-битовые целые числа без знака, а сами эти параметры dmx_gain5 и dmx_gain2 квантованы с шагом 0,25 дБ.

Поэтому, когда параметры dmx_gain5 и dmx_gain2 суммируют один с другим, суммарный коэффициент усиления находится в диапазоне ±15.75 дБ. Этот коэффициент усиления применяется к отсчету аудиоданных в декодированном текущем кадре.

В частности, при осуществлении микширования с уменьшением числа каналов к стандарту 5,1 каналов выполняется следующая процедура. Иными словами, когда коррекция коэффициента усиления применяется к аудиоданным совокупности каналов L', R', Ls', Rs' и LFE', полученным в результате микширования с уменьшением числа каналов, для получения аудиоданных каналов С'', L'', R'', Ls'', Rs'' и LFE'', вычисления производят в соответствии со следующим Выражением (7).

Здесь параметр dmx_gain5 представляет собой скалярную величину, вычисляемую на основе параметров "dmx_gain_5_sign" и "dmx_gain_5_idx", показанных на Фиг. 15, с использованием следующего Выражения (8).

Аналогично, при осуществлении микширования с уменьшением числа каналов к стандарту 2 каналов выполняется следующая процедура. Иными словами, когда коррекция коэффициента усиления применяется к аудиоданным каналов L' и R', полученным в результате микширования с уменьшением числа каналов, для получения аудиоданных каналов L'' и R'', вычисления производят в соответствии со следующим Выражением (9).

Здесь параметр dmx_gain2 представляет собой скалярную величину, вычисляемую на основе параметров "dmx_gain_2_sign" и "dmx_gain_2_idx", показанных на Фиг. 15, с использованием следующего Выражения (10).

При осуществлении микширования от стандарта 7.1 каналов к стандарту 2 каналов после выполнения двухступенчатой процедуры микширования от стандарта 7.1 каналов к стандарту 5.1 каналов и затем микширования от стандарта 5.1 каналов к стандарту 2 каналов можно произвести регулировку усиления для получения сигнала (данных). В таком случае величина коэффициента усиления dmx_gain_7to2, применяемого к аудиоданным, может быть получена путем суммирования параметров dmx_gain5 и dmx_gain2 в соответствии со следующим Выражением (11).

Процедура микширования от стандарта 6.1 каналов к стандарту 2 каналов аналогична микшированию от стандарта 7.1 каналов к стандарту 2 каналов.

Например, в ходе микширования от стандарта 7.1 каналов к стандарту 2 каналов, если коррекция коэффициента усиления осуществляется в два этапа с применением Выражения (7) или Выражения (9), можно передавать на выход и аудиоданные стандарта 5.1 каналов, и аудиоданные стандарта 2 каналов.

О режиме представления DRC

Кроме того, в состав параметра "bs_info()", показанного на Фиг. 7, входит параметр "drc_presentation_mode", представленный на Фиг. 20. Иными словами, Фиг. 20 представляет таблицу, иллюстрирующую синтаксис параметра "drc_presentation_mode".

Когда параметр "drc_presentation_mode" равен "01", имеет место «Режим 1 представления DRC». Когда параметр "drc_presentation_mode" равен "10", имеет место «Режим 2 представления DRC». В «Режиме 1 представления DRC» и в «Режиме 2 представления DRC» регулировка усиления осуществляется, как показано на Фиг. 21.

Пример структуры кодирующего устройства

Далее, будут описаны конкретные варианты применения предлагаемой технологии.

Фиг. 22 представляет схему, иллюстрирующую пример структуры кодирующего устройства согласно одному из вариантов применения предлагаемой технологии. Это устройство 11 для обработки информации содержит модуль 21 ввода, модуль 22 кодирования и модуль 23 упаковки.

Модуль 21 ввода принимает аудиоданные и информацию об этих аудиоданных извне и передает эти полученные им аудиоданные и информацию кодирующему модулю 22. Например, в качестве информации об аудиоданных принимают информацию о расположении (высоте расположения) громкоговорителей.

Модуль 22 кодирования осуществляет кодирование полученных им от модуля 21 ввода аудиоданных и информации об этих аудиоданных и передает кодированные аудиоданные и информацию модулю 23 упаковки. Модуль 23 упаковки осуществляет упаковку полученных им от модуля 22 кодирования аудиоданных или информации об этих аудиоданных для генерации кодированного потока битов данных, показанного на Фиг. 3, и передает сформированный кодированный поток битов данных на выход.

Описание процесса кодирования

Далее, процесс кодирования, осуществляемый в кодирующем устройстве 11, будет описан со ссылками на логическую схему, изображенную на Фиг. 23.

На этапе S11 модуль 21 ввода принимает аудиоданные и информацию об этих аудиоданных и передает эти полученные им аудиоданные и информацию модулю 22 кодирования. Например, модуль принимает данные каждого канала из совокупности 7.1 каналов и информацию (в дальнейшем именуемую информацией о расположении громкоговорителей) о расположении громкоговорителей, записанную в элементе "height_extension_element", изображенном на Фиг. 4.

На этапе S12 модуль 22 кодирования осуществляет кодирование аудиоданных каждого канала, поступивших от модуля 21 ввода.

На этапе S13 модуль 22 кодирования осуществляет кодирование информации о расположении громкоговорителей, поступившей от модуля 21 ввода. В этом случае модуль 22 кодирования генерирует слово синхронизации, сохраняемое в параметре "PCE_HEIGHT_EXTENSION_SYNC" в составе элемента "height_extension_element", показанного на Фиг. 4, или контрольный код CRC, представляющий собой идентификационную информацию, записываемую в параметре "height_info_crc_check", и передает указанные слово синхронизации или контрольный код CRC, а также кодированную информацию о расположении громкоговорителей модулю 23 упаковки.

Кроме того, модуль 22 кодирования генерирует информацию, необходимую для генерации кодированного потока битов данных, и передает сформированную информацию и кодированный поток битов данных или кодированную информацию о расположении громкоговорителей модулю 23 упаковки.

На этапе S14 модуль 23 упаковки осуществляет упаковку битов полученных им от модуля 22 кодирования аудиоданных, или информации о расположении громкоговорителей для генерации кодированного потока битов данных, показанного на Фиг. 3. В таком случае, модуль 23 упаковки сохраняет, например, информацию о расположении громкоговорителей или слово синхронизации и контрольный код CRC в составе элемента "РСЕ" и сохраняет аудиоданные в элементе "SCE" или в элементе "СРЕ".

Когда кодированный поток битов данных передан на выход, процесс кодирования завершается.

Таким способом, кодирующее устройство 11 вставляет информацию о расположении громкоговорителей, представляющую собой информацию о расположении громкоговорителей на каждом уровне, в кодированный поток битов данных и передает этот кодированный поток битов данных на выход. В такой ситуации, использование информации о расположении громкоговорителей в вертикальном направлении делает возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить более реалистичное звучание.

Пример структуры декодирующего устройства

Далее будет рассмотрено декодирующее устройство, получающее кодированный поток битов данных с выхода кодирующего устройства 11 и декодирующее этот кодированный поток битов данных.

Фиг. 24 представляет схему, показывающую пример структуры декодирующего устройства. Декодирующее устройство 51 содержит разделительный модуль 61, модуль 62 декодирования и модуль 63 вывода.

Разделительный модуль 61 принимает кодированный поток битов данных, передаваемый кодирующим устройством 11, осуществляет распаковку битов из состава кодированного потока битов данных и передает распакованный кодированный поток битов данных декодирующего модулю 62.

Указанный декодирующий модуль 62 осуществляет, например, декодирование кодированного потока битов данных, поступающего от разделительного модуля 61, иными словами, аудиоданных каждого канала или информации о расположении громкоговорителей и передает декодированные аудиоданные модулю 63 вывода. Например, модуль 62 декодирования осуществляет, при необходимости, микширование аудиоданных с уменьшением числа каналов.

Модуль 63 вывода передает на выход аудиоданные, полученные от модуля 62 декодирования на основе расположения громкоговорителей (карты размещения громкоговорителей), указанного модулем 62 декодирования. Аудиоданные каждого канала, поступающие от модуля 63 вывода, направляют громкоговорителям каждого канала и затем воспроизводят.

Описание процесса декодирования

Далее, процесс кодирования, осуществляемый в декодирующем устройстве 51, будет описан со ссылками на логическую схему, изображенную на Фиг. 25.

На этапе S41 модуль 62 декодирования осуществляет декодирование аудиоданных.

Иными словами, разделительный модуль 61 принимает кодированный поток битов данных от кодирующего устройства 11 и осуществляет распаковку битов в этом кодированном потоке битов данных. Затем, этот разделительный модуль 61 передает аудиоданные, полученные в результате распаковки битов, и разного рода информацию, такую как информация о расположении громкоговорителей, модулю 62 декодирования. Модуль 62 декодирования осуществляет декодирование аудиоданных, поступивших от разделительного модуля 61, и передает декодированные аудиоданные модулю 63 вывода.

На этапе S42 модуль 62 декодирования выявляет слово синхронизации в составе информации, поступающей от разделительного модуля 61. В частности, это слово синхронизации выявляют в составе элемента "height_extension_element", показанного на Фиг. 4.

На этапе S43 модуль 62 декодирования определяет, выявлено ли слово синхронизации. Если на этапе S43 определено, что слово синхронизации выявлено, модуль 62 декодирования осуществляет на этапе S44 декодирование информации о расположении громкоговорителей.

Иными словами, модуль 62 декодирования считывает информацию, такую как параметры "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" из состава элемента "height_extension_element", показанного на Фиг. 4. Таким образом, можно найти позиции (каналы) для громкоговорителей, позволяющие воспроизводить каждый фрагмент аудиоданных с высоким качеством.

На этапе S45 модуль 62 декодирования генерирует идентификационную информацию. Иными словами, модуль 62 декодирования вычисляет контрольный код CRC на основе информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в составе элемента "height_extension_element", т.е. слово синхронизации, информацию о расположении громкоговорителей и данные о выравнивании байтов, и получает идентификационную информацию.

На этапе S46 модуль 62 декодирования сравнивает идентификационную информацию, сформированную на этапе S45, с идентификационной информацией, входящей в состав параметра "height_info_crc_check" в элементе "height_extension_element", показанном на Фиг. 4, и определяет, являются ли сегменты идентификационной информации идентичными один другому.

Если на этапе S46 определено, что сегменты идентификационной информации идентичны один другому, модуль 62 декодирования передает декодированные аудиоданные модулю 63 вывода и дает команды передать эти аудиоданные на выход на основе полученной информации о расположении громкоговорителей. После этого процесс переходит к этапу S47.

На этапе S47 модуль 63 вывода передает на выход аудиоданные, полученные от модуля 62 декодирования на основе расположения громкоговорителей (карты размещения громкоговорителей), указанного модулем 62 декодирования. После этого процесс декодирования завершается.

С другой стороны, если на этапе S43 определено, что слово синхронизации не выявлено, или если на этапе S46 определено, что сегменты идентификационной информации не идентичны один другому, модуль 63 вывода передает аудиоданные на выход на основе заранее заданного расположения громкоговорителей на этапе S48.

Иными словами, если информация о расположении громкоговорителей прочитана из элемента "height_extension_element" правильно, выполняют процедуру этапа S48. В таком случае, модуль 62 декодирования передает аудиоданные модулю 63 вывода и дает команду передать аудиоданные на выход таким образом, чтобы аудиоданные каждого канала воспроизводил громкоговоритель соответствующего канала. Тогда модуль 63 вывода передает аудиоданные на выход в соответствии с командами от модуля 62 декодирования, и процесс декодирования завершается.

Таким способом, декодирующее устройство 51 осуществляет декодирование информации о расположении громкоговорителей или аудиоданных из состава кодированного потока битов данных и передает аудиоданные на выход на основе информации о расположении громкоговорителей. Поскольку указанная информация о расположении громкоговорителей содержит также информацию о расположении громкоговорителей в вертикальном направлении, становится возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить более реалистичное звучание.

В частности, когда производится декодирование аудиоданных, например, также осуществляется, при необходимости, процесс микширования аудиоданных с уменьшением числа каналов.

В таком случае, например, модуль 62 декодирования считывает параметр "MPEG4_ext_ancillary_data()", когда параметр "ancillary_data_extension_status()" в составе параметра "ancillary_data_status()" в составе параметра "MPEG4 ancillary data", показанного на Фиг. 6, равен "1". Затем, модуль 62 декодирования считывает каждый сегмент информации, входящей в параметр "MPEG4_ext_ancillary_data()", показанный на Фиг.11, и осуществляет микширование аудиоданных с уменьшением числа каналов или процесс коррекции коэффициента усиления.

Например, модуль 62 декодирования осуществляет микширование аудиоданных с уменьшением числа каналов от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5.1 каналов или дополнительно микширует аудиоданные от стандарта 5.1 каналов с уменьшением числа каналов и преобразует их в аудиоданные стандарта 2 каналов.

В таком случае модуль 62 декодирования использует аудиоданные канала LFE при микшировании с уменьшением числа каналов, если нужно. Коэффициенты, на которые умножают сигнал каждого канала, определяют в соответствии с информацией параметра "ext_downmixing_levels()", показанного на Фиг. 13, или параметра "ext_downmixing_lfe_level()", изображенного на Фиг. 16. Кроме того, коррекция коэффициента усиления в ходе микширования с уменьшением числа каналов осуществляется в соответствии с информацией параметра "ext_downmixing_global_gains()", показанного на Фиг. 15.

Пример структуры кодирующего устройства

Далее будет рассмотрено декодирующее устройство, получающее кодированный поток битов данных с выхода кодирующего устройства 11 и декодирующее этот кодированный поток битов данных.

Фиг. 26 представляет схему, показывающую пример подробной структуры кодирующего устройства.

Это кодирующее устройство 91 содержит модуль 21 ввода, модуль 22 кодирования и модуль 23 упаковки. На Фиг. 26 компонентам, соответствующим компонентам, показанным на Фиг. 22, присвоены одинаковые цифровые позиционные обозначения, а описание этих компонентов повторно приведено не будет.

Модуль 22 кодирования содержит модуль 101 кодирования элемента РСЕ, модуль 102 кодирования элемента DSE и модуль 103 кодирования аудио элементов.

Модуль 101 кодирования элемента РСЕ осуществляет кодирование такого элемента РСЕ на основе информации, поступившей от модуля 21 ввода. Иными словами этот модуль 101 кодирования элемента РСЕ генерирует, при необходимости, каждый сегмент информации, сохраняемой в элементе РСЕ, в процессе кодирования каждого сегмента информации. Этот модуль 101 кодирования элемента РСЕ содержит модуль 111 кодирования слова синхронизации, модуль 112 кодирования информации о расположении и модуль 113 кодирования идентификационной информации.

Модуль 111 кодирования слова синхронизации осуществляет кодирование слова синхронизации и использует полученное кодированное слово синхронизации в качестве информации, сохраняемой в расширенной области в составе области комментариев элемента РСЕ. Модуль 112 кодирования информации о расположении осуществляет кодирование информации о расположении громкоговорителей, указывающей высоты (уровни) громкоговорителей для каждого сегмента аудиоданных и поступающей от модуля 21 ввода, и использует кодированную информацию о расположении громкоговорителей в качестве информации, сохраняемой в расширенной области в составе области комментариев.

Модуль 113 кодирования идентификационной информации осуществляет кодирование идентификационной информации. Например, модуль 113 кодирования идентификационной информации генерирует контрольный код CRC в качестве такой идентификационной информации на основе слова синхронизации и информации о расположении громкоговорителей, при необходимости, и использует этот контрольный код CRC в качестве информации, сохраняемой в расширенной области в составе области комментариев.

Модуль 102 кодирования элемента DSE осуществляет кодирование такого элемента DSE на основе информации, поступившей от модуля 21 ввода. Иными словами, модуль 102 кодирования элемента DSE генерирует каждый сегмент информации для сохранения в составе такого элемента DSE в процессе кодирования каждого сегмента информации, при необходимости. Этот модуль 102 кодирования элемента DSE содержит модуль 114 кодирования расширенной информации и модуль 115 кодирования информации о микшировании.

Модуль 114 кодирования расширенной информации осуществляет кодирование информации (флага), указывающей, входит ли расширенная информация в поле "MPEG4_ext_ancillary_data()", представляющее собой расширенную область элемента DSE. Модуль 115 кодирования информации о микшировании осуществляет кодирование информации о микшировании аудиоданных с уменьшением числа каналов. Модуль 103 кодирования аудио элемента осуществляет кодирование аудиоданных, поступающих от модуля 21 ввода.

Модуль 22 кодирования передает информацию, полученную в результате кодирования данных каждого типа и сохраняемую в каждом элементе, в модуль 23 упаковки.

Описание процесса кодирования

Далее, процесс кодирования, осуществляемый в кодирующем устройстве 91, будет описан со ссылками на логическую схему, изображенную на Фиг. 27. Этот процесс кодирования будет описан более подробно, чем процесс, описанный со ссылками на логическую схему, изображенную на Фиг. 23.

На этапе S71 модуль 21 ввода принимает аудиоданные и информацию, необходимую для кодирования этих аудиоданных, и передает аудиоданные и эту информацию модулю 22 кодирования.

Например, модуль 21 ввода принимает, в качестве аудиоданных, данные каждого канала в формате импульсно-кодовой модуляции (ИКМ (РСМ)), информацию, указывающую расположение каждого из громкоговорителей каналов, информацию, задающую коэффициент микширования с уменьшением числа каналов, и информацию, указывающую скорость передачи данных в составе кодированного потока битов данных. Здесь информация, задающая коэффициент микширования с уменьшением числа каналов, представляет собой информацию, указывающую коэффициент, на который умножают аудиоданные при микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов и при микшировании от стандарта 5.1 каналов к стандарту 2 каналов.

Кроме того, модуль 21 ввода принимает имя файла для кодированного потока битов данных, который нужно получить. Это имя файла должным образом используется на кодирующей стороне.

На этапе S72 модуль 103 кодирования аудио элементов осуществляет кодирование аудиоданных, полученных им от модуля 21 ввода, и сохраняет кодированные аудиоданные в каждом элементе, таком как SCE, СРЕ и LFE. В таком случае аудиоданные кодируют со скоростью передачи данных, определяемой скоростью передачи данных, поступающих от модуля 21 ввода в модуль 22 кодирования, и числом кодов в составе информации, отличной от аудиоданных.

Например, аудиоданные канала С или канала Cs кодируют и сохраняют в элементе SCE. Аудиоданные канала L или канала R кодируют и сохраняют в элементе СРЕ. Кроме того, аудиоданные канала LFE кодируют и сохраняют в элементе LFE.

На этапе S73 модуль 111 кодирования слова синхронизации осуществляет кодирование слова синхронизации на основе информации, полученной от модуля 21 ввода, и сохраняет кодированное слово синхронизации в параметре "PCE_HEIGHT_EXTENSION_SYNC" в составе элемента "height_extension_element", изображенного на Фиг. 4.

На этапе S74 модуль 112 кодирования информации о расположении осуществляет кодирование информации о расположении громкоговорителей для каждого сегмента аудиоданных, поступившей от модуля 21 ввода.

Кодированную информацию о расположении громкоговорителей сохраняют в элементе "height_extension_element" в позиции источника звука в модуле 23 упаковки, иными словами, в порядке, соответствующем расположению громкоговорителей. Иными словами, информация о расположении громкоговорителей, указывающая высоту громкоговорителя (высоту источника звука) каждого канала, воспроизводимого громкоговорителем, расположенным перед пользователем, сохраняется в качестве параметра "front_element_height_info [i]" в составе элемента "height_extension__element".

Кроме того, информация о расположении громкоговорителей, указывающая высоту громкоговорителя каждого канала, воспроизводимого громкоговорителем, расположенным сбоку от пользователя, сохраняется в качестве параметра "side_element_height_info [i]" в составе элемента "height_extension_element", после параметра "front_element_height_info [i]". Затем, информация о расположении громкоговорителей, указывающая высоту громкоговорителя каждого канала, воспроизводимого громкоговорителем, расположенным сзади от пользователя, сохраняется в качестве параметра "back_element_height_info [i]" в составе элемента "height_extension_element", после параметра "side_element_height_info [i]".

На этапе S75 модуль 113 кодирования идентификационной информации осуществляет кодирование идентификационной информации. Например, модуль 113 кодирования идентификационной информации генерирует контрольный код CRC в качестве такой идентификационной информации на основе слова синхронизации и информации о расположении громкоговорителей, при необходимости. Указанный контрольный код CRC представляет собой информацию, сохраняемую в параметре "height_info_crc_check" в составе элемента "height_extension_element". Указанные слово синхронизации и контрольный код CRC составляют информацию для идентификации, присутствует ли информация о расположении громкоговорителей в кодированном потоке битов данных.

Кроме того, модуль 113 кодирования идентификационной информации генерирует информацию, дающую команды выполнить выравнивание байтов, в качестве информации, сохраняемой в параметре "byte_alignment()" в составе элемента "height_extension_element". Указанный модуль 113 кодирования идентификационной информации генерирует информацию, дающую команды сравнить идентификационную информацию, как информацию, сохраняемую в параметре выравнивание байтов, в качестве информации, "if(crc_cal()!=height_info_crc_check)" в составе элемента "height_extension_element".

В ходе выполнения этапов с S73 по S75 генерируют информацию для сохранения в расширенной области, входящей в область комментариев в составе элемента РСЕ, иными словами, в элементе "height_extension_element".

На этапе S76 модуль 101 кодирования элемента РСЕ осуществляет кодирование элемента РСЕ на основе, например, информации, полученной от модуля 21 ввода или сформированной информации, хранящейся в расширенной области.

Например, модуль 101 кодирования элемента РСЕ генерирует, в качестве информации для сохранения в элементе РСЕ, информацию, указывающую число каналов, воспроизводимых передними, боковыми и задними громкоговорителями, или информацию, указывающую, к какому из каналов С, L и R принадлежит каждый конкретный сегмент аудиоданных.

На этапе S77 модуль 114 кодирования расширенной информации осуществляет кодирование информации, указывающей, входит ли расширенная информация в расширенную область элемента DSE, на основе информации, полученной от модуля 21 ввода, и сохраняет кодированную информацию в параметре "ancillary_data_extension_status" в составе параметра "ancillary_data_status()", изображенного на Фиг.8. Например, в качестве информации, указывающей, включена ли расширенная информация, иными словами, информации, указывающей, сохранена ли расширенная информация, записывают 0 или 1 в параметре "ancillary_data_extension_status".

На этапе S78 модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации о микшировании аудиоданных на основе информации, поступившей от модуля 21 ввода.

Модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, задающей коэффициент микширования, поступающий от модуля 21 ввода. В частности, модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные каждого канала при микшировании от стандарта 5.1 каналов к стандарту 2 каналов, а параметры "center_mix_level_value" и "surround_mix_level_value" сохраняют в составе параметра "downmixing_levels_MPEG4()", показанного на Фиг. 9.

Кроме того, модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные канала LFE при микшировании от стандарта 5.1 каналов к стандарту 2 каналов, а параметр "dmix_lfe_idx" сохраняют в составе параметра "ext_downmixing_lfe_level()", показанного на Фиг. 16. Аналогично, модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, обозначающей процедуру микширования к стандарту 2 каналов, указание которой поступило от модуля 21 ввода, и сохраняет параметр "pseudo_surround_enable" в составе параметра "bs_info()", показанного на Фиг. 7.

Указанный модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные каждого канала при микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов, а параметры "dmix_a_idx" и "dmix_b_idx" сохраняют в составе параметра "ext_downmixing_levels", показанного на Фиг. 13.

Указанный модуль 115 кодирования информации о микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей, нужно ли использовать канал LFE при микшировании от стандарта 5.1 каналов к стандарту 2 каналов. Кодированную информацию сохраняют в параметре "ext_downmixing_lfe_level_status", показанном на Фиг.12 и входящем в состав параметра "ext_ancillary_data_status()", изображенного на Фиг. 11 и являющегося расширенной областью.

Модуль 115 кодирования информации о микшировании осуществляет кодирование информации, необходимой для регулировки коэффициента усиления в процессе микширования. Кодированную информацию сохраняют в параметре "ext_downmixing_global_gains" в составе параметра "MPEG4_ext_ancillary_data()", изображенного на Фиг. 11.

На этапе S79 модуль 102 кодирования элемента DSE осуществляет кодирование элемента DSE на основе информации, полученной от модуля 21 ввода, или сформированной информации о микшировании с уменьшением числа каналов.

Информацию для сохранения в каждом элементе, таком как РСЕ, SCE, СРЕ, LFE и DSE, получают описанным выше способом. Модуль 22 кодирования передает информацию для сохранения в каждом элементе в модуль 23 упаковки. Кроме того, модуль 22 кодирования генерирует элементы, такие как "Header/Sideinfo", "FIL(DRC)" и "FIL(END)", и передает, при необходимости, сформированные элементы модулю 23 упаковки.

На этапе S80 модуль 23 упаковки осуществляет упаковку битов, полученных им от модуля 22 кодирования аудиоданных, или информации о расположении громкоговорителей для генерации кодированного потока битов данных, показанного на Фиг.3, и передает этот кодированный поток битов данных на выход. Например, модуль 23 упаковки сохраняет информацию, поступающую от модуля 22 кодирования, в составе элемента РСЕ или элемента DSE для генерации кодированного потока битов данных. Когда кодированный поток битов данных передан на выход, процесс кодирования завершается.

Таким способом, кодирующее устройство 91 вставляет, например, информацию о расположении громкоговорителей, информацию о микшировании с уменьшением числа каналов и информацию, указывающую, входит ли расширенная информация в расширенную область, в кодированный поток битов данных и передает кодированные аудиоданные на выход. В таком случае, когда в кодированном потоке битов данных сохранены информация о расположении громкоговорителей и информация о микшировании с уменьшением числа каналов, можно на стороне, декодирующей кодированный поток битов данных, получить высококачественное реалистичное звучание.

Например, когда в кодированном потоке битов данных сохранена информация о расположении громкоговорителей в вертикальном направлении, можно на декодирующей стороне воспроизвести звуковое изображение в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить реалистичное звучание.

Кроме того, кодированный поток битов данных содержит несколько сегментов идентификационной информации (идентификационных кодов) для идентификации информации о расположении громкоговорителей, чтобы идентифицировать, является ли информация, сохраненная в расширенной области в составе области комментариев, информацией о расположении громкоговорителей или текстовой информацией, подобно другим комментариям. В этом варианте кодированный поток битов данных содержит, в качестве идентификационной информации, слово синхронизации, расположенное непосредственно перед информацией о расположении громкоговорителей и контрольным кодом CRC, который определен содержанием сохраняемой информации, такой как информация о расположении громкоговорителей.

Когда в кодированный поток битов данных вставлены два сегмента идентификационной информации, можно надежно определить, является ли информация, входящая в кодированный поток битов данных, информацией о расположении громкоговорителей. В результате, с использованием полученной информации о расположении громкоговорителей можно получить высококачественное реалистичное звучание.

Кроме того, в кодированном потоке битов данных в состав элемента DSE входит параметр "pseudo_surround_enable" в качестве информации о микшировании аудиоданных с уменьшением числа каналов. Эта информация делает возможным назначить какой-либо из нескольких способов в качестве способа микширования от стандарта 5.1 каналов к стандарту 2 каналов. Это позволяет повысить степень гибкости обработки аудиоданных на декодирующей стороне.

В частности, в рассматриваемом варианте в качестве способа микширования от стандарта 5.1 каналов к стандарту 2 каналов применяется способ с использованием Выражения (1) и способ с использованием Выражения (2). Например, аудиоданные в стандарте 2 каналов, полученные в результате микширования, передают устройству воспроизведения на декодирующей стороне, а это устройство воспроизведения преобразует аудиоданные стандарта 2 каналов в аудиоданные стандарта 5.1 каналов и воспроизводит преобразованные аудиоданные.

В этом случае, как согласно способу, использующему Выражение (1), так и согласно способу, использующему Выражение (2), скорее всего, не удастся получить должный акустический эффект, который предполагается заранее при воспроизведении конечных аудиоданных в стандарте 5.1 каналов.

Однако в кодированном потоке битов данных, получаемом кодирующим устройством 91, способ микширования с уменьшением числа каналов, способный реализовать предполагаемый акустический эффект на декодирующей стороне, может быть обозначен параметром "pseudo_surround_enable". Таким образом, на декодирующей стороне может быть получено высококачественное реалистичное звучание.

Кроме того, в кодированном потоке битов данных информацию (флаг), указывающую, включена ли расширенная информация, сохраняют в параметре "ancillary_data_extension_status". Таким образом, можно задать, входит ли расширенная информация в состав параметра "MPEG4_ext_ancillary_data()", представляющего собой расширенную область элемента, со ссылками на эту информацию.

Например, в рассматриваемом случае в качестве расширенной информации сохраняют в расширенной области, при необходимости, параметры "ext_ancillary_data_status()", "ext_downmixing_levels()", "ext_downmixing_global_gains" и "ext_downmixing_lfe_level()".

Когда может быть получена расширенная информация, становится возможным повысить степень гибкости при микшировании аудиоданных с уменьшением числа каналов и получать на декодирующей стороне аудиоданные разного рода. В результате, можно получить высококачественное реалистичное звучание.

[Пример структуры декодирующего устройства]

Далее будет подробно описана структура декодирующего устройства.

Фиг. 28 представляет схему, показывающую пример подробной структуры декодирующего устройства. На Фиг. 28 компонентам, соответствующим компонентам, показанным на Фиг. 24, присвоены одинаковые цифровые позиционные обозначения, а описание этих компонентов повторно приведено не будет.

Декодирующее устройство 141 содержит разделительный модуль 61, модуль 62 декодирования, переключающий модуль 151, устройство 152 микширования с уменьшением числа каналов и модуль 63 вывода.

Разделительный модуль 61 принимает кодированный поток битов данных, передаваемый кодирующим устройством 91, осуществляет распаковку битов из состава кодированного потока битов данных и передает распакованный кодированный поток битов данных модулю 62 декодирования. Кроме того, разделительный модуль 61 принимает формальный параметр микширования с уменьшением числа каналов и имя файла аудиоданных.

Этот формальный параметр микширования с уменьшением числа каналов представляет собой информацию, указывающую форму микширования с уменьшением числа каналов применительно к аудиоданным, входящим в состав кодированного потока битов данных, в декодирующем устройстве 141. Например, в качестве формального параметра микширования с уменьшением числа каналов может быть приведена информация, указывающая микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 5.1 каналов, информация, указывающая микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 2 каналов, информация, указывающая микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, или информация, указывающая, что микширование с уменьшением числа каналов не производится.

Указанный формальный параметр микширования с уменьшением числа каналов, полученный разделительным модулем 61, передают переключающему модулю 151 и устройству 152 микширования с уменьшением числа каналов. Кроме того в декодирующем устройстве 141 должным образом используется имя файла, полученное разделительным модулем 61.

Модуль 62 декодирования осуществляет декодирование кодированного потока битов данных, поступающего от разделительного модуля 61. Модуль 62 декодирования содержит модуль 161 декодирования элемента РСЕ, модуль 162 декодирования элемента DSE и модуль 163 декодирования аудио элементов.

Модуль 161 декодирования элемента РСЕ осуществляет декодирования элемента РСЕ из состава кодированного потока битов данных и передает информацию, полученную в результате декодирования, устройству 152 микширования с уменьшением числа каналов и модулю 63 вывода. Этот модуль 161 кодирования элемента РСЕ содержит модуль 171 детектора слова синхронизации и модуль 172 вычисления идентификационной информации.

Модуль 171 детектора слова синхронизации обнаруживает слово синхронизации в расширенной области в составе области комментариев элемента РСЕ и считывает это слово синхронизации. Модуль 172 вычисления идентификационной информации осуществляет вычисление идентификационной информации на основе информации, считываемой в расширенной области в составе области комментариев элемента РСЕ.

Модуль 162 декодирования элемента DSE осуществляет декодирование элемента РСЕ из состава кодированного потока битов данных и передает информацию, полученную в результате декодирования, устройству 152 микширования с уменьшением числа каналов. Этот модуль 162 кодирования элемента DSE содержит модуль 173 детектора расширения и модуль 174 декодирования информации о микшировании.

Модуль 173 детектора расширения определяет, входит ли расширенная информация в параметре "MPEG4_ext_ancillary_data()" в составе элемента DSE. Модуль 174 декодирования информации о микшировании осуществляет декодирование информации о микшировании аудиоданных с уменьшением числа каналов, входящей в состав элемента DSE.

Модуль 163 декодирования аудио элементов осуществляет декодирование аудиоданных из состава кодированного потока битов данных и передает аудиоданные переключающему модулю 151.

Переключающий модуль 151 изменяет пункт назначения аудиоданных, поступающих от модуля 62 декодирования, и направляет эти данные либо устройству 152 микширования с уменьшением числа каналов, либо модулю 63 вывода на основе формального параметра микширования с уменьшением числа каналов, поступившего от разделительного модуля 61.

Устройство 152 микширования с уменьшением числа каналов осуществляет такое микширование аудиоданных, поступивших от переключающего модуля 151, на основе формального параметра микширования с уменьшением числа каналов, полученного от разделительного модуля 61, и информации от модуля 62 декодирования и передает аудиоданные после микширования модулю 63 вывода.

Модуль 63 вывода передает на выход аудиоданные, полученные от переключающего модуля 151 или от устройства 152 микширования с уменьшением числа каналов, на основе информации, поступившей от модуля 62 декодирования. Модуль 63 вывода содержит модуль 181 реорганизации данных. Этот модуль 181 реорганизации данных осуществляет реорганизацию аудиоданных, поступающих от переключающего модуля 151, на основе информации, полученной от модуля 161 декодирования элемента РСЕ, и передает эти аудиоданные на выход.

Пример структуры устройства микширования с уменьшением числа каналов

На Фиг. 29 представлена подробная структура устройства 152 микширования с уменьшением числа каналов, показанного на Фиг. 28. Таким образом, устройство 152 микширования с уменьшением числа каналов содержит переключающий модуль 211, переключающий модуль 212, модули с 213-1 по 213-4 микширования с уменьшением числа каналов, переключающий модуль 214, модуль 215 регулировки усиления, модуль 217-1 микширования с уменьшением числа каналов, модуль 217-2 микширования с уменьшением числа каналов и модуль 218 регулировки усиления.

Переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212 или переключающему модулю 216. Например, пунктом назначения аудиоданных является переключающий модуль 212, если это аудиоданные стандарта 7.1 каналов или стандарта 6.1 каналов, и переключающий модуль 216, если это аудиоданные стандарта 5.1 каналов.

Переключающий модуль 212 передает аудиоданные, поступившие от переключающего модуля 211, какому-либо из модулей с 213-1 по 213-4 микширования с уменьшением числа каналов. Например, переключающий модуль 212 передает аудиоданные модулю 213-1 микширования с уменьшением числа каналов, если это аудиоданные стандарта 6.1 каналов.

Если аудиоданные представляют собой данные каналов L, Lc, С, Rc, R, Ls, Rs и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-2 микширования с уменьшением числа каналов. Если аудиоданные представляют собой данные каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-3 микширования с уменьшением числа каналов.

Если аудиоданные представляют собой данные каналов L, R, С, Ls, Rs, Lvh, Rvh и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-4 микширования с уменьшением числа каналов.

Модули с 213-1 по 213-4 микширования с уменьшением числа каналов осуществляют микширование аудиоданных, поступивших от переключающего модуля 212, для преобразования к стандарту 5.1 каналов и передают аудиоданные переключающему модулю 214. В дальнейшем, если не будет необходимости отличать один от другого модули с 213-1 по 213-4 микширования с уменьшением числа каналов, они будут именоваться просто модулями 213 микширования с уменьшением числа каналов.

Переключающий модуль 214 передает аудиоданные, поступившие от модуля 213 микширования с уменьшением числа каналов, модулю 215 регулировки усиления или переключающему модулю 216. Например, если аудиоданные в составе кодированного потока битов данных микшируют для преобразования в аудиоданные в стандарте 5.1 каналов, переключающий модуль 214 передает эти аудиоданные модулю 215 регулировки усиления. С другой стороны, если аудиоданные в составе кодированного потока битов данных микшируют для преобразования в аудиоданные в стандарте 2 каналов, переключающий модуль 214 передает эти аудиоданные переключающему модулю 216.

Модуль 215 регулировки усиления осуществляет регулировку коэффициента усиления аудиоданных, поступивших от переключающего модуля 214, и передает аудиоданные модулю 63 вывода.

Переключающий модуль 216 передает аудиоданные, поступившие от переключающего модуля 211 или переключающего модуля 214, модулю 217-1 микширования с уменьшением числа каналов или модулю 217-2 микширования с уменьшением числа каналов. Например, переключающий модуль 216 изменяет пункт назначения аудиоданных в зависимости от величины параметра "pseudo_surround_enable", входящего в элемент DSE в составе кодированного потока битов данных.

Модули 217-1 и 217-2 микширования с уменьшением числа каналов осуществляют микширование аудиоданных, поступивших от переключающего модуля 216, для преобразования к стандарту 2 каналов и передают аудиоданные модулю 218 регулировки усиления. В дальнейшем, если не будет необходимости отличать модули 217-1 и 217-2 микширования с уменьшением числа каналов один от другого, они будут именоваться просто модулями 217 микширования с уменьшением числа каналов.

Модуль 218 регулировки усиления осуществляет регулировку коэффициента усиления аудиоданных, поступивших от переключающего модуля 217, и передает аудиоданные модулю 63 вывода.

Пример структуры модуля микширования с уменьшением числа каналов

Далее будет рассмотрен пример подробной структуры модуля 213 микширования с уменьшением числа каналов и модуля 217 микширования с уменьшением числа каналов, показанных на Фиг. 29.

Фиг. 30 представляет схему, показывающую пример структуры модуля 213-1 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 213-1 микширования с уменьшением числа каналов содержит входные клеммы с 241-1 по 241-7, умножительные модули с 242 по 244, модуль 245 суммирования, модуль 246 суммирования и выходные клеммы с 247-1 по 247-6.

Аудиоданные каналов L, R, С, Ls, Rs, Cs и LFE передают от переключающего модуля 212 на входные клеммы с 241-1 по 241-7.

От входных клемм с 241-1 по 241-3 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходные клеммы с 247-1 по 247-3 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные совокупности каналов L, R и С, поступившие в модуль 213-1 микширования с уменьшением числа каналов, подвергают микшированию и передают в качестве аудиоданных каналов L, R и С после микширования на следующую ступень.

От входных клемм с 241-4 по 241-6 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям с 242 по 244. Умножительный модуль 242 осуществляет умножение аудиоданных, поступивших от входной клеммы 241-4, на коэффициент микширования и передает эти аудиоданные модулю 245 суммирования.

Умножительный модуль 243 осуществляет умножение аудиоданных, поступивших от входной клеммы 241-5, на коэффициент микширования и передает эти аудиоданные модулю 246 суммирования. Умножительный модуль 244 осуществляет умножение аудиоданных, поступивших от входной клеммы 241-6, на коэффициент микширования и передает эти аудиоданные модулю 245 суммирования и модулю 246 суммирования.

Модуль 245 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 242, и аудиоданных, полученных от умножительного модуля 244, и передает суммарные аудиоданные на выходную клемму 247-4. От выходной клеммы 247-4 аудиоданные, поступившие от модуля 245 суммирования, передают в качестве аудиоданных канала Ls после микширования с уменьшением числа каналов переключающему модулю 214.

Модуль 246 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 243, и аудиоданных, полученных от умножительного модуля 244, и передает суммарные аудиоданные на выходную клемму 247-5. От выходной клеммы 247-5 аудиоданные, поступившие от модуля 246 суммирования, передают в качестве аудиоданных канала Rs после микширования с уменьшением числа каналов переключающему модулю 214.

От входной клеммы 241-7 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходную клемму 247-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные канала LFE, поступившие в модуль 213-1 микширования с уменьшением числа каналов, передают в качестве аудиоданных канала LFE после микширования на следующую ступень без каких-либо изменений.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 241-1 по 241-7, они будут именоваться просто входными клеммами 241. Если не будет необходимости специально отличать одну от другой выходные клеммы с 247-1 по 247-6, они будут именоваться просто выходными клеммами 247.

В таком случае в модуле 213-1 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (6).

Фиг. 31 представляет схему, показывающую пример структуры модуля 213-2 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 213-2 микширования с уменьшением числа каналов содержит входные клеммы с 271-1 по 271-8, умножительные модули с 272 по 275, модуль 276 суммирования, модуль 277 суммирования, модуль 278 суммирования и выходные клеммы с 279-1 по 279-6.

Аудиоданные каналов L, Lc, С, Rc, R, Ls, Rs и LFE передают от переключающего модуля 212 на входные клеммы с 271-1 по 271-8, соответственно.

От входных клемм с 271-1 по 271-5 аудиоданные, поступившие от переключающего модуля 212, передают модулю 276 суммирования, умножительным модулям 272 и 273, модулю суммирования 277, умножительным модулям 274 и 275 и модулю 278 суммирования, соответственно.

Умножительный модуль 272 и умножительный модуль 273 осуществляют умножение аудиоданных, поступивших от входной клеммы 271-2, на коэффициент микширования и передают эти аудиоданные модулю 276 суммирования и модулю 277 суммирования, соответственно. Умножительный модуль 274 и умножительный модуль 275 осуществляют умножение аудиоданных, поступивших от входной клеммы 271-4, на коэффициент микширования и передают эти аудиоданные модулю 277 суммирования и модулю 278 суммирования, соответственно.

Модуль 276 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 271-1, и аудиоданных, полученных от умножительного модуля 272, и передает суммарные аудиоданные на выходную клемму 279-1. От выходной клеммы 279-1 аудиоданные, поступившие от модуля 276 суммирования, передают в качестве аудиоданных канала L после микширования с уменьшением числа каналов переключающему модулю 214.

Модуль 277 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 271-3, аудиоданных, полученных им от умножительного модуля 273, и аудиоданных, полученных от умножительного модуля 274, и передает суммарные аудиоданные на выходную клемму 279-2. От выходной клеммы 279-2 аудиоданные, поступившие от модуля 277 суммирования, передают в качестве аудиоданных канала С после микширования с уменьшением числа каналов переключающему модулю 214.

Модуль 278 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 271-5, и аудиоданных, полученных от умножительного модуля 275, и передает суммарные аудиоданные на выходную клемму 279-3. От выходной клеммы 279-3 аудиоданные, поступившие от модуля 278 суммирования, передают в качестве аудиоданных канала R после микширования с уменьшением числа каналов переключающему модулю 214.

От входных клемм с 271-6 по 271-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходные клеммы с 279-4 по 279-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные каналов Ls, Rs и LFE, поступившие от модуля 213-2 микширования с уменьшением числа каналов, передают в качестве аудиоданных каналов Ls, Rs и LFE после микширования на следующую ступень без каких-либо изменений.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 271-1 по 271-8, они будут именоваться просто входными клеммами 271. Если не будет необходимости специально отличать одну от другой выходные клеммы с 279-1 по 279-6, они будут именоваться просто выходными клеммами 279.

В таком случае в модуле 213-2 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (4).

Фиг. 32 представляет схему, показывающую пример структуры модуля 213-3 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 213-3 микширования с уменьшением числа каналов содержит входные клеммы с 301-1 по 301-8, умножительные модули с 302 по 305, модуль 306 суммирования, модуль 307 суммирования и выходные клеммы с 308-1 по 308-6.

Аудиоданные каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE передают от переключающего модуля 212 на входные клеммы с 301-1 по 301-8, соответственно.

От входных клемм с 301-1 по 301-3 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходные клеммы с 308-1 по 308-3, соответственно, без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные совокупности каналов L, R и С, поступившие в модуль 213-3 микширования с уменьшением числа каналов, подвергают микшированию и передают в качестве аудиоданных каналов L, R и С после микширования на следующую ступень.

От входных клемм с 301-4 по 301-7 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям с 302 по 305, соответственно. Умножительные модули с 302 по 305 осуществляют умножение аудиоданных, поступивших от входных клемм с 301-4 по 301-7, на коэффициент микширования и передают эти аудиоданные модулю 306 суммирования, модулю 307 суммирования, модулю 306 суммирования и модулю 307 суммирования, соответственно.

Модуль 306 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 302, и аудиоданных, полученных от умножительного модуля 304, и передает суммарные аудиоданные на выходную клемму 308-4. От выходной клеммы 308-4 аудиоданные, поступившие от модуля 306 суммирования, передают в качестве аудиоданных канала Ls после микширования с уменьшением числа каналов переключающему модулю 214.

Модуль 307 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 303, и аудиоданных, полученных от умножительного модуля 305, и передает суммарные аудиоданные на выходную клемму 308-5. От выходной клеммы 308-5 аудиоданные, поступившие от модуля 307 суммирования, передают в качестве аудиоданных канала Rs после микширования с уменьшением числа каналов переключающему модулю 214.

От входной клеммы 301-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходную клемму 308-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные канала LFE, поступившие в модуль 213-3 микширования с уменьшением числа каналов, передают в качестве аудиоданных канала LFE после микширования на следующую ступень без каких-либо изменений.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 301-1 по 301-8, они будут именоваться просто входными клеммами 301. Если не будет необходимости специально отличать одну от другой выходные клеммы с 308-1 по 308-6, они будут именоваться просто выходными клеммами 308.

В таком случае в модуле 213-3 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (3).

Фиг. 33 представляет схему, показывающую пример структуры модуля 213-4 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 213-4 микширования с уменьшением числа каналов содержит входные клеммы с 331-1 по 331-8, умножительные модули с 332 по 335, модуль 336 суммирования, модуль 337 суммирования и выходные клеммы с 338-1 по 338-6.

Аудиоданные каналов L, R, С, Ls, Rs, Lvh, Rvh и LFE передают от переключающего модуля 212 на входные клеммы с 331-1 по 331-8, соответственно.

От входных клемм 331-1 и 331-2 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям 332 и 333, соответственно. От входных клемм 331-6 и 331-7 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям 334 и 335, соответственно.

Умножительные модули с 332 по 335 осуществляют умножение аудиоданных, поступивших от входной клеммы 331-1, входной клеммы 331-2, входной клеммы 331-6 и входной клеммы 331-7, на коэффициент микширования и передают эти аудиоданные модулю 336 суммирования, модулю 337 суммирования, модулю 336 суммирования и модулю 337 суммирования, соответственно.

Модуль 336 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 332, и аудиоданных, полученных от умножительного модуля 334, и передает суммарные аудиоданные на выходную клемму 338-1. От выходной клеммы 338-1 аудиоданные, поступившие от модуля 336 суммирования, передают в качестве аудиоданных канала L после микширования с уменьшением числа каналов переключающему модулю 214.

Модуль 337 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 333, и аудиоданных, полученных от умножительного модуля 335, и передает суммарные аудиоданные на выходную клемму 338-2. От выходной клеммы 338-2 аудиоданные, поступившие от модуля 337 суммирования, передают в качестве аудиоданных канала R после микширования с уменьшением числа каналов переключающему модулю 214.

От входных клемм с 331-3 по 331-5 и входной клеммы 331-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходные клеммы с 338-3 по 338-5 и выходную клемму 338-6, соответственно, без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные каналов С, Ls, Rs и LFE, поступившие от модуля 213-4 микширования с уменьшением числа каналов, передают в качестве аудиоданных каналов С, Ls, Rs и LFE после микширования на следующую ступень без каких-либо изменений.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 331-1 по 331-8, они будут именоваться просто входными клеммами 331. Если не будет необходимости специально отличать одну от другой выходные клеммы с 338-1 по 338-6, они будут именоваться просто выходными клеммами 338.

В таком случае в модуле 213-4 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (5).

Далее будет рассмотрен пример подробной структуры модуля 217 микширования с уменьшением числа каналов, показанного на Фиг. 29.

Фиг. 34 представляет схему, показывающую пример структуры модуля 217-1 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 217-1 микширования с уменьшением числа каналов содержит входные клеммы с 361-1 по 361-6, умножительные модули с 362 по 365, модули с 366 по 371 суммирования, выходную клемму 372-1 и выходную клемму 372-2.

Аудиоданные каналов L, R, С, Ls, Rs и LFE передают от переключающего модуля 216 на входные клеммы с 361-1 по 361-6, соответственно.

От входных клемм с 361-1 по 361-6 аудиоданные, поступившие от переключающего модуля 216, передают модулю суммирования 366, модулю суммирования 369 и умножительным модулям с 362 по 365, соответственно.

Умножительные модули с 362 по 365 осуществляют умножение аудиоданных, поступивших от входных клемм с 361-3 по 361-6, на коэффициент микширования и передают эти аудиоданные модулям 366 и 369 суммирования, модулю суммирования 367, модулю суммирования 370 и модулям 368 и 371 суммирования, соответственно.

Модуль 366 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 361-1, и аудиоданных, полученных от умножительного модуля 362, и передает суммарные аудиоданные модулю 367 суммирования. Модуль 367 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 366 суммирования, и аудиоданных, полученных от умножительного модуля 363, и передает суммарные аудиоданные модулю 368 суммирования.

Модуль 368 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 367 суммирования, и аудиоданных, полученных от умножительного модуля 365, и передает суммарные аудиоданные на выходную клемму 372-1. От выходной клеммы 372-1 аудиоданные, поступившие от модуля 368 суммирования, передают в качестве аудиоданных канала L после микширования с уменьшением числа каналов модулю 218 регулировки усиления.

Модуль 369 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 361-2, и аудиоданных, полученных от умножительного модуля 362, и передает суммарные аудиоданные модулю 370 суммирования. Модуль 370 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 369 суммирования, и аудиоданных, полученных от умножительного модуля 364, и передает суммарные аудиоданные модулю 371 суммирования.

Модуль 371 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 370 суммирования, и аудиоданных, полученных от умножительного модуля 365, и передает суммарные аудиоданные на выходную клемму 372-2. От выходной клеммы 372-2 аудиоданные, поступившие от модуля 371 суммирования, передают в качестве аудиоданных канала R после микширования с уменьшением числа каналов модулю 218 регулировки усиления.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 361-1 по 361-6, они будут именоваться просто входными клеммами 361. Если не будет необходимости специально отличать одну от другой выходные клеммы 372-1 и 372-2, они будут именоваться просто выходными клеммами 372.

В таком случае в модуле 217-1 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (1).

Фиг. 35 представляет схему, показывающую пример структуры модуля 217-2 микширования с уменьшением числа каналов, изображенного на Фиг. 29.

Модуль 217-2 микширования с уменьшением числа каналов содержит входные клеммы с 401-1 по 401-6, умножительные модули с 402 по 405, модуль 406 суммирования, модуль 407 вычитания, модуль 408 вычитания, модули с 409 по 413 суммирования, выходную клемму выходную клемму 414-1 и выходную клемму 414-2.

Аудиоданные каналов L, R, С, Ls, Rs и LFE передают от переключающего модуля 216 на входные клеммы с 401-1 по 401-6, соответственно.

От входных клемм с 401-1 по 401-6 аудиоданные, поступившие от переключающего модуля 216, передают модулю суммирования 406, модулю суммирования 410 и умножительным модулям с 402 по 405, соответственно.

Умножительные модули с 402 по 405 осуществляют умножение аудиоданных, поступивших от входных клемм с 401-3 по 401-6, на коэффициент микширования и передают эти аудиоданные модулям 406 и 410 суммирования, модулю 407 вычитания и модулю 411 суммирования, модулю 408 вычитания и модулю 412 суммирования, и модулям 409 и 413 суммирования, соответственно.

Модуль 406 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 401-1, и аудиоданных, полученных от умножительного модуля 402, и передает суммарные аудиоданные модулю 407 вычитания. Модуль 407 вычитания осуществляет вычитание аудиоданных, полученных им от умножительного модуля 403, из аудиоданных, полученных от модуля 406 суммирования, и передает разностные аудиоданные модулю 408 вычитания.

Модуль 408 вычитания осуществляет вычитание аудиоданных, полученных им от умножительного модуля 404, из аудиоданных, полученных от модуля 407 вычитания, и передает разностные аудиоданные модулю 409 суммирования. Модуль 409 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 408 вычитания, и аудиоданных, полученных от умножительного модуля 405, и передает суммарные аудиоданные на выходную клемму 414-1. От выходной клеммы 414-1 аудиоданные, поступившие от модуля 409 суммирования, передают в качестве аудиоданных канала L после микширования с уменьшением числа каналов модулю 218 регулировки усиления.

Модуль 410 суммирования осуществляет суммирование аудиоданных, полученных им от входной клеммы 401-2, и аудиоданных, полученных от умножительного модуля 402, и передает суммарные аудиоданные модулю 411 суммирования. Модуль 411 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 410 суммирования, и аудиоданных, полученных от умножительного модуля 403, и передает суммарные аудиоданные модулю 412 суммирования.

Модуль 412 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 411 суммирования, и аудиоданных, полученных от умножительного модуля 404, и передает суммарные аудиоданные модулю 413 суммирования. Модуль 413 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 412 суммирования, и аудиоданных, полученных от умножительного модуля 405, и передает суммарные аудиоданные на выходную клемму 414-2. От выходной клеммы 414-2 аудиоданные, поступившие от модуля 413 суммирования, передают в качестве аудиоданных канала R после микширования с уменьшением числа каналов модулю 218 регулировки усиления.

В дальнейшем, если не будет необходимости специально отличать одну от другой входные клеммы с 401-1 по 401-6, они будут именоваться просто входными клеммами 401. Если не будет необходимости специально отличать одну от другой выходные клеммы 414-1 и 414-2, они будут именоваться просто выходными клеммами 414.

В таком случае в модуле 217-2 микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (2).

Описание процесса декодирования

Далее, процесс декодирования, осуществляемый в декодирующем устройстве 141, будет описан со ссылками на логическую схему, изображенную на Фиг. 36.

На этапе S111 разделительный модуль 61 принимает формальный параметр микширования с уменьшением числа каналов и кодированный поток битов данных с выхода кодирующего устройства 91. Например, формальный параметр микширования поступает от устройства для обработки информации, содержащего декодирующее устройство.

Разделительный модуль 61 передает полученный им формальный параметр микширования с уменьшением числа каналов переключающему модулю 151 и устройству 152 микширования с уменьшением числа каналов. Кроме того, разделительный модуль 61 получает имя выходного файла аудиоданных и использует это имя выходного файла должным образом, при необходимости.

На этапе S112 разделительный модуль 61 распаковывает кодированный поток битов данных и передает каждый элемент, полученный в результате распаковывания, модулю 62 декодирования.

На этапе S113 модуль 161 декодирования элемента РСЕ осуществляет декодирование элемента РСЕ, поступившего от разделительного модуля 61. Например, этот модуль 161 декодирования элемента РСЕ считывает элемент "height_extension_element", представляющий собой расширенную область, из области комментариев элемента РСЕ или считывает информацию о расположении громкоговорителей из состава элементов РСЕ. Здесь в качестве информации о расположении громкоговорителей могут быть использованы, например, число каналов, воспроизводимых громкоговорителями, находящимися спереди, сбоку и сзади от пользователя, или информацию, указывающую, к какому из каналов С, L и R принадлежит каждый конкретный сегмент аудиоданных.

На этапе S114 модуль 162 декодирования элемента DSE осуществляет декодирование элемента DSE, поступившего от разделительного модуля 61. Например, этот модуль 162 декодирования элемента DSE считывает параметр "MPEG4 ancillary data" из элемента DSE или считывает необходимую информацию из состава этого параметра "MPEG4 ancillary data".

В частности, например, модуль 174 декодирования информации о микшировании из состава модуля 162 декодирования элемента DSE считывает параметр "center_mix_level_value" или параметр "surround_mix_level_value" в качестве информации, задающей коэффициент, используемый при микшировании с уменьшением числа каналов, из состава параметра "downmixing_levels_MPEG4()", показанного на Фиг. 9, и передает прочитанную информацию устройству 152 микширования с уменьшением числа каналов.

На этапе S115 модуль 163 декодирования аудио элементов осуществляет декодирование аудиоданных, сохраненных в каждом из элементов SCE, СРЕ и LFE, поступающих от разделительного модуля 61. В результате получают ИКМ-данные в качестве аудиоданных.

Например, канал декодированных данных, т.е. позиция расположения соответствующего громкоговорителя в горизонтальной плоскости, может быть задан элементом, таким как элемент SCE, сохраняющим аудиоданные, либо информацией о расположении громкоговорителей, получаемой путем декодирования элемента DSE. Однако в этот момент, поскольку информация о расположении громкоговорителей, представляющая собой информацию о высотах расположения громкоговорителей, еще не прочитана, высота (уровень) каждого канала не задана.

Модуль 163 декодирования аудио элемента передает аудиоданные, полученные в результате декодирования, переключающему модулю 151.

На этапе S116 переключающий модуль 151 определяет, производить ли микширование аудиоданных, на основе формального параметра микширования с уменьшением числа каналов, поступившего от разделительного модуля 61. Например, когда формальный параметр микширования с уменьшением числа каналов указывает, что такое микширование не производится, переключающий модуль 151 определяет, что микширование с уменьшением числа каналов производить не следует.

На этапе S116, когда определено, что микширование с уменьшением числа каналов не производится, переключающий модуль 151 передает аудиоданные, поступившие от модуля 62 декодирования, модулю 181 реорганизации данных, после чего процесс переходит к этапу S117.

На этапе S117 декодирующее устройство 141 выполняет процедуру реорганизации данных с целью изменить расположение (реорганизовать) каждого сегмента аудиоданных на основе расположения громкоговорителей и передает аудиоданные на выход. Когда аудиоданные переданы на выход, процесс декодирования завершается. В дополнение к этому, процесс реорганизации данных будет подробно описан ниже.

С другой стороны, если на этапе S116 определено, что микширование с уменьшением числа каналов производится, переключающий модуль 151 передает аудиоданные, поступившие от модуля 62 декодирования, переключающему модулю 211 из состава устройства 152 микширования с уменьшением числа каналов, после чего процесс переходит к этапу S118.

На этапе S118 декодирующее устройство 141 осуществляет микширование с уменьшением числа каналов, чтобы выполнить такое микширование применительно к каждому сегменту аудиоданных и преобразовать их в аудиоданные в соответствии с числом каналов, обозначенным формальным параметром микширования с уменьшением числа каналов, и передает аудиоданные на выход. Когда аудиоданные переданы на выход, процесс декодирования завершается. В дополнение к этому, ниже будет подробно описана процедура микширования с уменьшением числа каналов.

Таким способом декодирующее устройство 141 осуществляет декодирование кодированного потока битов данных и передает аудиоданные на выход.

Описание процесса реорганизации данных

Далее, процесс реорганизации данных, соответствующий процессу, выполняемому на этапе SI 17, показанном на Фиг. 36, будет описан со ссылками на логические схемы, изображенные на Фиг. 37 и 38.

На этапе S141 модуль 171 детектора слова синхронизации задает параметр cmt_byte для считывания слова синхронизации из области комментариев (расширенной области) в составе элемента РСЕ, так что этот параметр cmt_byte равен числу байтов в области комментариев элемента РСЕ. Иными словами, в качестве величины параметра cmt_byte задают число байтов в области комментариев.

На этапе S142 модуль 171 детектора слова синхронизации считывает данные, соответствующие объему данных в заданном слове синхронизации, из области комментариев элемента РСЕ. В частности, в примере, изображенном на Фиг. 4, поскольку длина параметра "PCE_HEIGHT_EXTENSION_SYNC", представляющего собой слово синхронизации, равна 8 бит, т.е. 1 байт, считывают 1 байт данных из заголовка области комментариев элемента РСЕ.

На этапе S143 модуль 161 декодирования элемента РСЕ определяет, идентичны ли данные, прочитанные на этапе S142, слову синхронизации. Иными словами, модуль определяет, являются ли прочитанные данные словом синхронизации.

Если на этапе S143 определено, что прочитанные данные не идентичны слову синхронизации, модуль 171 детектора слова синхронизации уменьшает значение параметра cmt_byte на величину, соответствующую объему прочитанных данных, на этапе S144. В рассматриваемом случае значение параметра cmt_byte уменьшается на 1 байт.

На этапе S145 модуль 171 детектора слова синхронизации определяет, является ли величина параметра cmt_byte больше 0. Иными словами, такое определение, является ли величина параметра cmt_byte больше 0, соответствует определению, все ли данные в области комментариев прочитаны.

Если на этапе S145 определено, что величина параметра cmt_byte больше 0, значит, не все данные в области комментариев прочитаны, так что процесс возвращается к этапу S142. Затем описанный выше процесс повторяется. Иными словами, после данных, прочитанных из области комментариев, считывают данные, соответствующие объему данных слова синхронизации, и сравнивают эти данные со словом синхронизации.

С другой стороны, если на этапе S145 определено, что величина параметра cmt_byte не больше 0, процесс переходит к этапу S146. Таким образом, процесс переходит к этапу S146, когда все данные в области комментариев прочитаны, но слово синхронизации в этой области комментариев не обнаружено.

На этапе S146 модуль 161 декодирования элемента РСЕ определяет, что отсутствует информация о расположении громкоговорителей, и передает информацию, указывающую на это отсутствие, модулю 181 реорганизации. После этого процесс переходит к этапу S164. В такой ситуации, поскольку слова синхронизации находится непосредственно перед информацией о расположении громкоговорителей в элементе "height_extension_element", можно достаточно просто и надежно задать, является ли информация, входящая в область комментариев, информацией о расположении громкоговорителей.

Если на этапе S143 определено, что данные, прочитанные из области комментариев, идентичны слову синхронизации, слово синхронизации считается обнаруженным. Поэтому процесс переходит к этапу S147, чтобы прочитать информацию о расположении громкоговорителей сразу же после слова синхронизации.

На этапе S147 модуль 161 декодирования элемента РСЕ задает величину параметра num_fr_elem для считывания информации о расположении громкоговорителя применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным спереди от пользователя, в качестве числа элементов, относящихся к данным передних громкоговорителей.

Здесь число элементов, относящихся к данным передних громкоговорителей, представляет собой число сегментов аудиоданных (число каналов), воспроизводимых громкоговорителем, расположенным спереди от пользователя. Это число элементов сохранено в составе элемента РСЕ. Таким образом, величина параметра num_fr_elem представляет число сегментов информации о расположении громкоговорителей для аудиоданных, считываемых из элемента "height_extension_element" и воспроизводимых громкоговорителем, расположенным спереди от пользователя.

На этапе S148 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_fr_elem больше 0.

Если на этапе S148 определено, что величина параметра num_fr_elem больше 0, процесс переходит к этапу S149, поскольку не вся информация о расположении громкоговорителей прочитана.

На этапе S149 модуль 161 декодирования элемента РСЕ считывает информацию о расположении громкоговорителей, соответствующую одному элементу, расположенному после слова синхронизации в области комментариев. В примере, изображенном на Фиг. 4, поскольку длина одного сегмента информации о расположении громкоговорителей равна 2 бит, 2-битовые данные, находящиеся сразу же после данных, прочитанных из области комментариев, считывают в качестве одного сегмента информации о расположении громкоговорителей.

Можно задать каждый сегмент информации о расположении громкоговорителей применительно к аудиоданным на основе, например, позиции, где находится информация о расположении громкоговорителей в элементе "height_extension_element" или в элементе, сохраняющем аудиоданные, таком, как элемент SCE.

На этапе S150, поскольку прочитан один сегмент информации о расположении громкоговорителей, модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_fr_elem на 1. После обновления величины параметра num_fr_elem процесс возвращается к этапу S148, после чего описанная выше процедура повторяется. Иными словами, считывают следующий фрагмент информации о расположении громкоговорителей.

Если на этапе S148 определено, что величина параметра num_fr_elem не больше 0, процесс переходит к этапу S151, поскольку вся информация о расположении громкоговорителей, относящаяся к переднему элементу, прочитана.

На этапе S151 модуль 161 декодирования элемента РСЕ задает величину параметра num_side_elem для считывания информации о расположении громкоговорителя применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным сбоку от пользователя, в качестве числа элементов, относящихся к данным боковых громкоговорителей.

Здесь число элементов, относящихся к данным боковых громкоговорителей, представляет собой число сегментов аудиоданных (число каналов), воспроизводимых громкоговорителем, расположенным сбоку от пользователя. Это число элементов сохранено в составе элемента РСЕ.

На этапе S152 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_side_elem больше 0.

Если на этапе S152 определено, что величина параметра num_side_elem больше 0, модуль 161 декодирования элемента РСЕ считывает на этапе S153 информацию о расположении громкоговорителей, соответствующую одному элементу и находящуюся после данных, прочитанных из области комментариев. Информация о расположении громкоговорителей, прочитанная на этапе S153, представляет собой информацию о расположении громкоговорителей канала, воспроизводимого громкоговорителем, расположенным сбоку от пользователя, иными словами, параметр "side_element_height_info [i]".

На этапе S154 модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_side_elem на 1. После обновления величины параметра num_side_elem процесс возвращается к этапу S152, после чего описанная выше процедура повторяется.

С другой стороны, если на этапе S152 определено, что величина параметра num_fr_elem не больше 0, процесс переходит к этапу S155, поскольку вся информация о расположении громкоговорителей, относящаяся к боковому элементу, прочитана.

На этапе S155 модуль 161 декодирования элемента РСЕ задает величину параметра num_back_elem для считывания информации о расположении громкоговорителей применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным сзади от пользователя, в качестве числа элементов, относящихся к данным задних громкоговорителей.

Здесь число элементов, относящихся к данным задних громкоговорителей, представляет собой число сегментов аудиоданных, воспроизводимых громкоговорителем, расположенным сзади от пользователя. Это число элементов сохранено в составе элемента РСЕ.

На этапе S156 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_back_elem больше 0.

Если на этапе S156 определено, что величина параметра num_back_elem больше 0, модуль 161 декодирования элемента РСЕ считывает на этапе S157 информацию о расположении громкоговорителей, соответствующую одному элементу и находящуюся после данных, прочитанных из области комментариев. Информация о расположении громкоговорителей, прочитанная на этапе S157, представляет собой информацию о расположении громкоговорителей канала, воспроизводимого громкоговорителем, расположенным сзади от пользователя, иными словами, параметр "back_element_height_info [i]".

На этапе S158 модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_back_elem на 1. После обновления величины параметра num_back_elem процесс возвращается к этапу S156, после чего описанная выше процедура повторяется.

Если на этапе S156 определено, что величина параметра num_back_elem не больше 0, процесс переходит к этапу S159, поскольку вся информация о расположении громкоговорителей, относящаяся к заднему элементу, прочитана.

На этапе S159 модуль 172 вычисления идентификационной информации осуществляет выравнивание байтов.

Например, информация параметра "byte_alignment()", содержащая команду выполнить выравнивание байтов, хранится после информации о расположении громкоговорителей в составе элемента "height_extension_element", показанного на Фиг. 4. Поэтому, когда прочитана эта информация, модуль 172 вычисления идентификационной информации осуществляет выравнивание байтов.

В частности, модуль 172 вычисления идентификационной информации добавляет заданные данные сразу же после информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в составе элемента "height_extension_element", так что объем данных прочитанной информации равен целому кратному 8 бит. Иными словами, выравнивание байтов осуществляется таким образом, чтобы общий объем данных прочитанного слова синхронизации, информации о расположении громкоговорителей и добавленной информации был равен целому кратному 8 бит.

В рассматриваемом примере число каналов аудиоданных, иными словами, число сегментов информации о расположении громкоговорителей, вставленных в кодированный поток битов данных, находится в заданном диапазоне. Поэтому данные, полученные в результате выравнивания байтов, иными словами, один сегмент данных (далее именуемый также данными выравнивания), содержащий слово синхронизации, информацию о расположении громкоговорителей и добавленные данные, обязательно содержат заданный объем данных.

Другими словами, объем данных выравнивания обязательно равен заданному объему данных независимо от числа сегментов информации о расположении громкоговорителей, вставленных в элемент "height_extension_element", иными словами, от числа каналов аудиоданных. Поэтому, если объем данных выравнивания не равен заданному объему данных в момент, когда происходит генерация данных выравнивания, модуль 161 декодирования элемента РСЕ определяет, что прочитанная информация о расположении громкоговорителей неверна, иными словами, прочитанная информация о расположении громкоговорителей недействительна.

На этапе S160, модуль 172 вычисления идентификационной информации считывает идентификационную информацию, следующую за параметром "byte_alignment()", прочитанным на этапе S159, иными словами, информацию, сохраненную в параметре "height_info_crc_check" в составе элемента "height_extension_element". Здесь, например, в качестве идентификационной информации считывают контрольный код CRC.

На этапе S161, модуль 172 вычисления идентификационной информации вычисляет идентификационную информацию на основе данных выравнивания, полученных на этапе S159. Например, в качестве идентификационной информации вычисляют контрольный код CRC.

На этапе S162 модуль 161 декодирования элемента РСЕ определяет, идентична ли идентификационная информация, прочитанная на этапе S160, идентификационной информации, вычисленной на этапе S161.

Когда объем данных выравнивания не равен заданному объему данных, модуль 161 декодирования элемента РСЕ не выполняет этап S160 и этап S161 и определяет, что сегменты идентификационной информации не идентичны один другому.

Если на этапе S162 определено, что сегменты идентификационной информации не идентичны один другому, модуль 161 декодирования элемента РСЕ присваивает прочитанной информации о расположении громкоговорителей статус недействительности и передает на этапе S163 информацию, указывающую, что прочитанная информация о расположении громкоговорителей не является действительной, модулю 181 реорганизации данных и устройству 152 микширования с уменьшением числа каналов. После этого процесс переходит к этапу S164.

При выполнении процесса на этапе S163 или процесса на этапе S146 модуль 181 реорганизации данных передает на этапе S164 аудиоданные, поступившие от переключающего модуля 151, согласно заранее заданному расположению громкоговорителей.

В таком случае, например, модуль 181 реорганизации данных определяет расположение громкоговорителя для каждого сегмента аудиоданных на основе информации о расположении громкоговорителей, считываемой из элемента РСЕ и поступившей от модуля 161 декодирования элемента РСЕ. Опорный пункт назначения, используемый модулем 181 реорганизации данных для определения расположения громкоговорителей, зависит от сервиса или приложения, использующего аудиоданные, и задан на основе числа каналов аудиоданных.

Когда осуществляется процесс этапа S164, выполнение процесса реорганизации данных завершается. Тогда завершается выполнение процесса этапа S117, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

С другой стороны, если на этапе S162 определено, что сегменты идентификационной информации идентичны один другому, модуль 161 декодирования элемента РСЕ подтверждает действительность прочитанной информации о расположении громкоговорителей и передает на этапе S165 эту информацию о расположении громкоговорителей модулю 181 реорганизации данных и устройству 152 микширования с уменьшением числа каналов. В этом случае, модуль 161 декодирования элемента РСЕ передает также информацию о расположении громкоговорителей, считываемую из элемента РСЕ, модулю 181 реорганизации данных и устройству 152 микширования с уменьшением числа каналов.

На этапе S166 модуль 181 реорганизации данных передает на выход аудиоданные, полученные от переключающего модуля 151, в соответствии с расположением громкоговорителей, определенным, например, посредством информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Иными словами, аудиоданные каждого канала реорганизуют в порядке, определяемом, например, информацией о расположении громкоговорителей, и затем передают на следующую ступень. Когда осуществляется процесс этапа S166, выполнение процесса реорганизации данных завершается. Тогда завершается выполнение процесса этапа S117, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

Таким способом, декодирующее устройство 141 проверяет слово синхронизации или контрольный код CRC из состава области комментариев элемента РСЕ, считывает информацию о расположении громкоговорителей и передает декодированные аудиоданные на выход в соответствии с информацией о расположении громкоговорителей.

В такой ситуации, поскольку информация о расположении громкоговорителей прочитана и расположение громкоговорителей (позиции источников звука) определено, можно воспроизводить звуковое изображение в вертикальном направлении и получать высококачественное реалистичное звучание.

Кроме того, поскольку информацию о расположении громкоговорителей считывают с использованием слова синхронизации и контрольного кода CRC, можно надежно прочитать эту информацию о расположении громкоговорителей из области комментариев, в которой, например, может быть также сохранена другая текстовая информация. Иными словами, можно надежно отличать информацию о расположении громкоговорителей от другой информации.

В частности, декодирующее устройство 141 отличает информацию о расположении громкоговорителей от другой информации с использованием трех элементов, а именно идентификаторов слов синхронизации, идентификаторов контрольных кодов CRC и идентификаторов объемов данных выравнивания. Таким образом, можно предотвратить ошибки при обнаружении информации о расположении громкоговорителей. В такой ситуации, поскольку ошибки при обнаружении информации о расположении громкоговорителей предотвращены, можно воспроизводить аудиоданные в соответствии с правильным расположением громкоговорителей и получить высококачественное реалистичное звучание.

Описание процесса микширования с уменьшением числа каналов Далее, процесс микширования с уменьшением числа каналов, соответствующий процессу, выполняемому на этапе S118, показанном на Фиг. 36, будет описан со ссылками на логическую схему, изображенную на Фиг. 39. В этой ситуации, аудиоданные каждого канала передают от переключающего модуля 151, переключающему модулю 211 в составе устройства 152 микширования с уменьшением числа каналов.

На этапе S191 модуль 173 детектора расширения в составе модуля 162 декодирования элемента DSE считывает параметр "ancillary_data_extension_status" из параметра "ancillary_data_status()" в составе параметра "MPEG4_ext_ancillary_data()" в элементе DSE.

На этапе S192 модуль 173 детектора расширения определяет, равен ли 1 прочитанный параметр "ancillary_data_extension_status".

Если на этапе S192 параметр "ancillary_data_extension_status" не равен 1, т.е. параметр "ancillary_data_extension_status" равен 0, устройство 152 микширования с уменьшением числа каналов декодирования осуществляет на этапе S193 микширование аудиоданных с использованием заданного способа.

Например, устройство 152 микширования с уменьшением числа каналов осуществляет такое микширование аудиоданных, поступивших от переключающего модуля 151, с использованием коэффициента, определяемого параметром "center_mix_level_value" или "surround_mix_level_value", поступившим от модуля 174 декодирования информации о микшировании с уменьшением числа каналов, и передает аудиоданные после микширования модулю 63 вывода.

Когда параметр "ancillary_data_extension_status" равен 0, процедура микширования с уменьшением числа каналов осуществляется любым способом.

На этапе S194 модуль 63 вывода передает на выход аудиоданные, поступившие от устройства 152 микширования с уменьшением числа каналов, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс микширования с уменьшением числа каналов завершается. Тогда завершается выполнение процесса этапа S118, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

С другой стороны, если на этапе S145 определено, что параметр "ancillary_data_extension_status" равен 1, процесс переходит к этапу S195.

На этапе S195 модуль 174 декодирования информации о микшировании считывает информацию параметра "ext_downmixing_levels()" из состава параметра "MPEG4_ext_ancillary_data()", показанного на Фиг. 11, и передает прочитанную информацию устройству 152 микширования с уменьшением числа каналов. Таким путем считывают, например, параметры "dmix_a_idx" и "dmix_b_idx", показанные на Фиг. 13.

Когда параметр "ext_downmixing_levels_status", показанный на Фиг.12 и входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0, считывание параметров "dmix_a_idx" и "dmix_b_idx" не производится.

На этапе S196 модуль 174 декодирования информации о микшировании считывает информацию параметра "ext_downmixing_global_gains()" из состава параметра "MPEG4_ext_ancillary_data()" и передает прочитанную информацию устройству 152 микширования с уменьшением числа каналов. Таким путем считывают, например, сегменты информации, показанные на Фиг.15, а именно, параметры "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx".

Считывание сегментов информации не производится, когда параметр "ext_downmixing_global_gains_status", показанный на Фиг. 12 и входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0.

На этапе S197 модуль 174 декодирования информации о микшировании считывает информацию параметра "ext_downmixing_lfe_level()" из состава параметра "MPEG4_ext_ancillary_data()" и передает прочитанную информацию устройству 152 микширования с уменьшением числа каналов. Таким путем считывают, например, параметр "dmix_lfe_idx", показанный на Фиг. 16.

В частности, модуль 174 декодирования информации о микшировании считывает информацию параметра "ext_downmixing_lfe_level_status", показанного на Фиг.12, и считывает параметр "dmix_lfe_idx" на основе величины параметра "ext_downmixing_lfe_level_status".

Иными словами, считывание параметра "dmix_lfe_idx" не производится, когда параметр "ext_downmixing_lfe_level_status", входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0. В этой ситуации, аудиоданные канала LFE не используют при микшировании аудиоданных и преобразовании от стандарта 5.1 каналов к стандарту 2 каналов, которое будет описано ниже. Иными словами, коэффициент, на который умножают аудиоданные канала LFE, равен 0.

На этапе S198 модуль 174 декодирования информации о микшировании считывает информацию, сохраненную в параметре "pseudo_surround_enable", из параметра "bs_info()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на Фиг.7, и передает прочитанную информацию устройству 152 микширования с уменьшением числа каналов.

На этапе S199 устройство 152 микширования с уменьшением числа каналов определяет, передавать ли на выход данные 2 каналов на основе формального параметра микширования с уменьшением числа каналов, поступившего от разделительного модуля 61.

Например, когда формальный параметр микширования с уменьшением числа каналов указывает микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 2 каналов или микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, определяют, что аудиоданные являются выходными данными 2 каналов.

Если на этапе S199 определено, что аудиоданные являются выходными данными 2 каналов, процесс переходит к этапу S200. В этой ситуации, пункт назначения данных с выхода переключающего модуля 214 изменяется на переключающий модуль 216.

На этапе S200 устройство 152 микширования с уменьшением числа каналов определяет, представлены ли входные аудиоданные в стандарте 5.1 каналов на основе формального параметра микширования с уменьшением числа каналов, поступившего от разделительного модуля 61. Например, когда формальный параметр микширования с уменьшением числа каналов указывает микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, определяют, что входные данные являются данными в стандарте 5,1 каналов.

Если на этапе S200 определено, что входные данные не являются данными в стандарте 5.1 каналов, процесс переходит к этапу S201, и осуществляется микширование для преобразования аудиоданных от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 2 каналов.

В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212. Переключающий модуль 212 передает аудиоданные, полученные от переключающего модуля 211 какому-либо из модулей с 213-1 по 213-4 микширования с уменьшением числа каналов, на основе информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Например, если аудиоданные представляют собой данные в стандарте 6.1 каналов, аудиоданные каждого канала передают модулю 213-1 микширования с уменьшением числа каналов.

На этапе S201 модуль 213 микширования с уменьшением числа каналов осуществляет микширование для преобразования к стандарту 5.1 каналов на основе параметров "dmix_a_idx" и "dmix_b_idx", прочитанных из параметра "ext_downmixing_levels()" и поступивших от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

Например, когда аудиоданные поступают в модуль 213-1 микширования с уменьшением числа каналов, этот модуль 213-1 микширования задает константы, определенные для величин параметров "dmix_a_idx" и "dmix_b_idx", в качестве констант g1 и g2 со ссылками на таблицу, показанную на Фиг. 19, соответственно. Тогда модуль 213-1 микширования с уменьшением числа каналов использует эти константы g1 и g2 в качестве коэффициентов, применяемых в умножительных модулях 242 и 243 и в умножительном модуле 244, соответственно, генерирует аудиоданные в стандарте 5.1 каналов с использованием Выражения (6) и передает аудиоданные переключающему модулю 214.

Аналогично, когда аудиоданные поступают в модуль 213-2 микширования с уменьшением числа каналов, этот модуль 213-2 микширования задает константы, определенные для величин параметров "dmix_a_idx" и "dmix_b_idx", в качестве констант e1 и е2, соответственно. Тогда модуль 213-2 микширования с уменьшением числа каналов использует эти константы e1 и е2 в качестве коэффициентов, применяемых в умножительных модулях 273 и 274 и в умножительных модулях 272 и 275, соответственно, генерирует аудиоданные в стандарте 5.1 каналов с использованием Выражения (4) и передает аудиоданные в стандарте 5.1 каналов переключающему модулю 214.

Когда аудиоданные поступают в модуль 213-3 микширования с уменьшением числа каналов, этот модуль 213-3 микширования задает константы, определенные для величин параметров "dmix_a_idx" и "dmix_b_idx", в качестве констант d1 и d2, соответственно. Тогда модуль 213-3 микширования с уменьшением числа каналов использует эти константы d1 и d2 в качестве коэффициентов, применяемых в умножительных модулях 302 и 303 и в умножительных модулях 304 и 305, соответственно, генерирует аудиоданные с использованием Выражения (3) и передает эти аудиоданные переключающему модулю 214.

Когда аудиоданные поступают в модуль 213-4 микширования с уменьшением числа каналов, этот модуль 213-4 микширования задает константы, определенные для величин параметров "dmix_a_idx" и "dmix_b_idx", в качестве констант f1 и f2, соответственно. Тогда модуль 213-4 микширования с уменьшением числа каналов использует эти константы f1 и f2 в качестве коэффициентов, применяемых в умножительных модулях 332 и 333 и в умножительных модулях 334 и 335, соответственно, генерирует аудиоданные с использованием Выражения (5) и передает эти аудиоданные переключающему модулю 214.

Когда аудиоданные в стандарте 5.1 каналов поступают в переключающий модуль 214, этот переключающий модуль 214 передает аудиоданные, поступившие от модуля 213 микширования с уменьшением числа каналов, переключающему модулю 216. Переключающий модуль 216 передает аудиоданные, поступающие от модуля 214 декодирования, модулю 217-1 микширования с уменьшением числа каналов, либо модулю 217-2 вывода на основе величины параметра "pseudo_surround_enable", поступившей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

Например, если величина параметра "pseudo_surround_enable" равна 0, аудиоданные передают модулю 217-1 микширования с уменьшением числа каналов. Когда величина параметра "pseudo_surround_enable" равна 1, аудиоданные передают модулю 217-2 микширования с уменьшением числа каналов.

На этапе S202 модуль 217 микширования с уменьшением числа каналов выполняет процедуру микширования аудиоданных, полученных от переключающего модуля 216, с преобразованием к стандарту 2 каналов на основе информации о микшировании, поступающей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов. Иными словами, процедура микширования к стандарту 2 каналов осуществляется на основе информации параметра "downmixing_levels_MPEG4()" и информации параметра "ext_downmixing_lfe_level()".

Например, когда аудиоданные поступают в модуль 217-1 микширования с уменьшением числа каналов, этот модуль 217-1 микширования задает константы, определенные для величин параметров "center_mix_level_value" и "surround_mix_level_value", в качестве констант "а" и "b" со ссылками на таблицу, показанную на Фиг. 19, соответственно. Кроме того, модуль 217-1 микширования с уменьшением числа каналов задает константу, определенную для величины параметра "dmix_lfe_idx", в качестве константы с со ссылками на таблицу, показанную на Фиг. 18.

Тогда модуль 217-1 микширования с уменьшением числа каналов использует эти константы "а", "b" и "с" в качестве коэффициентов, применяемых в умножительных модулях 363 и 364, умножительном модуле 362 и в умножительном модуле 365, соответственно, генерирует аудиоданные с использованием Выражения (1) и передает эти аудиоданные в стандарте 2 каналов модулю 218 регулировки усиления.

Когда аудиоданные поступают в модуль 217-2 микширования с уменьшением числа каналов, этот модуль 217-2 микширования определяет константы "а", "b" и "с" аналогично модулю 217-1 микширования с уменьшением числа каналов. Тогда модуль 217-2 микширования с уменьшением числа каналов использует эти константы "а", "b" и "с" в качестве коэффициентов, применяемых в умножительных модулях 403 и 404, умножительном модуле 402 и в умножительном модуле 405, соответственно, генерирует аудиоданные с использованием Выражения (2) и передает эти аудиоданные модулю 218 регулировки усиления.

На этапе S203 модуль 218 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от переключающего модуля 217, на основе информации, считываемой из параметра "ext_downmixing_global_gains()" и поступающей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

В частности, модуль 218 регулировки усиления вычисляет Выражение (11) на основе параметров "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx", считываемых из параметра "ext_downmixing_global_gains()", и вычисляет коэффициент усиления dmx_gain_7to2. Затем, модуль 218 регулировки усиления умножает аудиоданные каждого канала на коэффициент усиления dmx_gain_7to2 и передает эти аудиоданные модулю 63 вывода.

На этапе S204 модуль 63 вывода передает аудиоданные, поступившие от модуля 218 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс микширования с уменьшением числа каналов завершается. Тогда завершается выполнение процесса этапа S118, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

Модуль 63 вывода передает аудиоданные на выход, когда аудиоданные передают на выход от модуля 181 реорганизации данных и когда аудиоданные передают от устройства 152 микширования с уменьшением числа каналов без каких-либо изменений. На стадии после модуля 63 вывода может быть задан один из двух выводных потоков аудиоданных для дальнейшего использования.

Если на этапе S200 определено, что входные данные являются данными в стандарте 5.1 каналов, процесс переходит к этапу S205, и осуществляется микширование для преобразования аудиоданных от стандарта 5.1 каналов к стандарту 2 каналов.

В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 216. Переключающий модуль 216 передает аудиоданные, поступающие от переключающего модуля 211, модулю 217-1 микширования с уменьшением числа каналов, либо модулю 217-2 микширования с уменьшением числа каналов на основе величины параметра "pseudo_surround_enable", поступившей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

На этапе S205 модуль 217 микширования с уменьшением числа каналов выполняет процедуру микширования аудиоданных, полученных от переключающего модуля 216, с преобразованием к стандарту 2 каналов на основе информации о микшировании, поступающей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов. Кроме того, на этапе S205 выполняется такой же процесс, как на этапе S202.

На этапе S206 модуль 218 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от модуля 217 микширования с уменьшением числа каналов, на основе информации, считываемой из параметра "ext_downmixing_global_gains()" и поступающей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

В частности, модуль 218 регулировки усиления вычисляет Выражение (9) на основе параметров "dmx_gain_2_sign" и "dmx_gain_2_idx", считываемых из параметра "ext_downmixing_global_gains()", и передает аудиоданные, полученные в результате вычисления, модулю 63 вывода.

На этапе S207 модуль 63 вывода передает аудиоданные, поступившие от модуля 218 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс микширования с уменьшением числа каналов завершается. Тогда завершается выполнение процесса этапа S118, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

Если на этапе S199 определено, что аудиоданные не являются выходными данными в стандарте 2 каналов, иными словами, эти аудиоданные являются выходными данными в стандарте 5.1 каналов, процесс переходит к этапу S208, и осуществляется микширование для преобразования аудиоданных от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5.1 каналов.

В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212. Переключающий модуль 212 передает аудиоданные, полученные от переключающего модуля 211 какому-либо из модулей с 213-1 по 213-4 микширования с уменьшением числа каналов, на основе информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Кроме того, пунктом назначения данных с выхода переключающего модуля 214 является модуль регулировки усиления 215.

На этапе S208 модуль 213 микширования с уменьшением числа каналов осуществляет микширование для преобразования к стандарту 5.1 каналов на основе параметров "dmix_a_idx" и "dmix_b_idx", прочитанных из параметра "ext_downmixing_levels()" и поступивших от модуля 174 декодирования информации о микшировании с уменьшением числа каналов. Кроме того, на этапе S208 выполняется такой же процесс, как на этапе S201.

Когда осуществляется микширование для преобразования к стандарту 5.1 каналов и аудиоданные поступают от модуля 213 микширования с уменьшением числа каналов к переключающему модулю 214, этот переключающий модуль передает полученные им аудиоданные модулю 215 регулировки усиления.

На этапе S209 модуль 215 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от переключающего модуля 214, на основе информации, считываемой из параметра "ext_downmixing_global_gains()" и поступающей от модуля 174 декодирования информации о микшировании с уменьшением числа каналов.

В частности, модуль 215 регулировки усиления вычисляет Выражение (7) на основе параметров "dmx_gain_5_sign" и "dmx_gain_5_idx", считываемых из параметра "ext_downmixing_global_gains()", и передает аудиоданные, полученные в результате вычисления, модулю 63 вывода.

На этапе S210 модуль 63 вывода передает аудиоданные, поступившие от модуля 215 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс микширования с уменьшением числа каналов завершается. Тогда завершается выполнение процесса этапа S118, показанного на Фиг. 36. Таким образом, процесс декодирования завершается.

Таким способом, декодирующее устройство 141 осуществляет микширование аудиоданных с уменьшением числа каналов на основе информации, считываемой из кодированного потока битов данных.

Например, в кодированном потоке битов данных, поскольку в элемент DSE входит параметр "pseudo_surround_enable", можно выполнить процедуру микширования для преобразования аудиоданных от стандарта 5.1 каналов к стандарту 2 каналов с использованием способа, наиболее подходящего для рассматриваемых аудиоданных, из совокупности нескольких таких способов. Таким образом, на декодирующей стороне может быть получено высококачественное реалистичное звучание.

Кроме того, в кодированном потоке битов данных информацию, указывающую, включена ли расширенная информация, сохраняют в параметре "ancillary_data_extension_status". Таким образом, можно задать, входит ли расширенная информация в расширенную область элемента, со ссылками на эту информацию. Когда может быть получена расширенная информация, становится возможным повысить степень гибкости при микшировании аудиоданных с уменьшением числа каналов. Поэтому можно получать высококачественное реалистичное звучание.

Описанная выше последовательность процессов может быть осуществлена аппаратным или программным способом. Когда эта последовательность процессов осуществляется программным способом, программу, составляющую соответствующее программное обеспечение, инсталлируют на компьютере. Здесь таким компьютером может быть компьютер, встроенный в специализированную аппаратуру, или компьютер общего назначения, в котором инсталлированы программы разного рода и который может выполнять разнообразные функции.

Фиг. 40 представляет блок-схему, иллюстрирующую пример структуры аппаратуры компьютера, выполняющего программу для осуществления описанной выше последовательности процессов.

В рассматриваемом компьютере центральный процессор (CPU) 501, постоянное запоминающее устройство (ПЗУ, (ROM)) 502 и запоминающее устройство с произвольной выборкой (ЗУПВ (RAM)) 503 соединены одно с другим посредством шины 504.

С шиной 504 соединен интерфейс 505 ввода/вывода. С этим интерфейсом 505 ввода/вывода соединены модуль 506 ввода, модуль 507 вывода, модуль 508 памяти, модуль 506 связи и привод 510 сменного носителя записи.

Модуль 506 ввода содержит, например, клавиатуру, мышь, микрофон и элемент для считывания изображения. Модуль 507 вывода содержит, например, дисплей и громкоговоритель. Модуль 508 памяти содержит накопитель на жестком диске и энергонезависимую память. Модуль 509 связи представляет собой, например, сетевой интерфейс. Привод 510 осуществляет взаимодействие со сменным носителем 511 записи, таким как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше структуру, например, процессор CPU 501 загружает программу, записанную в модуле 508 памяти, в ЗУПВ RAM 503 через интерфейс 505 ввода/вывода и шину 504. Затем описанная выше последовательность процессов повторяется.

Программа, выполняемая компьютером (CPU 501), может быть записана на сменном носителе 511 записи в качестве пакетного носителя и затем предоставлена пользователю. В альтернативном варианте программы могут быть предоставлены по кабельной или беспроводной линии связи, такой как локальная сеть связи, Интернет или сеть спутникового вещания.

В компьютере, сменный носитель 511 записи может быть установлен на приводе 510, чтобы инсталлировать программу в модуле 508 памяти через интерфейс 505 ввода/вывода. Кроме того, такая программа может быть принята модулем 509 связи по кабельной или беспроводной линии связи и затем инсталлирована в модуле 508 памяти. В альтернативном варианте, программа может быть инсталлирована в ЗУПВ ROM 502 или в модуле 508 памяти заранее.

Программы, выполняемые компьютером, могут представлять собой программы для выполнения операций в хронологическом порядке в соответствии с последовательностью, рассмотренной в настоящем описании, или программы для выполнения различных операций параллельно или для выполнения операций по мере необходимости, например, после вызова такой программы.

Варианты настоящего изобретения не ограничиваются описанным выше вариантом, так что могут быть внесены разнообразные модификации и изменения этого варианта, не отклоняясь от объема и существа настоящего изобретения.

Например, предмет настоящего изобретения может иметь облачную вычислительную структуру, в которой одна функция распределена между несколькими устройствами через сеть связи и совместно реализуется этими несколькими устройствами.

В рассмотренном выше варианте каждый этап, описанный в приведенных выше логических схемах, выполняется в одном и том же устройстве. Однако каждый этап может быть распределен и совместно выполнен несколькими устройствами.

В рассмотренном выше варианте, когда один этап содержит несколько процессов, эти несколько процессов, входящих в один этап, выполняются одним устройством. Однако эти несколько процессов могут быть распределены и выполнены несколькими устройствами.

Кроме того, настоящее изобретение может иметь следующую структуру.

[1] Декодирующее устройство, содержащее:

модуль декодирования, осуществляющий декодирование аудиоданных, включенных в кодированный поток битов данных;

модуль считывания, осуществляющий считывание из кодированного потока битов данных информации, указывающей на наличие в кодированном потоке битов данных расширенной информации, и считывание расширенной информации на основе считанной информации; и

обрабатывающий модуль, обрабатывающий декодированные аудиоданные на основе расширенной информации.

[2] Декодирующее устройство согласно [1], в котором расширенная информация представляет собой информацию о микшировании с уменьшением числа каналов, а обрабатывающий модуль осуществляет микширование с уменьшением числа каналов в отношении декодированных аудиоданных множества каналов на основе расширенной информации.

[3] Декодирующее устройство согласно [2], в котором обрабатывающий модуль дополнительно осуществляет микширование с уменьшением числа каналов в отношении декодированных аудиоданных, уже подвергнутым микшированию с уменьшением числа каналов на основе расширенной информации, на основе информации, включенной в кодированный поток битов данных.

[4] Декодирующее устройство согласно [2] или [3], в котором расширенная информация представляет собой информацию для получения коэффициента, используемого для микширования аудиоданных с уменьшением числа каналов.

[5] Декодирующее устройство согласно любому из п. [2]-[4], в котором расширенная информация представляет собой информацию для получения значения коэффициента усиления, используемого для регулировки коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов, а обрабатывающий модуль регулирует коэффициент усиления аудиоданных, микшированных с уменьшением числа каналов, на основе значения коэффициента усиления.

[6] Декодирующее устройство согласно любому из п. [2]-[5], в котором расширенная информация представляет собой информацию, указывающую на необходимость использовать аудиоданные определенного канала для микширования с уменьшением числа каналов.

[7] Способ декодирования, содержащий:

этап декодирования аудиоданных, включенных в кодированный поток битов данных;

этап считывания информации, указывающей на наличие в кодированном потоке битов данных расширенной информации, из кодированного потока битов данных и считывания расширенной информации на основе считанной информации; и

этап обработки декодированных аудиоданных на основе расширенной информации.

[8] Программа, вызывающая выполнение компьютером процесса, содержащего:

этап декодирования аудиоданных, включенных в кодированный поток битов данных;

этап считывания информации, указывающей на наличие в кодированном потоке битов данных расширенной информации, из кодированного потока битов данных и считывания расширенной информации на основе считанной информации; и

этап обработки декодированных аудиоданных на основе расширенной информации.

[9] Кодирующее устройство, содержащее:

модуль кодирования, осуществляющий кодирование аудиоданных, информации, указывающей на наличие расширенная информация, и расширенной информации; и

модуль упаковки, хранящий кодированные аудиоданные, кодированную информацию, указывающую на наличие расширенной информации, и кодированную расширенную информацию в заданной области и генерирующий кодированный поток битов данных.

[10] Кодирующее устройство согласно [9], в котором расширенная информация представляет собой информацию микширования с уменьшением числа каналов, а декодированные аудиоданные числа каналов микшированы с уменьшением числа каналов на основе расширенной информации.

[11] Кодирующее устройство согласно [10], в котором аудиоданные, уже подвергнутые микшированию с уменьшением числа каналов на основе расширенной информации, дополнительно микшированы с уменьшением числа каналов на основе информации, отличной от расширенной информации, включенной в кодированный поток битов данных.

[12] Кодирующее устройство согласно [10] или [11], в котором расширенная информация представляет собой информацию для получения коэффициента, используемого для микширования аудиоданных с уменьшением числа каналов.

[13] Кодирующее устройство согласно любому из п. [10]-[12], в котором расширенная информация представляет собой информацию для получения значения коэффициента усиления, используемого для регулировки коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов, причем коэффициент усиления аудиоданных, микшированных с уменьшением числа каналов, отрегулирован на основе указанного значения коэффициента усиления.

[14] Кодирующее устройство согласно любому из п. [10]-[13], в котором расширенная информация представляет собой информацию, указывающую на необходимость использовать аудиоданные определенного канала для микширования с уменьшением числа каналов.

[15] Способ кодирования, содержащий:

этап кодирования аудиоданных, информации, указывающей на наличие расширенной информации, и расширенной информации; и

этап сохранения кодированных аудиоданных, кодированной информации, указывающей на наличие расширенной информации, и кодированной расширенной информации в заданной области и генерирования кодированного потока битов данных.

[16] Программа, вызывающая выполнение компьютером процесса, содержащего:

этап кодирования аудиоданных, информации, указывающей на наличие расширенной информации, и расширенной информации; и

этап сохранения кодированных аудиоданных, кодированной информации, указывающей на наличие расширенной информации, и кодированной расширенной информации в заданной области и генерирование кодированного потока битов данных.

Список позиционных обозначений

11 Кодирующее устройство

21 Модуль ввода

22 Модуль кодирования

23 Модуль упаковки

51 Декодирующее устройство

61 Разделительный модуль

62 Модуль декодирования

63 Модуль вывода

91 Кодирующее устройство

101 Модуль кодирования элемента РСЕ

102 Модуль кодирования элемента DSE

103 Модуль кодирования аудио элемента

111 Модуль кодирования слова синхронизации

112 Модуль кодирования информации о расположении

113 Модуль кодирования идентификационной информации

114 Модуль кодирования расширенной информации

115 Модуль кодирования информации о микшировании с уменьшением числа каналов

141 Декодирующее устройство

152 Устройство микширования с уменьшением числа каналов

161 Модуль декодирования элемента РСЕ

162 Модуль декодирования элемента DSE

163 Модуль декодирования аудио элемента

171 Модуль детектора слова синхронизации

172 Модуль вычисления идентификационной информации

173 Модуль детектора расширения

174 Модуль декодирования информации о микшировании с уменьшением числа каналов

181 Модуль реорганизации данных

Изобретение относится к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования. Технический результат изобретения заключается в получении высококачественного реалистичного звучания при воспроизведении принимаемых аудиоданных на аппаратуре. Кодирующее устройство сохраняет информацию о расположении громкоговорителей в области комментариев элемента РСЕ в составе кодированного потока битов данных, а также сохраняет синхронное слово и идентификационную информацию в области комментариев таким образом, чтобы можно было отличать друг от друга другие открытые комментарии и информацию о расположении громкоговорителей, сохраняемую в области комментариев. При декодировании кодированного потока битов данных определяют, хранится ли информация о расположении громкоговорителей, на основе синхронного слова и идентификационной информации, хранящейся в области комментариев. Аудиоданные, включенные в кодированный поток битов данных, выводятся согласно расположению громкоговорителей в соответствии с результатами определения. 6 н. и 4 з.п. ф-лы, 40 ил.

1. Декодирующее устройство, содержащее:

модуль декодирования, выполненный с возможностью декодирования аудиоданных, включенных в кодированный поток битов данных;

модуль считывания, выполненный с возможностью считывания из кодированного потока битов данных информации, указывающей на наличие в кодированном потоке битов данных расширенной информации, и считывания расширенной информации на основе считанной информации; и

обрабатывающий модуль, выполненный с возможностью обработки декодированных аудиоданных на основе расширенной информации,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

обрабатывающий модуль выполнен с возможностью микширования аудиоданных с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

обрабатывающий модуль дополнительно выполнен с возможностью микширования аудиоданных, уже подвергнутых микшированию с уменьшением числа каналов, на основании второй информации.

2. Декодирующее устройство по п. 1,

в котором расширенная информация включает в себя информацию для получения значения коэффициента усиления, используемого для регулировки коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов,

при этом процессорный модуль выполнен с возможностью регулирования коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов, на основе значения коэффициента усиления.

3. Декодирующее устройство по п. 2,

в котором расширенная информация включает в себя информацию, указывающую на необходимость использовать аудиоданные определенного канала для микширования с уменьшением числа каналов.

4. Способ декодирования, содержащий этапы, на которых:

декодируют аудиоданные, включенные в кодированный поток битов данных;

считывают из кодированного потока битов данных информацию, указывающую на наличие в кодированном потоке битов данных расширенной информации, и считывают расширенную информацию на основе считанной информации; и

обрабатывают декодированные аудиоданные на основе расширенной информации,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

на этапе обработки выполняют микширование аудиоданных с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

на этапе обработки дополнительно выполняют микширование аудиоданных, уже подвергнутых микшированию с уменьшением числа каналов, на основании второй информации.

5. Носитель записи, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:

декодируют аудиоданные, включенные в кодированный поток битов данных;

считывают из кодированного потока битов данных информацию, указывающую на наличие в кодированном потоке битов данных расширенной информации, и считывают расширенную информацию на основе считанной информации; и

обрабатывают декодированные аудиоданные на основе расширенной информации,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

на этапе обработки выполняют микширование аудиоданных с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

на этапе обработки дополнительно выполняют микширование аудиоданных, уже подвергнутых микшированию с уменьшением числа каналов, на основании второй информации.

6. Кодирующее устройство, содержащее:

модуль кодирования, выполненный с возможностью кодирования аудиоданных, информации, указывающей на наличие расширенной информации, и расширенной информации; и

модуль упаковки, выполненный с возможностью сохранения кодированных аудиоданных, кодированной информации, указывающей на наличие расширенной информации, и кодированной расширенной информации в заданной области и генерирования кодированного потока битов данных,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

декодированные аудиоданные множества каналов микшированы с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

аудиоданные, уже подвергнутые микшированию с уменьшением числа каналов, дополнительно микшированы с уменьшением числа каналов на основании второй информации.

7. Кодирующее устройство по п. 6,

в котором расширенная информация включает в себя информацию для получения значения коэффициента усиления, используемого для регулирования коэффициента усиления аудиоданных, микшированных с уменьшением числа каналов,

при этом коэффициент усиления аудиоданных, микшированных с уменьшением числа каналов, отрегулирован на основе указанного значения коэффициента усиления.

8. Кодирующее устройство по п. 7,

в котором расширенная информация включает в себя информацию, указывающую на необходимость использовать аудиоданные определенного канала для микширования с уменьшением числа каналов.

9. Способ кодирования, содержащий этапы, на которых:

кодируют аудиоданные, информацию, указывающую на наличие расширенной информации, и расширенную информацию; и

сохраняют кодированные аудиоданные, кодированную информацию, указывающую на наличие расширенной информации, и кодированную расширенную информацию в заданной области и генерируют кодированный поток битов данных,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

декодированные аудиоданные множества каналов микшированы с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

аудиоданные, уже подвергнутые микшированию с уменьшением числа каналов, дополнительно микшированы с уменьшением числа каналов на основании второй информации.

10. Носитель записи, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:

кодируют аудиоданные, информацию, указывающую на наличие расширенной информации, и расширенную информацию; и

сохраняют кодированные аудиоданные, кодированную информацию, указывающую на наличие расширенной информации, и кодированную расширенную информацию в заданной области и генерируют кодированный поток битов данных,

при этом расширенная информация включает в себя первую информацию для указания коэффициента микширования с понижением числа каналов и вторую информацию;

декодированные аудиоданные множества каналов микшированы с уменьшением числа каналов на основе коэффициента микширования с понижением числа каналов для обеспечения аудиоданных, микшированных с понижением числа каналов; и

аудиоданные, уже подвергнутые микшированию с уменьшением числа каналов, дополнительно микшированы с уменьшением числа каналов на основании второй информации.