Область техники, к которой относится изобретение
Настоящая технология относится к устройству декодирования, способу декодирования, устройству кодирования, способу кодирования и программе и, более конкретно, к устройству декодирования, способу декодирования, устройству кодирования, способу кодирования и программе, которые могут получать высококачественный реалистический звук.
Уровень техники
В последние годы, все страны в мире внедрили службу распространения кинофильмов, широковещательное цифровое телевидение и архивирование следующего поколения. В дополнение к стереофоническому радиовещанию, соответствующему существующему уровню техники, начало внедряться звуковое радиовещание, соответствующее многочисленным каналам, такое как 5.1 каналов.
Чтобы дополнительно улучшить качество изображения, было изучено следующее поколение телевидения высокой четкости с повышенным количеством пикселей. При изучении следующего поколения телевидения высокой четкости ожидалось, что каналы должны быть расширены на многочисленные каналы, большие чем 5.1 каналов в горизонтальном направлении и вертикальном направлении в области обработки звука, чтобы достигнуть реалистического звука.
В качестве технологии, относящейся к кодированию аудиоданных, была предложена технология, которая группирует окна из разных каналов в некие мозаичные элементы, чтобы улучшить эффективность кодирования (смотрите, например, патентный документ 1).
Перечень литературы
Патентные документы
Патентный документ 1: JP 2010-217900 A
Раскрытие изобретения
Проблемы, решаемые изобретением
Однако, в упомянутой выше технологии трудно получить высококачественный реалистический звук.
Например, при многоканальном кодировании, основанном на стандарте Moving Picture Experts Group-2 Advanced Audio Coding (MPEG-2AAC) и стандарте MPEG-4AAC, являющихся международными стандартами, определены только расположение громкоговорителей в горизонтальном направлении и информация о понижающем микшировании от 5.1 каналов до стереоканалов. Поэтому, трудно удовлетворительно отреагировать на расширение каналов в плоскости и в вертикальном направлении.
Настоящая технология была разработана с точки зрения упомянутых выше проблем и позволяет получить высококачественный реалистический звук.
Решения проблем
Устройство декодирования, соответствующее первому варианту настоящей технологии, содержит блок обнаружения идентификационной информации, который считывает идентификационную информацию для идентификации, представлена ли заданная информация, из области, в которой могут храниться произвольные данные кодированного битового потока и блок считывания, который считывает заданную информацию из упомянутой области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
Первая заданная идентификационная информация и вторая идентификационная информация, которая вычисляется на основе заданной информации, могут сохраняться как идентификационная информация в области, в которой могут храниться произвольные данные.
Блок считывания может определить, что заданная информация является действительной информацией, когда первая идентификационная информация, содержащаяся в области, в которой могут храниться произвольные данные, является заданной определенной информацией, и вторая идентификационная информация, считанная из области, в которой могут храниться произвольные данные, идентична второй идентификационной информации, вычисленной на основе считанной заданной информации.
Когда считанная первая идентификационная информация является заданной определенной информацией, блок считывания может начать считывание заданной информации, размещенной после первой идентификационной информацией в области, в которой могут храниться произвольные данные.
Вторая идентификационная информация может быть вычислена на основе информации, полученной при выполнении выравнивания байтов для информации, содержащей заданную информацию.
В области, в которой могут храниться произвольные данные, может содержаться произвольное число элементов заданной информации в заданном диапазоне. Блок считывания может определить, что заданная информация является недействительной информацией, когда информация, полученная посредством выравнивания байтов, не имеет заданного размера.
Заданная информация может быть информацией, относящейся к аудиоданным. Устройство декодирования может дополнительно содержать блок декодирования, который декодирует аудиоданные, содержащиеся в кодированном битовом потоке.
Способ декодирования или программа, соответствующие первому варианту настоящей технологии, содержит этап считывания идентификационной информации для идентификации, представлена ли заданная информация из области, в которой могут храниться произвольные данные кодированного битового потока, и этап считывания заданной информации из области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
В первом варианте настоящей технологии идентификационная информация для идентификации, представлена ли заданная информация, считывается из области, в которой могут храниться произвольные данные кодированного битового потока, и заданная информация считывается из области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
Устройство кодирования, соответствующее второму варианту настоящей технологии, содержит блок кодирования, который кодирует множество элементов идентификационной информации для идентификации наличия заданной информации и заданную информацию, и блок упаковки, который хранит кодированную заданную информацию и кодированную идентификационную информацию в области, в которой могут храниться произвольные данные, и формирует кодированный битовый поток.
Первая заданная идентификационная информация и вторая идентификационная информация, которая вычисляется на основе заданной информации, могут сохраняться как идентификационная информация в области, в которой могут храниться произвольные данные.
Заданная информация может определяться как действительная информация, когда первая идентификационная информация, содержащаяся в области, в которой могут храниться произвольные данные, является заданной определенной информацией, а вторая идентификационная информация, считанная из области, в которой могут храниться произвольные данные, идентична второй идентификационной информации, вычисленной на основе считанной заданной информации.
Заданная информация может располагаться после первой идентификационной информацией в области, в которой могут храниться произвольные данные. Когда считанная идентификационная информация является заданной определенной информацией, может начаться считывание заданной информации.
Информация для подачи команд на выполнение выравнивания байтов для информации, содержащей заданную информацию, и информация для подачи команды сравнения между второй идентификационной информацией, вычисленной на основе информации, полученной посредством выравнивания байтов, и второй идентификационной информацией, хранящейся в области, в которой могут храниться произвольные данные, может дополнительно сохраняться в области, в которой могут храниться произвольные данные.
В области, в которой могут храниться произвольные данные, может храниться произвольное число элементов заданной информации в заданном диапазоне. Когда информация, полученная выравниванием байтов, не имеет заданного размера, заданная информация может определяться как недействительная.
Заданная информация может быть информацией, относящейся к аудиоданным. Блок кодирования может кодировать аудиоданные, а блок упаковки может хранить кодированные аудиоданные в кодированном битовом потоке.
Способ кодирования или программа, соответствующие второму варианту настоящей технологии, содержат этап кодирования множества элементов идентификационной информации для идентификации наличия заданной информации, и заданная информация и этап хранения кодированной заданной информации и кодированной идентификационной информации в области, в которой могут храниться произвольные данные, и формирования кодированного битового потока.
Во втором варианте настоящей технологии кодируется множество элементов идентификационной информации для идентификации наличия заданной информации, и заданная информация. Кодированная заданная информация и кодированная идентификационная информация сохраняются в области, в которой могут храниться произвольные данные, и формируется кодированный битовый поток.
Результаты изобретения
В соответствии с первым и вторым вариантами настоящей технологии возможно получить высококачественный реалистический звук.
Краткое описание чертежей
Фиг. 1 - расположение громкоговорителей.
Фиг. 2 - пример карты громкоговорителей.
Фиг. 3 - кодированный битовый поток.
Фиг. 4 - синтаксис height_extension_element.
Фиг. 5 - расположение громкоговорителей по высоте.
Фиг. 6 - синтаксис вспомогательных данных MPEG4.
Фиг. 7 - синтаксис bs_info().
Фиг. 8 - синтаксис ancillary_data_status().
Фиг. 9 - синтаксис downmixing_levels_MPEG4().
Фиг. 10 - синтаксис audio_coding_mode().
Фиг. 11 - синтаксис MPEG4_ext_ancillary_data().
Фиг. 12 - синтаксис ext_ancillary_data_status().
Фиг. 13 - синтаксис ext_downmixing_levels().
Фиг. 14 - цели, к которым применяется каждый коэффициент.
Фиг. 15 - синтаксис ext_downmixing_global_gains().
Фиг. 16 - синтаксис ext_downmixing_lfe_level().
Фиг. 17 - понижающее микширование.
Фиг. 18 -коэффициент, определяемый для dmix_lfe_idx.
Фиг. 19 -коэффициенты, определяемые для dmix_a_idx и dmix_b_idx.
Фиг. 20 - синтаксис drc_presentation_mode.
Фиг. 21 - синтаксис drc_presentation_mode.
Фиг. 22 - пример структуры устройства кодирования.
Фиг. 23 - блок-схема последовательности выполнения операций процесса кодирования.
Фиг. 24 - пример структуры устройства декодирования.
Фиг. 25 - блок-схема последовательности выполнения операций процесса декодирования.
Фиг. 26 - пример структуры устройства кодирования.
Фиг. 27 - блок-схема последовательности выполнения операций процесса кодирования.
Фиг. 28 - пример устройства декодирования.
Фиг. 29 - пример структуры блока процесса понижающего микширования.
Фиг. 30 - пример структуры блока понижающего микширования.
Фиг. 31 - пример структуры блока понижающего микширования.
Фиг. 32 - пример структуры блока понижающего микширования.
Фиг. 33 - пример структуры блока понижающего микширования.
Фиг. 34 - пример структуры блока понижающего микширования.
Фиг. 35 - пример структуры блока понижающего микширования.
Фиг. 36 - блок-схема последовательности выполнения операций процесса декодирования.
Фиг. 37 - блок-схема последовательности выполнения операций процесса перегруппировки.
Фиг. 38 - блок-схема последовательности выполнения операций процесса перегруппировки.
Фиг. 39 - блок-схема последовательности выполнения операций процесса понижающего микширования.
Фиг. 40 - пример структуры компьютера.
Осуществление изобретения
Здесь далее со ссылкой на чертежи будут описаны варианты осуществления, к которым применяется настоящая технология.
Первый вариант осуществления Общие сведения о настоящей технологии
Сначала будут описаны общие сведения о настоящей технологии.
Настоящая технология относится к кодированию и декодированию аудиоданных. Например, при многоканальном кодировании на основе стандарта MPEG-2AAC или MPEG-4AAC трудно получить информацию для расширения каналов в горизонтальной плоскости и в вертикальном направлении.
При многоканальном кодировании не существует информации о понижающем микшировании содержания расширенного канала и соответствующее отношение микширования каналов неизвестно. Поэтому для переносной аппаратуры с мальм количеством каналов воспроизведения трудно воспроизводить звук.
Настоящая технология может получать высококачественный реалистический звук, используя следующие характеристики (1)-(4).
(1) Информация о расположении громкоговорителей в вертикальном направлении записывается в области комментария в PCE (Program_config_element), определенном существующим стандартом AAC.
(2) В случае характеристики (1), чтобы различать публичные комментарии от информации о расположении громкоговорителей в вертикальном направлении, устройство кодирования кодирует два элемента идентификационной информации, а именно, синхронное слово и контрольный код CRC, и устройство декодирования сравнивает два элемента идентификационной информации. Когда два элемента идентификационной информации идентичны друг другу, устройство декодирования получает информацию о расположении громкоговорителей.
(3) Информация о понижающем микшировании записывается в области вспомогательных данных (DSE (data_stream_element)).
(4) Понижающее микширование от 6.1 каналов или 7.1 каналов до 2 каналов является двухэтапным процессом, содержащим понижающее микширование от 6.1 каналов или 7.1 каналов до 5.1 каналов и понижающее микширование от 5.1 каналов до 2 каналов.
По существу, использование информации о расположении громкоговорителей в вертикальном направлении делает возможным воспроизводить звуковую картину в вертикальном направлении, в дополнение к плоскости, и воспроизводить более реалистический звук, чем планарные многочисленные каналы в соответствии с предшествующим уровнем техники.
Кроме того, когда передается информация о понижающем микшировании от 6.1 каналов или 7.1 каналов до 5.1 каналов или 2 каналов, использование одного элемента данных кодирования возможно, чтобы воспроизводить звук с помощью количества каналов, наиболее пригодного для каждой среды воспроизведения. В устройстве декодирования, соответствующем предшествующему уровню техники, который не соответствует настоящей технологии, информация в вертикальном направлении игнорируется как публичные комментарии и аудиоданные декодируются. Следовательно совместимость не ухудшается.
Расположение громкоговорителей
Далее будет описано расположение громкоговорителей при воспроизведении аудиоданных.
Например, предположим, что, как показано на фиг. 1, пользователь видит экран дисплея TVS устройства отображения, такого как телевизионный приемник, в передней стороны. То есть, предполагается, что пользователь расположен перед экраном дисплея TVS на фиг. 1.
В этом случае предполагается, что 13 громкоговорителей Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE расположены так, чтобы окружать пользователя.
Здесь далее каналы аудиоданных (звуки), воспроизводимые громкоговорителями Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, упоминаются как Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, соответственно.
Как показано на фиг. 2, канал L является "передним левым", канал R является "передним правым" и канал С является "передним центральным".
Кроме того, канал Ls является "левым окружающим", канал Rs является "правым окружающим", канал Lrs является "левым задним", канал Rrs является "кравым задним" и канал Cs является "центральным задним".
Канал Lvh является "левым верхним передним", канал Rvh является "правым верхним передним" и канал LFE является каналом "эффекта нижних частот".
Возвращаясь к фиг. 1, громкоговоритель Lvh и громкоговоритель Rvh устанавливаются спереди сверху слева и с правой сторон от пользователя. Уровень, на котором расположены громкоговорители Rvh и Lvh, является верхним уровнем.
Громкоговорители L, С и R устанавливаются слева, в центре и справа от пользователя. Громкоговорители Lc и Rc устанавливаются между громкоговорителями L и С и между громкоговорителями R и С, соответственно. Кроме того, громкоговорители Ls и Rs устанавливаются с левой и правой стороны от пользователя, соответственно, и громкоговорители Lrs, Rrs и Cs устанавливаются сзади слева, сзади справа и сзади пользователя, соответственно.
Громкоговорители Lrs, Ls, L, Lc, С, Rc, R, Rs, Rrs и Cs устанавливаются в плоскости, которая располагается, по существу, на высоте ушей пользователя, так чтобы окружать пользователя. Уровень, на котором устанавливаются громкоговорителя, является "средним уровнем".
Громкоговоритель LFE устанавливается спереди внизу от пользователя и уровень, на котором устанавливается громкоговоритель LFE называется "уровнем LFE".
Кодированный битовый поток
Когда, например, кодируются аудиоданные каждого канала, получается кодированный битовый поток, показанный на фиг. 3. То есть, на фиг. 3 показан синтаксис кодированного битового потока кадра AAC.
Кодированный битовый поток, показанный на фиг. 3, содержит "Header/sideinfo", "РСЕ", "SCE", "CPE", "LFE", "DSE", "FIL(DRC)" и "FIL(END)". В этом примере кодированный битовый поток содержит три "СРЕ".
Например, "РСЕ" содержит информацию о каждом канале аудиоданных. В этом примере "РСЕ" содержит "Matrix-mixdown", которая является информацией о понижающем микшировании аудиоданных, и "Height Infomation", которая является информацией о расположении громкоговорителей. Кроме того, "РСЕ" содержит "comment_field_data", которая является областью комментария (полем комментария), в котором могут храниться свободные комментарии, и данные "comment_field_data" содержат элемент "height_extension_element", который является расширенной областью. В области комментария могут храниться произвольные данные, такие как публичные комментарии. Элемент "height_extension_element" содержит информацию "Height Infomation", которая является информацией о высоте расположения громкоговорителей.
"SCE" содержит аудиоданные одиночного канала, "СРЕ" содержит аудиоданные канальной пары, то есть, двух каналов, и "LFE" содержит аудиоданные, например, канала LFE. Например, "SCE" хранит аудиоданные канала С или Cs и "СРЕ" содержит аудиоданные канала L или R или канала Lvh или Rvh.
Кроме того, "DSE" является областью вспомогательных данных. В "DSE" хранятся данные. В этом примере "DSE" в качестве информации о понижающем микшировании аудиоданных содержит "Downmix 5.1 ch to 2 ch", "Dynamic Range Control", "DRC Presentation Mode", "Downmix 6.1 ch and 7.1 ch to 5.1 ch", "global gain downmixing" и "LFE downmixing".
Кроме того, "FIL(DRC)" содержит информацию об управлении динамическим диапазоном звука. Например, "FIL(DRC)" содержит "Program Reference Level" и "Dynamic Range Control".
Поле комментария
Как описано выше, данные "comment_field_data" для "РСЕ" содержат элемент "height_extension_element". Следовательно, мультиканальное воспроизведение достигается информацией о расположении громкоговорителей в вертикальном направлении. То есть, высококачественный реалистический звук воспроизводится громкоговорителями, расположенными на уровне, каждый из которых имеет свою высоту, такую как "Top layer" (верхний уровень) или "Middle layer" (средний уровень).
Например, как показано на фиг. 4, элемент "height_extension_element" содержит синхронное слово для отличия от других публичных комментариев. То есть, на фиг. 4 показан синтаксис элемента "height_extension_element".
На фиг. 4 "PCE_HEIGHT_EXTENSION_SYNC" указывает синхронное слово.
Кроме того, "front_element_height_info[i]”, "side_element_height_info[i]" и "back_element_height_info[i]” указывают высоту громкоговорителей, располагающихся спереди, сбоку и сзади от зрителя, то есть, уровни.
Дополнительно, "byte_alignment()" указывает выравнивание байтов и "height_info_crc_check" указывает контрольный код CRC, используемый в качестве идентификационной информации. Кроме того, контрольный код CRC вычисляется на основе информации, которая считывается между "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()", то есть, в синхронном слове, информации о расположении каждого громкоговорителя (информация о каждом канале) и выравнивании байтов. Затем определяется, идентичен ли вычисленный контрольный код CRC контрольному коду CRC, указанному в "height_info_crc_check". Когда контрольные коды CRC идентичны друг другу, принимается решение, что информация о расположении каждого громкоговорителя считана правильно. Кроме того, "crc_cal()!=height_info_crc_check" указывает сравнение между контрольными кодами CRC.
Например, "front_element_height_info[i]", “side_element_height_info[i]” и "back_element_height_info[i]”, которые являются информацией о положении источников звука, то есть, о расположении (высоте) громкоговорителей, устанавливаются, как показано на фиг. 5.
То есть, когда информация о "front_element_height_info[i]”, "side_element_height_info[i]" и "back_element_height_info[i]" равна "О", "1" и "2", высота громкоговорителей является "Normal height" (нормальная высота), "Top speaker" (верхний громкоговоритель) и "Bottom Speaker" (нижний громкоговоритель, соответственно. То есть, уровнями, на которых установлены громкоговорители, являются "Middle layer" (средний уровень), "Top layer" (верхний уровень) и "LFE layer" (уровень LFE).
DSE
Далее будут описаны данные "MPEG4 ancillary data", которые являются областью вспомогательных данных, содержащихся в "DSE", то есть, "data_stream_byte[]" для "'data_stream_element()". Управление DRC при понижающем микшировании для аудиоданных от 6.1 каналов или 7.1 каналов к 5.1 каналам или 2 каналам может выполняться посредством данных "MPEG4 ancillary data".
На фиг.6 показан данных "MPEG4 ancillary data". Данные "MPEG4 ancillary data" содержат "bs_info()", "ancillary_data_status()", "dovvTimixing_levels_MPEG4()", "audio_coding_mode()", "Compression_value" и "MPEG4_ext_ancillary_data()".
Здесь, значение "Compression_value" соответствует "Dynamic Range Control", показанному на фиг. 3. Кроме того, синтаксис "bs_info()", "ancillary_data_status()", "downmixing_levels_MPEG4()”, "audio_coding_mode()” и "MPEG4_ext_ancillary_data()" таков, как показано на фиг. 7-11, соответственно.
Например, как показано на фиг. 7, "bs_info()" содержит "mpeg_audio_type", "dolby_surround_mode", "drc_presentation_mode" и "pseudo_surround_enable".
Кроме того, "drc_presentation_mode" соответствует режиму "DRC Presentation Mode", показанному на фиг. 3. Дополнительно, "pseudo_surround_enable" содержит информацию, указывающую процедуру понижающего микширования от 5.1 каналов к 2 каналам, то есть, информацию, указывающую один из множества способов понижающего микширования, который должен использоваться для понижающего микширования.
Например, процесс варьируется в зависимости от того, равен ли 0 или 1 статус "ancillary_data_extension_status", содержащийся в статусе "ancillary_data_status()", показанном на фиг. 8. Когда статус "ancillary_data_extension_status" равен 1, выполняется доступ к "MPEG4_ext_ancillary_data()" в данных "MPEG4 ancillary data", показанных на фиг. 6, и управление DRC понижающим микшированием выполняется. С другой стороны, когда статус "ancillary_data_extension_status" равен 0, выполняется процесс, соответствующий предшествующему уровню техники. Таким образом, возможно гарантировать совместимость с существующим стандартом.
Кроме того, статус "downmixing_levels_MPEG4_status", содержащийся в "ancillary_data_status()", показанном на фиг. 8, является информацией для назначения коэффициента (отношения микширования, используемого при понижающем микшировании с 5.1 каналов до 2 каналов. То есть, когда "downmixing_levels_MPEG4_status" равен 1, для понижающего микширования используется коэффициент, определяемый информацией, хранящейся в "downmixing_levels_MPEG4()", показанной на фиг. 9.
Дополнительно, "downmixing_levels_MPEG4()", показанный на фиг. 9, содержит "center_mix_level_value" и "surround_mix_level_value" в качестве информации для указания коэффициента понижающего микширования. Например, значения коэффициентов, соответствующие "center_mix_level_value" и "surround_mix_level_value", определяются таблицей, показанной на фиг. 19, которая будет описана ниже.
Кроме того, "downmixing_levels_MPEG4()", показанный на фиг. 9, соответствует "Downmix 5.1 ch to 2 ch", показанному на фиг. 3.
Дополнительно, "MPEG4_ext_ancillary_data()", показанный на фиг. 11, содержит "ext_ancillary_data_status()", "ext_downmixing_levels()", "ext_downmixing_global_gains()" и "ext_do wnmixing_lfe_le vel()".
Информация, требующаяся для расширения количества каналов, так чтобы аудиоданные 5.1 каналов расширялись до 7.1 каналов или 6.1 каналов, хранится в "MPEG4_ext_ancillary_data()".
Конкретно, "ext_ancillary_data_status()" содержит информацию (флаг), указывающую, выполняется ли понижающее микширование каналов, больших, чем 5.1 каналов, до 5.1 каналов, информацию, указывающую, выполнять ли управление усилением во время понижающего микширования, и информацию, указывающую использовать ли канал LFE во время понижающего микширования.
Информация для указания коэффициента (отношения микширования), используемого во время понижающего микширования, хранится в "ext_downmixing_levels()", а информация, относящаяся к усилению во время регулировки усиления, содержится в "ext_downmixing_global_gains()”. Кроме того, информация для указания коэффициента (отношения микширования) канала LEF, используемая во время понижающего микширования, хранится в "ext_downmixing_lfe_level()".
Конкретно, например, синтаксис "ext_ancillary_data_status()" является таким, как показано на фиг. 12. В "ext_ancillary_data_status()", "ext_downmixing_levels_status" указывает, должно ли выполняться понижающее микширование 6.1 каналов или 7.1 каналов до 5.1 каналов. То есть, "ext_downmimixing_levels_status” указывает, присутствует ли "ext_downmixing_levels()”. "ext_downmixing_levels_status" соответствует "Downmix 6.1 ch and 7.1 ch to 5.1 ch", показанному на фиг. 3.
Кроме того, "ext_downmixing_global_gains_status" указывает, выполнять ли глобальное управление усилением, и соответствует "global gain downmixing", показанному на фиг. 3. То ecTb,"ext_downmixing_global_gains_status" указывает, присутствует ли "ext_downmixing_global_gains()". Кроме того, "ext_downmixing_lfe_level_status" указывает, используется ли канал LFE, когда для 5.1 каналов выполняется понижающее микширование до 2 каналов, и соответствует "LFE downmixing", показанному на фиг. 3.
Синтаксис "ext_downmixing_levels()" в "MPEG4_ext_ancillary_data()", показанном на фиг. 11, является таким, как показано на фиг. 13, и "dmix_a_idx" and "dmix_b_idx", показанное на фиг. 13, является информацией, указывающей отношение (коэффициент) микширования во время понижающего микширования.
На фиг. 14 показано соответствие между "dmix_a_idx" и "dmix_b_idx", определенными "ext_downmixing_levels()", и компонентами, к которым применяются "dmix_a_idx" и "dmix_b_idx", когда выполняется понижающее микширование аудиоданных 7.1 каналов.
Синтаксис "ext_downmixing_global_gains()" и "ext_downmixing_lfe_level()" в "MPEG4_ext_ancillary_data()", показанном на фиг. 11, является таким, как показано на фиг. 15 и 16.
Например, "ext_downmixing_global_gains()”, показанное на фиг. 15, указывает "dmx_gain_5_sign", которое указывает знак усиления по время понижающего микширования до 5.1 каналов, усиление "dmx_gain_5_idx", "dmx_gain_2_sign", которое указывает знак усиления во время понижающего микширования до 2 каналов и усиление "dmx_gain_2_idx".
Кроме того, "ext_downmixing_lfe_level()", показанное на фиг. 16, содержит "dmix_lfe_idx", и "dmix_lfe_idx" является информацией, указывающей. отношение (коэффициент) микширования канала LFE во время понижающего микширования.
Понижающее микширование
Кроме того, "pseudo_surround_enable" в синтаксисе "bs_info()", показанного на фиг. 7, указывает процедуру процесса понижающего микширования и процедура процесса является такой, как показано на фиг. 17. Здесь, на фиг. 17 показаны две процедуры, когда "pseudo_surround_enable" равно 0 и когда "pseudo_surround_enable" равно 1.
Далее будет описан процесс понижающего микширования аудиоданных.
Сначала будет описано понижающее микширование с 5.1 каналов до 2 каналов. В этом случае, когда канал L и канал R после понижающего микширования являются каналом L' и каналом R', соответственно, выполняется следующий процесс.
То есть, когда "pseudo_surround_enable" равно 0, аудиоданные канала L' и канала R' вычисляются следующим выражением (1).
Когда "pseudo_surround_enable" равно 1, аудиоданные канала L' и канала R' вычисляются следующим выражением (2).
В выражении (1) и выражении (2), L, R, С, Ls, Rs и LFE являются каналами, образующими каналы 5.1, и указывают на каналы L, R, С, Ls, Rs и LFE, которые были описаны со ссылкой на фиг. 1 и 2, соответственно.
В выражении (1) и выражении (2), "с" является константой, которая определяется значением "dmix_lfe_idx", содержащимся в "ext_downmixing_lfe_level()”, показанным на фиг. 16. Например, значение константы с, соответствующее каждому значению "dmix_lfe_idx", является таким, как показано на фиг. 18. Конкретно, когда "ext_downmixing_lfe_level_status" в "ext_ancillary_data_starus()", показанном на фиг. 12, равно 0, канал LFE не используется при вычислении, использующем выражение (1) и выражение (2). Когда "ext_downmixing_lfe_level_status" равно 1, значение константы с, умноженное на канал LFE, определяется на основе таблицы, показанной на фиг. 18.
В выражении (1) и выражении (2), "a" и "b" являются константами, которые определяется значениями "dmix_a_idx" и "dmix_b_idx", содержащимися в "ext_dovvnmixing_lfe_level)", показанном на фиг. 13. В выражении (1) и выражении (2), "a" и "b" могут быть константами, которые определяется значениями "center_mix_level_value" и "surround_mix_level_value" в "downmixing_levels_MPEG4()", показанном на фиг. 9.
Например, значения констант a и b относительно значений "dmix_a_idx" и "dmix_b_idx" или значений "center_mix_level_value" и "surround_mix_level_value" являются такими, как показано на фиг. 19. В этом примере, поскольку ссыпка делается на одну и ту же таблица посредством "dmix_a_idx" и "dmix_b_idx", и "center_mix_level_value" и "surround_mix_level_value", константы (коэффициенты) a и b для понижающего микширования имеют одно и то же значение.
Далее будет описано понижающее микширование с каналов 7.1 или каналов 6.1 до каналов 5.1.
Когда аудиоданные каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE, содержащих каналы громкоговорителей Lrs и Rrs, которые располагаются сзади пользователя, преобразуются в аудиоданные каналов 5.1, содержащих каналы С, L', R', Ls', Rs' и LFE', вычисление выполняется согласно следующему выражению (3). Здесь, каналы С, L', R', Ls', Rs' и LFE' указывают каналы С, L, R, Ls, Rs и LFE после понижающего микширования, соответственно. Кроме того, в выражении (3), С, L, R, Ls, Rs, Lrs, Rrs и LFE указывают аудиоданные каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE.
В выражении (3) d1 и d2 являются константами. Например, константы d1 и d2 определяются для значений "dmix_a_idx" и "dmix_b_idx", показанных на фиг. 19.
Когда аудиоданные каналов С, L, R, Lc, Rc, Ls, Rs и LFE, содержащих каналы громкоговорителей Lc и Rc, которые располагаются спереди пользователя, преобразуются в аудиоданные каналов 5.1, содержащих каналы С, L', R', Ls', Rs' и LFE', вычисление выполняется согласно следующему выражению (4). Здесь, каналы С, L', R', Ls', Rs' и LFE' указывают каналы С, L, R, Ls, Rs и LFE после понижающего микширования, соответственно. В выражении (4), С, L, R, Lc, Rc, Ls, Rs и LFE указывают аудиоданные каналов С, L, R, Lc, Rc, Ls, Rs и LFE.
В выражении (4), e1 and e2 являются константами. Например, константы e1 и e2 определяются для значений "dmix_a_idx" и "dmix_b_idx", показанных на фиг. 19.
Когда аудиоданные каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE, содержащих каналы громкоговорителей Rvh и Lvh, которые располагаются спереди пользователя, преобразуются в аудиоданные каналов 5.1, содержащих каналы С, L', R', Ls', Rs' и LFE', вычисление выполняется согласно следующему выражению (5). Здесь, каналы С, L', R', Ls', Rs' и LFE' указывают каналы С, L, R, Ls, Rs и LFE после понижающего микширования, соответственно. В выражении (5), С, L, R, Lvh, Rvh, Ls, Rs и LFE указывают аудиоданные каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE.
В выражении (5) f1 и f2 являются константами. Например, константы f1 и f2 определяются для значений "dmix_a_idx" и "dmix_b_idx", показанных на фиг. 19.
При выполнении понижающего микширования с каналов 6.1 до каналов 5.1 выполняется следующий процесс. То есть, когда аудиоданные каналов С, L, R, Ls, Rs, Cs и LFE преобразуются в аудиоданные каналов 5.1, содержащих каналы С, L', R', Ls', Rs' и LFE', вычисление выполняется согласно следующему выражению (6). Здесь, каналы С, L', R', Ls', Rs' и LFE' указывают каналы С, L, R, Ls, Rs и LFE после понижающего микширования, соответственно. В выражении (6) С, L, R, Ls, Rs, Cs и LFE указывают аудиоданные каналов С, L, R, Ls, Rs, Cs и LFE.
В выражении (6) g1 и g2 являются константами. Например, константы g1 и g2 определяются для значений "dmix_a_idx" и "dmix_b_idx", показанных на фиг. 19.
Далее будет описано глобальное усиление для коррекции громкости во время понижающего микширования.
Глобальное усиление при понижающей микшировании используется для коррекции громкости звука, которая увеличивается или уменьшается при понижающем. микшировании. Здесь, dmx_gain5 указывает значение коррекции для понижающего микширования от каналов 7.1 или каналов 6.1 до каналов 5.1, и dmx_gain2 указывает значение коррекции для понижающего микширования от каналов 5.1 до 2 каналов. Кроме того, dmx_gain2 поддерживает устройство декодирования или битовый поток, которые не соответствуют каналам 7.1.
Применение и порядок их действия этого подобны сильному сжатию DRC. Кроме того, устройство декодирования может соответственно выполнять выборочную оценку для периода, в котором аудиокадр является долгим, или для периода, в котором котором аудиокадр слишком короткий, чтобы определить глобальное усиление при понижающем микшировании.
Во время понижающего микширования от каналов 7.1 до 2 каналов применяется объединенное усиление, то есть, (dmx_gain5 + dmx_gain2). Например, 6-битовое целое число без знака используется в качестве dmx_gain5 и dmx_gain2 и dmx_gain5 и dmx_gain2 квантуются в интервале 0,25 дБ.
Поэтому, когда dmx_gain5 и dmx_gain2 объединяются друг с другом, объединенное усиление находится в диапазоне ±15,75 дБ. Значение усиления применяется к выборке аудиоданных декодированного текущего кадра.
Конкретно, во время понижающего микширования до 5.1 каналов выполняется следующий процесс. То есть, когда коррекция усиления выполняется для аудиоданных каналов С, L', R', Ls', Rs' и LFE', полученных путем понижающего микширования, чтобы получить аудиоданные каналов С'', L'', R'', Ls'', Rs'' и LFE'', вычисление выполняется согласно следующему выражению (7).
Здесь, dmx_gain5 - скалярное значение и является значением усиления, которое вычисляется из "dmx_gain_5_sign" и "dmx_gain_5_idx", показанных на фиг. 15, согласно следующему выражению (8).
Подобным образом, во время понижающего микширования до 2 каналов выполняется следующий процесс. То есть, когда коррекция усиления выполняется для аудиоданных каналов L' and R', полученных путем понижающего микширования, чтобы получить аудиоданные каналов L'' и R'', вычисление выполняется согласно следующему выражению (9).
Здесь, dmx_gain2 - скалярное значение и является значением усиления, которое вычисляется от "dmx_gain_2_sign" и "dmx_gain_2_idx", показанных на фиг. 15, согласно следующему выражению (10).
Во время понижающего микширования от 7.1 каналов до 2 каналов, после того, как 7.1 каналов понижаются до 5.1 каналов, и 5.1 каналов понижаются до 2 каналов, для полученного сигнала (данных) может быть выполнена корректировка усиления. В этом случае, значение усиления dmx_gain_7to2, применяемое к аудиоданным, может быть получено, объединяя dmx_gain5 и dmx_gain2, как описано в следующем выражении (11).
Понижающее микширование от 6.1 каналов до 2 каналов выполняется аналогично понижающему микшированию от 7.1 каналов до 2 каналов.
Например, во время понижающего микширования от 7.1 каналов до 2 каналов, когда коррекция усиления выполняется на двух этапах согласно выражению (7) или выражению (9), возможно вывести аудиоданные 5.1 каналов и аудиоданные 2 каналов.
Режим представления DRC
Кроме того, "drc_presentation_mode", содержащееся в "bs_info()", показанном на фиг. 7, является таким, как показано на фиг. 20. То есть, на фиг. 20 показан синтаксис "drc_presentation_mode".
Когда "drc_presentation_mode" равно "01", режим является режимом 1 представления DRC ("DRC presentation mode 1"). Когда "drc_presentation_mode" равно "10", режим является режимом 2 представления DRC ("DRC presentation mode 2"). В "DRC presentation mode 1" и "DRC presentation mode 2" управление усилением выполняется как показано на фиг. 21.
Пример структуры устройства кодирования
Далее будут описаны конкретные варианты осуществления, к которым применяется настоящая технология.
На фиг. 22 представлен пример структуры устройства кодирования, соответствующего варианту осуществления, к которому применяется настоящая технология. Устройство 11 кодирования содержит блок 21 ввода, блок 22 кодирования и блок 23 упаковки.
Блок 21 ввода получает аудиоданные и информацию об аудиоданных извне и предоставляет аудиоданные и информацию блоку 22 кодирования. Например, информацию о расположении (высота расположения) громкоговорителей получают как информацию об аудиоданных.
Блок 22 кодирования кодирует аудиоданные и информацию об аудиоданных, предоставленные от блока 21 ввода, и подает кодированные аудиоданные и информацию на блок 23 упаковки. Блок 23 упаковки упаковывает аудиоданные и информацию об аудиоданных, предоставленные от блока 22 ввода, чтобы сформировать кодированный битовый поток, показанный на фиг. 3, и выводит кодированный битовый поток.
Описание процесса кодирования
Далее процесс кодирования устройством 11 кодирования будет описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 23.
На этапе S11 блок 21 ввода получает аудиоданные и информацию об аудиоданных и предоставляет аудиоданные и информацию блоку 22 кодирования. Например, получают аудиоданные каждого канала из числа 7.1 каналов и информацию (здесь далее упоминаемую как информация о расположении громкоговорителей) о расположении громкоговорителей, которая должна храниться в "height_extension_element", показанном на фиг. 4.
На этапе S12 блок 22 кодирования кодирует аудиоданные каждого канала, предоставленные от блока 21 ввода.
На этапе S13 блок 22 кодирования кодирует информацию о расположении громкоговорителей, предоставленную от блока 21 ввода. В этом случае, блок 22 кодирования формирует синхронное слово, которое должно храниться в "PCE_HEIGHT_EXTENS ION_S YNC", содержащемся в "height_extension_element", показанном на фиг. 4, или контрольный код CRC, являющийся идентификационной информацией, которая должна храниться в "height_info_crc_check", и подает синхронное слово или контрольный код CRC и кодированную информацию о расположении громкоговорителей на блок 23 упаковки.
Кроме того, блок 22 кодирования формирует информацию, требующуюся для формирования кодированного битового потока, и подает сформированную информацию и кодированные аудиоданные или информацию о расположении громкоговорителей на блок 23 упаковки.
На этапе S14 блок 23 упаковки выполняет упаковку битов для аудиоданных или информацию о расположении громкоговорителей, предоставленную от блока 22 кодирования, чтобы сформировать кодированный битовый поток, показанный на фиг. 3. В этом случае, блок 23 упаковки сохраняет, например, информация о расположении громкоговорителей или синхронное слово и контрольный код CRC в "РСЕ" и хранит аудиоданные в "SCE" или "СРЕ".
Когда кодированный битовый поток выведен, процесс кодирования заканчивается.
Таким образом, устройство 11 кодирования вставляет информацию о расположении громкоговорителей, которая является информацией о расположении громкоговорителей на каждом уровне, в кодированный битовый поток и выводит кодированные аудиоданные. Также, когда используется информация о расположении громкоговорителей в вертикальном направлении, возможно воспроизводить звуковую картину в вертикальном направлении, в дополнение к воспроизведению в плоскости. Поэтому можно воспроизводить более реалистический звук.
Пример структуры устройства декодирования
Далее будет описано устройство декодирования, которое принимает кодированный битовый поток, выведенный с устройства 11 кодирования и декодирует кодированный битовый поток.
На фиг. 24 показан пример структуры устройства декодирования. Устройство 51 декодирования содержит блок 61 разделения, блок 62 декодирования и блок 63 вывода.
Разделительный блок 61 принимает кодированный битовый поток, переданный от устройства 11 кодирования, выполняет распаковку битов кодированного битового потока и подает распакованный кодированный битовый поток на блок 62 декодирования.
Блок 62 декодирования декодирует, например, кодированный битовый поток, поданный от разделительного блока 61, то есть, аудиоданные каждого канала или информацию о расположении громкоговорителей, и предоставляет расшифрованные аудиоданные на блок 63 вывода. Например, при необходимости, блок 62 декодирования выполняет понижающее микширование.
Устройство 63 вывода выводит аудиоданные, поданные блоком 62 декодирования на основе расположения громкоговорителей (карты громкоговорителей), назначенного блоком 62 декодирования. Аудиоданные каждого канала, выведенные устройством 63 вывода, подаются на громкоговорители каждого канала и затем воспроизводятся.
Описание процесса декодирования
Далее процесс декодирования устройством 51 декодирования будет описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 25.
На этапе S41 блок 62 декодирования декодирует аудиоданные.
То есть, разделительный блок 61 принимает кодированный битовый поток, переданный от устройства 11 кодирования, и выполняет распаковку битов кодированного битового потока. Затем, разделительный блок 61 подает аудиоданные, полученные распаковкой битов, и различные виды информации, такие как информация о расположении громкоговорителей, на блок 62 декодирования. Блок 62 декодирования декодирует аудиоданные, предоставленные от разделительного блока 61, и подает расшифрованные аудиоданные на устройство 63 вывода.
На этапе S42 блок 62 декодирования в информации, поданной от разделительного блока 61 обнаруживает синхронное слово. Конкретно, синхронное слово обнаруживается в "height_extension_element", показанном на фиг. 4.
На этапе S43 блок 62 декодирования определяет, обнаружено ли синхронное слово. Когда на этапе S43 определено, что синхронное слово обнаружено, блок 62 декодирования на этапе S44 декодирует информацию о расположении громкоговорителей.
То есть блок 62 декодирования считывает информацию, такую как “front_element_height_info[i]", "side_element__height_info[i]" и "back_element_height_info[i]" из "height_extension_element", показанного на фиг. 4. Таким образом, можно найти положения (каналы) громкоговорителей, где каждый элемент аудиоданных может воспроизводиться с высоким качеством.
На этапе S45 блок 62 декодирования формирует идентифицирующую информацию. То есть, блок 62 декодирования вычисляет контрольный код CRC на основе информации, которая считывается между "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в "height_extension_element", то есть, синхронное слово, информацию о расположении громкоговорителей и выравнивании байтов и получает идентификационную информацию.
На этапе S46 блок 62 декодирования 62 сравнивает идентификационную информацию, сформированную на этапе S45, с идентификационной информацией, содержащейся в "height_info_crc_check" для "height_extension_element", показанного на фиг. 4, и определяет, идентичны друг другу ли элементы идентификационной информации.
Когда на этапе S46 определено, что элементы идентификационной информации идентичны друг другу, блок 62 декодирования подает декодированные аудиоданные на блок 63 вывода и дает команду вывода аудиоданных на основе полученной информации о расположении громкоговорителей. Затем процесс переходит к этапу S47.
На этапе S47 блок 63 вывода выводит аудиоданные, поданные от блока 62 декодирования на основе расположения громкоговорителей (карты громкоговорителей), указанного блоком 62 декодирования. На этом процесс декодирования заканчивается.
С другой стороны, когда на этапе S43 определено, что синхронное слово не обнаружено или когда на этапе S46 определено, что элементы идентификационной информации не идентичны друг другу, блок 63 вывода выводит аудиоданные на основе заданного на этапе S48 расположения громкоговорителей.
То есть когда информация о расположении громкоговорителей считана из "height_extension_element" правильно, выполняется процесс на этапе S48. В этом случае, блок 62 декодирования подает аудиоданные на блок 63 вывода и дает команду вывода аудиоданных, так чтобы аудиоданные каждого канала воспроизводились громкоговорителями каждого заданного канала. Затем блок 63 вывода выводит аудиоданные в ответ на команды от блока 62 декодирования и процесс декодирования заканчивается.
Таким образом, устройство 51 декодирования декодирует информацию о расположении громкоговорителей или аудиоданные, содержащиеся в кодированном битовом потоке, и выводит аудиоданные на основе информации о расположении громкоговорителей. Поскольку информация о расположении громкоговорителей содержит информацию о расположении громкоговорителей в вертикальном направлении, возможно воспроизводить звуковую картину в вертикальном направлении, в дополнение к воспроизведению в плоскости. Поэтому можно воспроизводить более реалистический звук.
Конкретно, когда аудиоданные декодированы, например, при необходимости, выполняется также процесс понижающего микширования аудиоданных.
В этом случае, например, блок 62 декодирования считывает "MPEG4_ext_ancillary_data()", когда "ancillary_data_extension_status" в "ancillary_data_status()" для "MPEG4 ancillary data", показанного на фиг. 6, равно "1". Затем блок 62 декодирования считывает каждый элемент информации, содержащейся в "MPEG4_ext_ancillary_data()"., показанном на фиг. 11, и выполняет процесс понижающего микширования аудиоданных или процесс коррекции усиления.
Например, блок 62 декодирования понижает микшированием аудиоданные 7.1 каналов или 6.1 каналов до аудиоданных 5.1 каналов или дополнительно понижает микшированием аудиоданные 5.1 каналов до аудиоданных 2 каналов.
В этом случае, блок 62 декодирования использует аудиоданные канала LFE для понижающего микширования, в случае необходимости. Коэффициенты, умноженные по каждому каналу, определяются со ссылкой на "ext_downmixing_levels()”, показанное на фиг. 13, или "ext_downmixing_lfe_level()", показанное на фиг. 16. Кроме того, коррекция усиления во время понижающего микширования выполняется со ссылкой на "ext_downmixing_global_ gains()", показанное на фиг. 15.
Пример структуры устройства кодирования
Далее будет описан пример подробной структуры упомянутых выше устройства кодирования и устройства декодирования и приведено подробное описание работы этих устройств.
На фиг. 26 показан пример подробной структуры устройства кодирования.
Устройство 91 кодирования содержит блок 21 ввода, блок 22 кодирования и блок 23 упаковки. На фиг. 26 компоненты, соответствующие тем, которые показаны на фиг. 22, обозначаются теми же самыми ссылочными позициями и их описание повторяться не будет.
Блок 22 кодирования содержит блок 101 кодирования РСЕ, блок 102 кодирования DSE и блок 103 кодирования видиоэлементов.
Блок 101 кодирования РСЕ кодирует РСЕ на основе информации, предоставленной от блока 21 ввода. То есть блок 101 кодирования РСЕ формирует каждый элемент информации, которая должна храниться в РСЕ, в то же время кодируя каждый элемент информации, если необходимо. Блок 101 кодирования РСЕ содержит блок 111 кодирования синхронного слова, блок 112 кодирования информации о расположении и блок 113 кодирования идентификационной информации.
Блок 111 кодирования синхронного слова кодирует синхронное слово и использует кодированное синхронное слово в качестве информации, которая должна храниться в расширенной области, содержащейся в области комментария РСЕ. Блок 112 кодирования информации о расположении кодирует информацию о расположении громкоговорителей, которая указывает высоты (уровни) громкоговорителей для каждого элемента аудиоданных и подается от блока 21 ввода, и использует кодированную информацию о расположении громкоговорителей в качестве информации, которая должна храниться в расширенной области, предназначенной в качестве области комментария.
Блок 113 кодирования идентификационной информации кодирует идентификационную информацию. Например, блок 113 кодирования идентификационной информации формирует контрольный код CRC в качестве идентификационной информации на основе синхронного слова и информации о расположении громкоговорителей, в случае необходимости, и использует контрольный код CRC в качестве информации, которая должна храниться в расширенной области, предназначенной для области комментария.
Блок 102 кодирования DSE кодирует DSE на основе информации, предоставленной от блока 21 ввода. То есть блок 102 кодирования DSE формирует каждый элемент информации, которая должна храниться в DSE, в то же время кодируя каждый элемент информации, если необходимо. Блок 102 кодирования DSE содержит блок 114 кодирования расширенный информации и блок 115 кодирования информации о понижающем микшировании.
Блок 114 кодирования расширенной информации кодирует информацию (флаг), указывающую, содержится ли расширенная информация в "MPEG4_ext_ancillary_data()", которое является расширенной областью DSE. Блок 115 кодирования информации о понижающем микшировании кодирует информацию о понижающем микшировании аудиоданных. Блок 103 кодирования аудиоэлементов кодирует аудиоданные, поданные от блока 21 ввода.
Блок 22 кодирования подает информацию, полученную кодированием каждого типа данных, которая должна храниться в каждом элементе, на блок 23 упаковки.
Описание процесса кодирования
Далее процесс кодирования устройством 91 кодирования будет описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 27. Процесс кодирования будет описан более подробно чем процесс, который был описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 23.
На этапе S71 блок 21 ввода получает аудиоданные и информацию, требующуюся для кодирования аудиоданных, и подает аудиоданные и информацию на блок 22 кодирования.
Например, блок 21 ввода получает в качестве аудиоданных данные импульсно-кодовой модуляции (РСМ) для каждого канала, информацию, указывающую расположение каждого канального громкоговорителя, информацию для указания коэффициента понижающего микширования и информацию, указывающую битовую скорость кодированного битового потока. Здесь, информацией, указывающей коэффициент понижающего микширования является информация, указывающая коэффициент, который умножается на аудиоданные каждого канала во время понижающего микширования от 7.1 каналов или 6.1 каналов до 5.1 каналов и понижающего микширования от 5.1 каналов до 2 каналов.
Кроме того, блок 21 ввода получает имя файла кодированного битового потока, который должен быть получен. Имя файла соответственно используется устройством кодирования.
На этапе S72 блок 103 кодирования аудиоэлементов кодирует аудиоданные, поданные от блока 21 ввода и кодированные аудиоданные должны храниться в каждом элементе, таком как SCE, СРЕ и LFE. В этом случае, аудиоданные кодируются с битовой скоростью, которая определяется битовой скоростью, предоставленной от блока 21 ввода блоку 22 кодирования 22, и количеством кодов, предоставленных в информации, отличной от аудиоданных.
Например, аудиоданные канала С или канала Cs должны кодироваться и сохраняться в SCE. Аудиоданные канала L или канала R должны кодироваться и сохраняться в СРЕ. Кроме того, аудиоданные канала LFE должны кодироваться и сохраняться в LFE.
На этапе S73 блок 111 кодирования синхронного слова кодирует синхронное слово на основе информации, поданной от блока 21 ввода, и кодированное синхронное слово является информацией, которая должна храниться в "PCE_HEIGHT_EXTENSION_SYNC" для "height_extension_element", показанного на фиг. 4.
На этапе S74 блок 112 кодирования информации о расположении кодирует информацию о расположении громкоговорителей для каждых аудиоданных, которые подаются от блока 21 ввода.
Кодированная информация о расположении громкоговорителей хранится в "height_extension_element" в позиции для источника звука в блоке 23 упаковки, то есть, в порядке, соответствующем расположению громкоговорителей. То есть, информация о расположении громкоговорителей, указывающая высоту громкоговорителей (высоту источника звука) каждого канала, воспроизводимого громкоговорителем, который расположен перед пользователем, хранится как "rront_element_height_info[i]” в "height_extension_element".
Кроме того, информация о расположении громкоговорителей, указывающая высоту громкоговорителей каждого канала, воспроизводимого громкоговорителем, который располагается сбоку от пользователя, хранится как "side_element_height_info[i]” в "height_extension_element" вслед за "front_element_height_info[i]". Затем, информация о расположении громкоговорителей, указывающая высоту громкоговорителей для каждого канала, воспроизводимого громкоговорителем, который располагается позади пользователя, сохраняется как Mback_element_height_info[i]” в "height_extension_element" вслед за "side_element_height_info[i]".
На этапе S75 блок 113 кодирования идентификационной информации кодирует идентификационную информацию. Например, блок 113 кодирования идентификационной информации формирует контрольный код CRC как идентификационную информацию на основе синхронного слова и информации о расположении громкоговорителей, если необходимо. Контрольный код CRC является информацией, которая должна храниться в "height_info_crc_check" элемента "height_extension_element". Синхронное слово и контрольный код CRC являются информацией для идентификации, присутствует ли информация о расположении громкоговорителей в кодированном битовом потоке.
Кроме того, блок 113 кодирования идентификационной информации формирует информацию, дающую команду на выполнение выравнивания байтов, как информацию, которая должна храниться в "byte_alignment()" элемента "height_extension_element". Блок 113 кодирования идентификационной информации формирует информацию, дающую команду на выполнение сравнения идентификационной информации, как информацию, которая должна храниться в "if(crc_cal()!=height_info_crc_check)" элемента "height_extension_element".
Информация, которая должна храниться в расширенной области, содержащейся в области комментария РСЕ, то есть, "height_extension_element", формируется процессом от этапа S73 до этапа S75.
На этапе S76 блок 101 кодирования РСЕ кодирует РСЕ на основе, например, информации, подаваемой от блока 21 ввода, или сформированной информации, которая хранится в расширенной области.
Например, блок 101 кодирования РСЕ формирует в качестве информации, которая должна храниться в РСЕ, информацию, указывающую количество каналов, воспроизводимых передними, боковыми и задними громкоговорителями, или информацию, указывающую, какому из каналов С, L и R принадлежит каждый элемент аудиоданных.
На этапе S77 блок 114 кодирования расширенной информации кодирует информацию, указывающую, содержится ли расширенная информация, в расширенную область DSE, на основе информации, подаваемой от блока 21 ввода, и кодированная информация должна храниться в "ancillary_data_extension_status" элемента "ancillary_data_status()", показанного на фиг. 8. Например, в качестве информации, указывающей, содержится ли расширенная информация, то есть, информация, указывающая, должна ли храниться расширенная информация, "0" или "1" должна сохраняться в "ancillary_data_extension_status".
На этапе S78 блок 115 кодирования информации о понижающем микшировании кодирует информацию о понижающем микшировании аудиоданных на основе информации, подаваемой от блока 21 ввода.
Например, блок 115 кодирования информации о понижающем микшировании кодирует информацию для указания коэффициента понижающего микширования, предоставленного от блока 21 ввода. Конкретно, блок 115 кодирования информации понижающего микширования кодирует информацию, указывающую коэффициент, который умножается на аудиоданные каждого канала во время понижающего микширования от 5.1 каналов до 2 каналов и должен быть равен "center_mix_level_value" и "surround_mix_level_value", хранящимся в "downmixing_levels_MPEG4()"
Кроме того, блок 115 кодирования информации понижающего микширования кодирует информацию, указывающую коэффициент, который умножается на аудиоданные канала LFE во время понижающего микширования от 5.1 каналов до 2 каналов и должен быть "dmix_lfe_idx", хранящимся в "ext_downmixing_lfe_level()", показанном на фиг. 16. Аналогично, блок 115 кодирования информации о понижающем микшировании кодирует информацию, указывающую процедуру понижающего микширования до 2 каналов, которая подается об блока 21 ввода и должна быть "pseudo_surround_enable", хранящимся в "bs_info()", показанном на фиг. 7.
Блок 115 кодирования информации понижающего микширования кодирует информацию, указывающую коэффициент, который умножается на аудиоданные каждого канала во время понижающего микширования от 7.1 каналов или 6.1 каналов до 5.1 каналов и должен быть равен "center_mix_level_value" и "surround_mix_level_value", хранящимся в "downmixing_levels_MPEG4()”
Блок 115 кодирования информации понижающего микширования кодирует информацию, указывающую, должен ли использоваться канал LFE во время понижающего микширования от 5.1 каналов до 2 каналов. Кодированная информация должна храниться в "ext_dovvTimixing_lfe_level_status", показанном на фиг. 12, содержащемся в "ext_ancillary_data_status()", показанном на фиг. 11, который является расширенной областью.
Блок 115 кодирования понижающего микширования кодирует информацию, требующуюся для регулировки усиления во время понижающего микширования. Кодированная информация должна храниться в "ext_downmixing_global_gains” в данных "MPEG4_ext_ancillary_data()", показанных на фиг. 11.
На этапе S79 блок 102 кодирования DSE кодирует DSE на основе информации, подаваемой от блока 21 ввода или из сформированной информации о понижающем микшировании.
Информация, которая должна храниться в каждом элементе, таком как РСЕ, SCE, СРЕ, LFE и DSE, получается посредством описанного выше процесса. Блок 22 кодирования подает информацию, которая должна храниться в каждом элементе, в блок 23 упаковки. Кроме того, блок 22 кодирования формирует элементы, такие как "Header/Sideinfo", "FIL(DRC)" и "FIL(END)", и, при необходимости, подает сформированные элементы на блок 23 упаковки.
На этапе S80 блок 23 упаковки выполняет упаковку битов для аудиоданных или информации о расположении громкоговорителей, предоставленной от блока 22 кодирования, чтобы сформировать кодированный битовый поток, показанный на фиг. 3, и выводит кодированный битовый поток. Например, блок 23 упаковки хранит информацию, поданную от блока 22 кодирования в РСЕ или DSE, чтобы сформировать кодированный битовый поток. Когда кодированный битовый поток выведен, процесс кодирования заканчивается. Таким образом, устройство 91 кодирования вставляет, например, информацию о расположении громкоговорителей, информацию о понижающем микшировании и информацию, указывающую, введена ли расширенная информация из расширенной области в кодированный битовый поток, выводит кодированные аудиоданные. По существу, когда информация о расположении громкоговорителей и информация о понижающем микшировании сохраняются в кодированном битовом потоке, на стороне декодирования кодированного битового потока может быть получен высококачественный реалистический звук.
Например, когда информация о расположении громкоговорителей в вертикальном направлении хранится в кодированном битовом потоке, звуковая картина на стороне декодирования может воспроизводиться в вертикальном направлении, а также в плоскости. Поэтому можно воспроизводить реалистический звук.
Кроме того, кодированный битовый поток содержит множество элементов идентификационной информации (идентификационных кодов) для идентификации информации о расположении громкоговорителей, чтобы идентифицировать, является ли информация, хранящаяся в расширенной области в области для комментариев, информацией о расположении громкоговорителей или текстовой информацией, такой как другие комментарии. В этом варианте осуществления кодированный битовый поток содержит в качестве идентификационной информации синхронное слово, расположенное непосредственно перед информацией о расположении громкоговорителей и контрольным кодом CRC, которое определяется содержанием хранящейся информации, такой как информация о расположении громкоговорителей.
Когда в кодированном битовом потоке содержатся два элемента идентификационной информации, возможно надежно указать, является ли информация, содержащаяся в кодированном битовом потоке, информацией о расположении громкоговорителей. В результате, используя полученную информацию о расположении громкоговорителей, можно получить высококачественный реалистический звук.
Кроме того, в кодированном битовом потоке в качестве информации о понижающем микшировании аудиоданных в DSE содержится "pseudo_surround_enable". Эта информация делает возможным назначать любой из множества способов в качестве способа понижающего микширования каналов с 5.1 каналов до 2 каналов. Следовательно, возможно улучшить гибкость аудиоданных на стороне декодирования.
Конкретно, в настоящем варианте осуществления в качестве способа понижающего микширования каналов с 5.1 каналов до 2 каналов существуют способ, использующий выражение (1), и способ, использующий выражение (2). Например, на стороне декодирования аудиоданные 2 каналов, полученные понижающим микшированием, передаются на воспроизводящее устройство и воспроизводящее устройство преобразует аудиоданные 2 каналов в аудиоданные 5.1 каналов и воспроизводит преобразованные звуковые данные.
В этом случае, в способе, использующем выражение (1), и в способе, использующем выражение (2), соответствующий акустический эффект, который заранее предполагается, когда воспроизводятся окончательные аудиоданные 5.1 каналов, вряд ли будет получен из аудиоданных, полученных любым из этих двух способов.
Однако, в кодированном битовом потоке, полученном устройство 91 кодирования, способ понижающего микширования, способный получить акустический эффект, предполагаемый на стороне декодирования, может определяться посредством "pseudo_surround_enable". Поэтому на стороне декодирования может быть получен высококачественный реалистический звук.
Кроме того, в кодированном битовом потоке информация (флаг), указывающая, содержится ли расширенная информация, хранится в "ancillary_data_extension_status". Поэтому в отношении этой информации можно указать, содержится ли расширенная информация в "MPEG4_ext_ancillary_data()", которая является расширенной областью.
Например, в этом примере, в качестве расширенной информации "ext_ancillary_data_status()", "ext_downrnixing_levels()", "ext_dowrimixing_globai_gains" и "ext_downmixing_lfe_level()", в случае необходимости, сохраняются в расширенной области.
Когда расширенная информация может быть получена, можно улучшить гибкость при понижающем микшировании аудиоданных, и на стороне декодирования могут быть получены различные виды аудиоданных. В результате можно получить высококачественный реалистический звук.
Пример структуры устройства декодирования
Далее будет описана подробная структура устройства декодирования.
На фиг. 28 показан пример подробной структуры устройства декодирования. На фиг. 28 компоненты, соответствующие тем, которые показаны на фиг. 24, обозначаются теми же самыми ссылочными позициями и их описание повторяться не будет.
Устройство 141 декодирования содержит разделительный блок 61, блок 62 декодирования, переключающий блок 151, блок 152 понижающего микширования и блок 63 вывода.
Разделительный блок 61 принимает кодированный битовый поток с выхода устройства 91 кодирования, распаковывает кодированный битовый поток и подает распакованный кодированный битовый поток на блок 62 декодирования. Кроме того, разделительный блок 61 получает формальный параметр понижающего микширования и название файла аудиоданных.
Формальный параметр понижающего микширования является информацией, указывающей форму понижающего микширования аудиоданных, содержащихся в кодированном битовом потоке в устройстве 141 декодирования. Например, информация, указывающая понижающее микширование указания с 7.1 каналов или 6.1 каналов до 5.1 каналов, информация указывающая понижающее микширование с 7.1 каналов или 6.1 каналов до 2 каналов, информация, указывающая понижающее микширование с 5.1 каналов до 2 каналов, или информация, указывающая, что понижающее микширование не выполняется, вводится как формальный параметр понижающего микширования.
Формальный параметр понижающего микширования, полученный разделительным блоком 61, подается на переключающий блок 151 и блок 152 процесса понижающего микширования. Кроме того, имя файла, полученное разделительным блоком 61, соответственно используется в устройстве 141 декодирования.
Блок 62 декодирования декодирует кодированный битовый поток, поданный от разделительного блока 61. Блок 62 кодирования содержит блок 161 декодирования РСЕ, блок 162 декодирования DSE и блок 163 кодирования аудиоэлементов.
Блок 161 декодирования РСЕ декодирует РСЕ, содержащийся в кодированном битовом потоке и предоставляет информацию, полученную декодированием, на блок 152 процесса понижающего микширования и устройство 63 вывода. Блок 161 декодирования РСЕ, блок 171 обнаружения синхронного слова и блок 172 вычисления идентификационной информации.
Блок 171 обнаружения синхронного слова обнаруживает синхронное слово в расширенной области в области комментариев РСЕ и считывает синхронное слово. Блок 172 вычисления идентификационной информации вычисляет идентификационную информацию на основе информации, которая считывается из расширенной области в области комментария РСЕ.
Блок 162 декодирования DSE декодирует DSE, содержащийся в кодированном битовом потоке, и подает информацию, полученную декодированием, на блок 152 процесса понижающего микширования. Блок 162 декодирования DSE содержит блок 173 обнаружения расширения и блок 174 декодирования информации о понижающем микшировании.
Блок 173 обнаружения расширения обнаруживает, содержится ли расширенная информация в "MPEG4_ancillary_data()" для DSE. Блок 174 декодирования информации о понижающем микшировании декодирует информацию о понижающем микшировании, которая содержится в DSE.
Блок 163 декодирования аудиоэлементов декодирует аудиоданные, содержащиеся в кодированном битовом потоке, и подает аудиоданные на переключающий блок 151.
Переключающий блок 151 изменяет выходное назначение аудиоданных, поданных от блока 62 декодирования на блок 152 процесса понижающего микширования или на блок 63 вывода на основе формального параметра понижающего микширования, поданного от разделительного блока 61.
Блок 152 процесса понижающего микширования производит понижающее микширование аудиоданных, поданных от переключающего блока 151, на основе формального параметра понижающего микширования, поданного от разделительного блока 61, и информации от блока 62 декодирования и подает аудиоданные после понижающего микширования на блок 63 вывода.
Блок 63 вывода выводит аудиоданные, поданные от переключающего блока 151 или блока 152 процесса понижающего микширования, на основе информации, поданной от блока 62 декодирования. Блок 63 вывода содержит блок 181 процесса перегруппировки. Блок 181 процесса перегруппировки перегруппирует аудиоданные, поданные от переключающего блока 151, на основе информации, поданной от блока 161 декодирования РСЕ, и выводит аудиоданные.
Пример структуры блока процесса понижающего микширования
На фиг. 29 показана подробная структура блока 152 процесса понижающего микширования, показанного на фиг. 28. То есть, блок 152 процесса понижающего микширования содержит переключающий блок 211, переключающий блок 212, блоки 213-1-213-4 понижающего микширования, переключающий блок 214, блок 215 регулировки усиления, переключающий блок 216, блок 217-1 понижающего микширования, блок 217-2 понижающего микширования и блок 218 регулировки усиления.
Переключающий блок 211 подает аудиоданные, поданные от переключающего блока 151, на переключающий блок 212 или на переключающий блок 216. Например, выходным назначением аудиоданных является переключающий блок 212, когда аудиоданные являются данными 7.1 каналов или 6.1 каналов, и является переключающий блок 216, когда аудиоданными являются данными 5.1 каналов.
Переключающий блок 212 подает аудиоданные, поданные от переключающего блока 211, на любой из блоков 213-1-213-4 понижающего микширования. Например, переключающий блок 212 выводит аудиоданные на блок 213-1 понижающего микширования, когда аудиоданные являются данными 6.1 каналов.
Когда аудиоданные являются данными каналов L, Lc, С, Rc, R, Ls, Rs и LFE, переключающий блок 212 подает аудиоданные от переключающего блока 211 к блоку 213-2 понижающего микширования. Когда аудиоданные являются данными каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE, переключающий блок 212 подает аудиоданные от переключающего блока 211 к блоку 213-3 понижающего микширования.
Когда аудиоданные являются данными каналов L, R, С, Ls, Rs, Lvh, Rvh и LFE, переключающий блок 212 подает аудиоданные от переключающего блока 211 к блоку 213-4 понижающего микширования.
Блоки 213-1-213-4 понижающего микширования производят операцию понижающего микширования аудиоданных, подаваемых от переключающего блока 212, в аудиоданные 5.1 каналов и подают аудиоданные на переключающий блок 214. Здесь далее, когда нет необходимости конкретно различать друг от друга блоки 213-1-213-4, они упоминаются просто как блоки 213 понижающего микширования.
Переключающий блок 214 подает аудиоданные, поданные от блока 213 понижающего микширования на блок 215 регулировки усиления или на переключающий блок 216. Например, когда для аудиоданных, содержащихся в кодированном битовом потоке производится операция понижающего микширования до аудиоданных 5.1 каналов, переключающий блок 214 подает аудиоданные на блок 215 регулировки усиления. С другой стороны, когда для аудиоданных, содержащихся в кодированном битовом потоке, производится операция понижающего микширования до аудиоданных 2 каналов, переключающий блок 214 подает аудиоданные на переключающий блок 216.
Блок 225 регулировки усиления регулирует усиление аудиоданных, поданных от переключающего блока 214, и подает аудиоданные на блок 63 вывода.
Переключающий блок 216 подает аудиоданные, поданные от переключающего блока 211 или от переключающего блока 214, на блок 217-1 понижающего микширования или блок 217-2 понижающего микширования. Например, переключающий блок 216 изменяет назначение вывода аудиоданных в зависимости от значения "pseudo_surround_enable", содержащегося в DSE кодированного битового потока.
Блок 217-1 понижающего микширования и блок 217-2 понижающего микширования выполняют операцию понижающего микширования аудиоданных, поданных от переключающего блока 216 для данных 2 каналов, и подает данные на блок 218 регулировки усиления. Здесь далее, когда нет необходимости конкретно различать друг от друга блок 217-1 понижающего микширования и блок 217-2 понижающего микширования, они упоминаются просто как блоки 217 понижающего микширования.
Блок 218 регулировки усиления регулирует усиление аудиоданных, поданных от блока 217 понижающего микширования, и подает аудиоданные на блок 63 вывода.
Пример структуры блока понижающего микширования
Далее будет описан пример подробной структуры блока 213 понижающего микширования и блока 217 понижающего микширования, показанных на фиг. 29.
На фиг. 30 показан пример структуры блока 213-1 понижающего микширования, показанного на фиг. 29.
Блок 213-1 понижающего микширования содержит входные выводы 241-1-241-7, умножительные блоки 242-244, блок 245 сложения, блок 246 сложения и выходные выводы 247-1-247-6.
Аудиоданные каналов L, R, С, Ls, Rs, Cs и LFE подаются от переключающего блока 212 на входные выводы 241-1-241-7..
С входных выводов 241-1-241-3 аудиоданные, поданные от переключающего блока 212, подаются на переключающий блок 214 через выходные выводы 247-1-247-3 без каких-либо изменений в аудиоданных. То есть аудиоданных каналов L, R и С, которые подаются на блок 213-1 понижающего микширования и выводятся как аудиоданные каналов L, R и С после понижающего микширования на следующий этап.
С входных выводов 241-4-241-6 аудиоданные, поступившие от переключающего блока 212, подаются на умножительные блоки 242-244. Умножительный блок 242 умножает аудиоданные, поданные с входного вывода 241-4, на коэффициент понижающего микширования и подает аудиоданные на блок 245 сложения.
Умножительный блок 243 умножает аудиоданные, поданные с входного вывода 241-5, на коэффициент понижающего микширования и подает аудиоданные на блок 246 сложения. Умножительный блок 244 умножает аудиоданные, поданные с входного вывода 241-6, на коэффициент понижающего микширования и подает аудиоданные на блок 245 сложения и на блок 246 сложения.
Блок 245 сложения складывает аудиоданные, поданные от умножительного блока
242, и аудиоданные, поданные от умножительного блока 244, и подает сложенные аудиоданные на выходной вывод 247-4. Выходной вывод 247-4 подает аудиоданные, поданные от блока 245 сложения, в качестве аудиоданных канала Ls после понижающего микширования, на переключающий блок 214.
Блок 246 сложения складывает аудиоданные, поданные от умножительного блока
243, и аудиоданные, поданные от умножительного блока 244, и подает сложенные аудиоданные на выходной вывод 247-5. С выходного вывода 247-5 аудиоданные, поданные от блока 246 сложения, подаются в качестве аудиоданных канала Rs после понижающего микширования, на переключающий блок 214.
С входного вывода 241-7 аудиоданные, поданные от переключающего блока 212, подаются на переключающий блок 214 через выходной вывод 247-6, без каких-либо изменений в аудиоданных. То есть, аудиоданные канала LFE, поданные на блок 213-1 понижающего микширования, выводятся в качестве аудиоданных канала LFE после понижающего микширования на следующий этап без какого-либо изменения.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 241-1-241-7, они упоминаются просто как входные выводы 241. Здесь далее, когда нет необходимости конкретно различать друг от друга выходные выводы 247-1-247-6, они упоминаются просто как выходные выводы 247.
По существу, в блоке 213-1 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (6).
На фиг. 31 показан пример структуры блока 213-2 понижающего микширования, показанного на фиг. 29.
Блок 213-2 понижающего микширования содержит входные выводы 271-1-271-8, умножительные блоки 272-275, блок 276 сложения, блок 277 сложения, блок 278 сложения и выходные выводы 279-1-279-6.
Аудиоданные каналов L, Lc, С, Rc, R, Ls, Rs и LFE подаются от переключающего блока 212 на входные выводы 271-1-271-8..
С входных выводов 271-1-271-5 аудиоданные, поданные с переключающего блока 212, подаются на блок 276 сложения, умножительные блоки 272 и 273, блок 277 сложения, умножительные блоки 274 и 275 и блок 278 сложения, соответственно.
Умножительный блок 272 и умножительный блок 273 умножают аудиоданные, поданные с входного вывода 271-2, на коэффициент понижающего микширования и подают аудиоданные на блок 276 сложения и на блок 277 сложения, соответственно. Умножительный блок 274 и умножительный блок 275 умножают аудиоданные, поданные с входного вывода 271-4, на коэффициент понижающего микширования и подают аудиоданные на блок 277 сложения и на блок 278 сложения, соответственно.
Блок 276 сложения складывает аудиоданные, поданные от входного вывода 271-1, и аудиоданные, поданные от умножительного блока 272, и подает сложенные аудиоданные на выходной вывод 279-1. Выходной вывод 279-1 подает аудиоданные, поданные от блока 276 сложения, в качестве аудиоданных канала L после понижающего микширования, на переключающий блок 214.
Блок 277 сложения складывает аудиоданные, поданные от входного вывода 271-3, и аудиоданные, поданные от умножительного блока 273, и аудиоданные, поданные от умножительного блока 274, и подает сложенные аудиоданные на выходной вывод 279-2. С выходного вывода 279-2 аудиоданные, поданные от блока 277 сложения, подаются в качестве аудиоданных канала С после понижающего микширования на переключающий блок 214.
Блок 278 сложения складывает аудиоданные, поданные от входного вывода 271-5, и аудиоданные, поданные от умножительного блока 275, и подает сложенные аудиоданные на выходной вывод 279-3. Выходной вывод 279-3 подает аудиоданные, поданные от блока 278 сложения, в качестве аудиоданных канала R после понижающего микширования, на переключающий блок 214.
Входные выводы 271-6-241-8 подают аудиоданные, поданные от переключающего блока 212, на переключающий блок 214 через выходные выводы 279-4-279-6 без каких-либо изменений в аудиоданных. То есть, аудиоданные каналов Ls, Rs и LFE, поданные на блок 213-2 понижающего микширования, выводятся в качестве аудиоданных каналов Ls, Rs и LFE после понижающего микширования на следующий каскад без каких-либо изменений.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 271-1-271-8, они упоминаются просто как входные выводы 271. Когда нет необходимости конкретно различать друг от друга выходные выводы 279-1-279-6, они упоминаются просто как выходные выводы 279.
По существу, в блоке 213-2 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (4).
На фиг. 32 показан пример структуры блока 213-3 понижающего микширования, показанного на фиг. 29.
Блок 213-3 понижающего микширования содержит входные выводы 301-1-301-8, умножительные блоки 302-305, блок 306 сложения, блок 307 сложения и выходные выводы 308-1-308-6.
Аудиоданные каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE подаются от переключающего блока 212 на входные выводы 301-1-301-8.
С входных выводов 301-1-301-3 аудиоданные, полученные от переключающего блока 212, подаются на переключающий блок 214 через выходные выводы 308-1-308-3, соответственно, без каких-либо изменений в аудиоданных. То есть, аудиоданные каналов L, R и С, которые подаются на блок 213-3 понижающего микширования, выводятся как аудиоданные каналов L, R и С после понижающего микширования на следующий этап.
С входных выводов 301-4-301-7 аудиоданные, поступившие от переключающего блока 212, подаются на умножительные блоки 302-305, соответственно. Умножительные блоки 302-305 умножают аудиоданные, поданные с входных выводов 301-4-301-7, на коэффициент понижающего микширования и подают аудиоданные на блок 306 сложения, на блок 307 сложения, на блок 306 сложения и блок 307 сложения, соответственно.
Блок 306 сложения складывает аудиоданные, поданные от умножительного блока 302, и аудиоданные, поданные от умножительного блока 304, и подает аудиоданные на выходной вывод 308-4. С выходного вывода 308-4 аудиоданные, поданные от блока 306 сложения, подаются в качестве аудиоданных канала Ls после понижающего микширования на переключающий блок 214.
Блок 307 сложения складывает аудиоданные, поданные от умножительного блока 303, и аудиоданные, поданные от умножительного блока 305,>и подает аудиоданные на выходной вывод 308-5. С выходного вывода 308-5 аудиоданные, поданные от блока 307 сложения, подаются в качестве аудиоданных канала Rs после понижающего микширования на переключающий блок 214.
С входного вывода 301-8 аудиоданные, поданные от переключающего блока 212, подаются на переключающий блок 214 через выходной вывод 308-6 без каких-либо изменений в аудиоданных. То есть, аудиоданные канала LFE, поданные на блок 213-3 понижающего микширования, выводятся в качестве аудиоданных канала LFE после понижающего микширования на следующий каскад без каких-либо изменений.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 301-1-301-8, они упоминаются просто как входные выводы 301. Когда нет необходимости конкретно различать друг от друга выходные выводы 308-1-308-6, они упоминаются просто как выходные выводы 308.
По существу, в блоке 213-3 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (3).
На фиг. 33 показан пример структуры блока 213-4 понижающего микширования, показанного на фиг. 29.
Блок 213-4 понижающего микширования содержит входные выводы 331-1-331-8, умножительные блоки 332-335, блок 336 сложения, блок 337 сложения и выходные выводы 338-1-338-6.
Аудиоданные каналов L, R, С, Ls, Rs, Lvh, Rvh, и LFE подаются от переключающего блока 212 на входные выводы 331-1-331-8, соответственно.
С входного вывода 331-1 и входного вывода 331-2 аудиоданные, полученные от переключающего блока 212, подаются на умножительный блок 332 и умножительный блок 333, соответственно. С входного вывода 331-6 и входного вывода 331-7 аудиоданные, полученные от переключающего блока 212, подаются на умножительный блок 334 и умножительный блок 335, соответственно.
Умножительные блоки 332-335 умножают аудиоданные, поданные с входного вывода 331-1, входного вывода 331-2, входного вывода 331-6 и входного вывода 331-7, на коэффициент понижающего микширования и подают аудиоданные на блок 336 сложения, на блок 337 сложения и на блок 337 сложения, соответственно.
Блок 336 сложения складывает аудиоданные, поданные от умножительного блока
332, и аудиоданные, поданные от умножительного блока 334, и подает аудиоданные на выходной вывод 338-1. С выходного вывода 338-1 аудиоданные, поданные от блока 336 сложения, подаются в качестве аудиоданных канала L после понижающего микширования на переключающий блок 214.
Блок 337 сложения складывает аудиоданные, поданные от умножительного блока
333, и аудиоданные, поданные от умножительного блока 335, и подает аудиоданные на выходной вывод 338-2. С выходного вывода 338-2 аудиоданные, поданные от блока 337 сложения, подаются в качестве аудиоданных канала R после понижающего микширования на переключающий блок 214.
С входных выводов 331-3-331-5 и входного вывода 331-8 аудиоданные, полученные от переключающего блока 212, подаются на переключающий блок 214 через выходные выводы 338-3-338-5 и выходной вывод 338-6, соответственно, без каких-либо изменений в аудиоданных. То есть, аудиоданные каналов С, Ls, Rs и LFE, поданные на блок 213-4 понижающего микширования, выводятся в качестве аудиоданных каналов С, Ls, Rs и LFE после понижающего микширования на следующий каскад без какого-либо изменения.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 331-1-331-8, они упоминаются просто как входные выводы 331. Когда нет необходимости конкретно различать друг от друга выходные выводы 338-1-338-6, они упоминаются просто как выходные выводы 338.
По существу, в блоке 213-4 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (5).
Далее будет описан пример подробной структуры блока 217 понижающего микширования, показанного на фиг. 29.
На фиг. 34 показан пример структуры блока 217-1 понижающего микширования, показанного на фиг. 29.
Блок 217-1 понижающего микширования содержит входные выводы 361-1-361-6, умножительные блоки 362-365, блоки 366-371 сложения, и выходной вывод 372-1 и выходной вывод 372-2.
Аудиоданные каналов L, R, С, Ls, Rs и LFE подаются от переключающего блока 216 на входные выводы 361-1-361-6, соответственно.
С входных выводов 361-1-361-6 аудиоданные, поступившие от переключающего блока 216, подаются на блок 366 сложения, блок 369 сложения и умножительные блоки 362-365, соответственно.
Умножительные блоки 362-305 умножают аудиоданные, поданные с входных выводов 361-3-36-6, на коэффициент понижающего микширования и подают аудиоданные на блоки 366 и 369 сложения, на блок 367 сложения, блок 370 сложения и на блоки 368 и 371 сложения, соответственно.
Блок 366 сложения складывает аудиоданные, поданные от входного вывода 361-1, и аудиоданные, поданные от умножительного блока 362, и подает сложенные аудиоданные на блок 367 сложения. Блок 367 сложения складывает аудиоданные, поданные от блока 366 сложения, и аудиоданные, поданные от умножительного блока 363, и подает сложенные аудиоданные на блок 368 сложения.
Блок 368 сложения складывает аудиоданные, поданные от блока 367 сложения, и аудиоданные, поданные от умножительного блока 365, и подает сложенные аудиоданные на выходной вывод 372-1. С выходного вывода 372-1 аудиоданные, поданные от блока 368 сложения, подаются в качестве аудиоданных канала L после понижающего микширования на блок 218 регулировки усиления.
Блок 369 сложения складывает аудиоданные, поданные от входного вывода 361-2, и аудиоданные, поданные от умножительного блока 362, и подает сложенные аудиоданные на блок 370 сложения. Блок 370 сложения складывает аудиоданные, поданные от блока 369 сложения, и аудиоданные, поданные от умножительного блока 364, и подает сложенные аудиоданные на блок 371 сложения.
Блок 371 сложения складывает аудиоданные, поданные от блока 370 сложения, и аудиоданные, поданные от умножительного блока 365, и подает сложенные аудиоданные на выходной вывод 372-2. С выходного вывода 372-2 аудиоданные, поданные от блока 371 сложения, подаются в качестве аудиоданных канала R после понижающего микширования на блок 218 регулировки усиления.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 361-1-361-6, они упоминаются просто как входные выводы 361. Когда нет необходимости конкретно различать друг от друга выходные выводы 372-1-372-2, они упоминаются просто как выходные выводы 372.
По существу, в блоке 217-1 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (1).
На фиг. 35 показан пример структуры блока 217-2 понижающего микширования, показанного на фиг. 29.
Блок 217-2 понижающего микширования содержит входные выводы 401-1-401-6, умножительные блоки 401-405, блок 406 сложения, блок 407 вычитания, блок 408 вычитания, блоки 409-413 сложения, выходной вывод 414-1 и выходной вывод 414-2.
Аудиоданные каналов L, R, С, Ls, Rs и LFE подаются от переключающего блока 216 на входные выводы 401-1-401-6, соответственно.
С входных выводов 401-1-401-6 аудиоданные, поданные от переключающего блока 216, подаются на блок 406 сложения, блок 410 сложения и умножительные блоки 401-405, соответственно.
Умножительные блоки 402-405 умножают аудиоданные, поданные с входных выводов 401-3-401-6, на коэффициент понижающего микширования и подают аудиоданные на блоки 406 и 410 сложения, на блок 407 вычитания и блок 411 сложения, блок 408 вычитания и блок 412 сложения и блоки 409 и 413 сложения, соответственно.
Блок 406 сложения складывает аудиоданные, поданные от входного вывода 401-1, и аудиоданные, поданные от умножительного блока 402, и подает сложенные аудиоданные на блок 407 вычитания. Блок 407 вычитания вычитает аудиоданные, поданные от умножительного блока 403, из аудиоданных, поданных от блока 406 сложения, и подает вычтенные аудиоданные на блок 408 вычитания.
Блок 408 вычитания вычитает аудиоданные, поданные от умножительного блока 404, из аудиоданных, поданных от блока 407 вычитания, и подает вычтенные аудиоданные на блок 409 сложения. Блок 409 сложения складывает аудиоданные, поданные от блока 408 вычитания, и аудиоданные, поданные от умножительного блока 405, и подает сложенные аудиоданные на выходной вывод 414-1. С выходного вывода 414-1 аудиоданные, поданные от блока 409 сложения, подаются в качестве аудиоданных канала L после понижающего микширования, на блок 218 регулировки усиления.
Блок 410 сложения складывает аудиоданные, поданные от входного вывода 401-2, и аудиоданные, поданные от умножительного блока 402, и подает сложенные аудиоданные на блок 411 сложения. Блок 411 сложения складывает аудиоданные, поданные от блока 410 сложения, и аудиоданные, поданные от умножительного блока 403, и подает сложенные аудиоданные на блок 412 сложения.
Блок 412 сложения складывает аудиоданные, поданные от блока 411 сложения, и аудиоданные, поданные от умножительного блока 404, и подает сложенные аудиоданные на блок 413 сложения. Блок 413 сложения складывает аудиоданные, поданные от блока 412 сложения, и аудиоданные, поданные от умножительного блока 405, и подает сложенные аудиоданные на выходной вывод 414-2. С выходного вывода 414-2 аудиоданные, поданные от блока 413 сложения, подаются в качестве аудиоданных канала R после понижающего микширования, на блок 218 регулировки усиления.
Здесь далее, когда нет необходимости конкретно различать друг от друга входные выводы 401-1-401-6, они упоминаются просто как входные выводы 401. Когда нет необходимости конкретно различать друг от друга выходные выводы 414-1-414-2, они упоминаются просто как выходные выводы 414.
По существу, в блоке 217-2 понижающего микширования выполняется процесс, соответствующий вычислению, использующему упомянутое выше выражение (2).
Описание процесса декодирования
Далее процесс декодирования устройством 141 декодирования будет описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 36.
На этапе S111 разделительный блок 61 получает формальный параметр понижающего микширования и кодированный битовый поток с выхода устройства 91 кодирования. Например, формальный параметр понижающего микширования получают от устройства обработки информации, содержащего устройство декодирования.
Разделительный блок 61 подает полученный формальный параметр понижающего микширования на переключающий блок 151 и на блок 152 процесса понижающего микширования. Кроме того, разделительный блок 61 получает выходное имя файла аудиоданных и соответственно, при необходимости, использует выходное имя файла.
На этапе S112 разделительный блок 61 распаковывает кодированный битовый поток и подает каждый элемент, полученный при распаковке, на блок 62 декодирования.
На этапе S113 блок 161 декодирования РСЕ декодирует РСЕ, поданный от разделительного блока 61. Например, блок 161 декодирования РСЕ считывает "height_extension_element", который является расширенной областью, из области комментария РСЕ или считывает информацию о расположении громкоговорителей из РСЕ. Здесь, в качестве информации о расположении громкоговорителей используется, например, количество каналов, воспроизводимых громкоговорителями, которые расположены перед, сбоку и сзади пользователя, или информация, указывающая, какому из каналов С, L и R принадлежит каждый элемент аудиоданных.
На этапе S114 блок 162 декодирования DSE декодирует DSE, поданный от разделительного блока 61. Например, блок 162 декодирования DSE считывает данные "MPEG4 ancillary data" из DSE или считывает необходимую информацию из "MPEG4 ancillary data".
Конкретно, например, блок 174 декодирования информации о понижающем микшировании для блока 162 декодирования DSE считывает значение "center_mix_level_value" или "surround_mix_level_value" в качестве информации, указывающей коэффициент, используемый для понижающего микширования, из Mdowrirnixing_levels_MPEG4()”, показанного на фиг. 9, и подает считанную информацию на блок 152 процесса понижающего микширования.
На этапе S115 блок 163 декодирования аудиоэлементов декодирует аудиоданные, хранящиеся в каждом из SCE, СРЕ и LFE, поданных от разделительного блока 61. Таким образом, данные РСМ каждого канала получаются как аудиоданные.
Например, канал декодированных аудиоданных, то есть, положение на горизонтальной плоскости, может быть указан таким элементом, как SCE, хранящим аудиоданные, или информацией о расположении громкоговорителей, которую получают декодированием DSE. Однако, в этом случае, поскольку информация о расположении громкоговорителей, являющаяся информацией о расположении громкоговорителей по высоте, не считывается, высота (уровень) каждого канала не указывается.
Блок 163 декодирования аудиоэлементов подает аудиоданные, полученные декодированием, на переключающий блок 151.
На этапе S116 переключающий блок 151 определяет, осуществлять ли понижающее микширование аудиоданных на основе формального параметра понижающего микширования, поданного от разделительного блока 61. Например, когда формальный параметр понижающего микширования указывает, что понижающее микширование не выполняется, переключающий блок 151 принимает решение не выполнять понижающее микширование.
На этапе S116, когда принято решение, что понижающее микширование не выполняется, переключающий блок 151 подает аудиоданные, полученные от блока 62 декодирования, на блок 181 процесса перегруппировки и процесс переходит к этапу S117.
На этапе S117 устройство 141 декодирования выполняет процесс перегруппировки, чтобы перегруппировать каждый элемент аудиоданных на основе расположения громкоговорителей, и выводит аудиоданные. Когда аудиоданные выведены, процесс декодирования заканчивается. Кроме того, процесс перегруппировки ниже будет описан более подробно.
С другой стороны, когда на этапе S116 принято решение, что понижающее микширование выполняется, переключающий блок 151 подает аудиоданные, полученные от блока 62 декодирования, на переключающий блок 211 блока 152 процесса понижающего микширования и процесс переходит к этапу S118.
На этапе S118 устройство 141 декодирования выполняет процесс понижающего микширования, чтобы осуществить понижающее микширование каждого элемента аудиоданных в аудиоданные, соответствующие количеству каналов, указанному формальным параметром понижающего микширования, и выводит аудиоданные. Когда аудиоданные выведены, процесс декодирования заканчивается. Кроме того, процесс понижающего микширования ниже будет описан подробно.
Таким образом, устройство 141 декодирования декодирует кодированный битовый поток и выводит аудиоданные.
Описание процесса перегруппировки
Далее процесс перегруппировки, соответствующий процессу, описанному на этапе S117 на фиг. 36, будет описан со ссылкой на блок-схемы последовательности выполнения операций, показанные на фиг. 37 и 38.
На этапе S141 блок 171 обнаружения синхронного слова устанавливает параметр cmt_byte для считывания синхронного слова из области комментария (расширенной области) РСЕ, такого, которое равно количеству байтов в области комментария РСЕ. То есть, количество байтов в области комментария устанавливается как значение параметра cmt_byte.
На этапе S142 блок 171 обнаружения синхронного слова считывает данные, соответствующие количеству данных заданного синхронного слова, из области комментария РСЕ. Например, в примере, показанном на фиг. 4, поскольку "PCE_HEIGHT_EXTENSION_SYNC", являющееся синхронным словом, равно 8 битам, то есть, 1 байту, из заголовка области комментария РСЕ считываются 1-байтные данные.
На этапе S143 блок 161 декодирования РСЕ решает, являются ли данные, считанные на этапе S142, идентичными синхронному слову. То есть, определяется, являются ли считанные данные синхронным словом.
Когда на этапе S143 решено, что считанные данные не идентичны синхронному слову, блок 171 обнаружения синхронного слова снижает значение параметра cmt_byte на значение, соответствующее величине данных, считанных на этапе S144. В данном случае значение параметра cmt_byte снижается на 1 байт.
На этапе S145 блок 171 обнаружения синхронного слова определяет, является ли значение параметра cmt_byte большим, чем 0. То есть, определяется, является ли параметр cmt_byte большим, чем 0, то есть, все ли данные в области комментария считываются.
Когда на этапе S145 определено, что значение параметра cm_byte больше 0, не все данные считываются из области комментария и процесс возвращается к этапу S142. Затем описанный выше процесс повторяется. То есть, данные, соответствующие объему данных синхронного слова, считываются вслед за данными, считанными из области комментария, и сравниваются с синхронным словом.
С другой стороны, когда на этапе S145 определяется, что значение параметра cmt_byte не больше 0, процесс переходит к этапу S146. В сущности, процесс переходит к процессу S146, когда все данные в области комментария считаны, но никакое синхронное слово в области комментария не обнаружено.
На этапе S146 блок 161 декодирования РСЕ решает, что нет никакой информации о расположении громкоговорителей и подает информацию, указывающую, что нет никакой информации о расположении громкоговорителей, на блок 181 процесса перегруппировки. Затем процесс переходит к этапу S164. В сущности, поскольку синхронное слово располагается непосредственно перед информацией о расположении громкоговорителей в элементе "height_extension_element", можно упростить и надежно указывать, является ли информация, содержащаяся в области комментария, информацией о расположении громкоговорителей.
Когда на этапе S143 определено, что данные, считанные из области комментария идентичны синхронному слову, синхронное слово обнаруживается. Поэтому процесс переходит к этапу S147, чтобы считать информацию о расположении громкоговорителей сразу же после синхронного слова.
На этапе S147 блок 161 декодирования РСЕ устанавливает значение параметра nmn_fr_elem для считывания информации о расположении громкоговорителей аудиоданных, воспроизводимых громкоговорителем, который расположен перед пользователем, как количество элементов, принадлежащих передней стороне.
Здесь, количество элементов, принадлежащих передней стороне, равно количеству элементов аудиоданных (количеству каналов), воспроизводимых громкоговорителем, расположенным перед пользователем. Количество элементов сохраняется в РСЕ. Поэтому значение параметра num_fr_elem является количеством элементов информации о расположении громкоговорителей аудиоданных, считанных из "height_extension_element и воспроизводимых громкоговорителем, расположенным перед пользователем.
На этапе S148 блок 161 декодирования РСЕ определяет, является ли значение параметра num_fr_elem большим, чем 0.
Когда на этапе S148 определено, что значение параметра num_fr_elem больше 0, процесс переходит к этапу S149, поскольку вся информация о расположении громкоговорителей не считывается.
На этапе S149 блок 161 декодирования РСЕ считывает информацию о расположении громкоговорителей, соответствующую одному элементу, расположенному вслед за синхронным словом в области комментария. В примере, показанном на фиг. 4, когда один элемент информации о расположении громкоговорителей равен 2 битам, 2-битные данные, расположенные непосредственно после данных, считанных из области комментария, считываются как один элемент информации о расположении громкоговорителей.
Возможно указать каждый элемент информации о расположении громкоговорителей об аудиоданных на основе, например, положения в информации о расположении громкоговорителей в элементе "height_extension_element" или в элементе, хранящем аудиоданные, таком как SCE.
На этапе S150, поскольку считывается один элемент информации о расположении громкоговорителей, блок 161 декодирования РСЕ уменьшает значение параметра num_fr_elem на 1. После того, как параметр num_fr_elem обновлен, процесс возвращается к этапу Step S148 и упомянутый выше процесс повторяется. То есть, считывается следующая информация о расположении громкоговорителей.
Когда на этапе S148 определено, что значение параметра num_fr_elem не больше О, процесс переходит к этапу S151, поскольку вся информация о переднем элементе из информации о расположении громкоговорителей считана.
На этапе S151 блок 161 декодирования РСЕ устанавливает значение параметра num_side_elem для считывания информации о расположении громкоговорителей в аудиоданных, воспроизводимых громкоговорителем, который расположен сбоку от пользователя, как количество элементов, принадлежащих боковой стороне.
Здесь, количество элементов, принадлежащих боковой стороне, равно количеству элементов аудиоданных, воспроизводимых громкоговорителем, расположенным сбоку от пользователя. Количество элементов сохраняется в РСЕ.
На этапе S152 блок 161 декодирования РСЕ определяет, является ли значение параметра num_side_elem большим, чем 0.
Когда на этапе S152 определено, что значение параметра num_side_elem больше 0, блок 161 декодирования РСЕ считывает информацию о расположении громкоговорителей, соответствующую одному элементу и расположенную вслед за данными, считанными из области комментария на этапе S153. Информация о расположении громкоговорителей, считанная на этапе S153, является информацией о расположении громкоговорителей канала, находящегося сбоку от пользователя, то есть, "side_element_height_info[i]".
На этапе S154 блок 161 декодирования РСЕ уменьшает значение параметра num_side_elem на 1. После того, как параметр num_side_elem обновлен, процесс возвращается к этапу S152 и упомянутый выше процесс повторяется.
С другой стороны, когда на этапе S152 определено, что значение параметра num_side_elem не больше 0, процесс переходит к этапу S155, поскольку вся информация о боковом элементе из информации о расположении громкоговорителей считана.
На этапе S155 блок 161 декодирования РСЕ устанавливает значение параметра num_back_elem для считывания информации о расположении громкоговорителей в аудиоданных, воспроизводимых громкоговорителем, который расположен сзади от пользователя, как количество элементов, принадлежащих задней стороне.
Здесь, количество элементов, принадлежащих задней стороне, равно количеству элементов аудиоданных, воспроизводимых громкоговорителем, расположенным сзади от пользователя. Количество элементов сохраняется в РСЕ.
На этапе S156 блок 161 декодирования РСЕ определяет, является ли значение параметра num_back_elem большим, чем 0.
Когда на этапе S156 определено, что значение параметра num_back_elem больше 0, блок 161 декодирования РСЕ считывает информацию о расположении громкоговорителей, соответствующую одному элементу и расположенную вслед за данными, считанными из области комментария на этапе S157. Информация о расположении громкоговорителей, считанная на этапе S157, является информацией о расположении громкоговорителей для канала, находящегося сзади от пользователя, то есть, “back_element_height_info[i]".
На этапе S158 блок 161 декодирования РСЕ уменьшает значение параметра num_back_elem на 1. После того, как параметр num_back_elem обновлен, процесс возвращается к этапу S156 и упомянутый выше процесс повторяется.
Когда на этапе S156 определено, что значение параметра num_back_elem не больше 0, процесс переходит к этапу S159, поскольку вся информация о заднем элементе из информации о расположении громкоговорителей считана.
На этапе S159 блок 172 вычисления идентификационной информации выполняет выравнивание байтов.
Например, информация "byte_alignment()" для подачи команды на выполнение выравнивания байтов хранится после информации о расположении громкоговорителей в "height_extension_element", показанном на фиг.4. Поэтому, когда эта информация считана, блок 172 вычисления идентификационной информации выполняет выравнивание байтов.
Конкретно, блок 172 вычисления идентификационной информации добавляет заданные данные непосредственно после информации, которая считывается между "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в "height_extension_element", так что объем данных считанной информации является целым, умноженным на 8 битов. То есть, выравнивание байтов выполняется так, что общий объем данных считанного синхронного слова, информация о расположении громкоговорителей и добавленные данные являются целым числом, кратным 8 битам.
В этом примере количество каналов аудиоданных, то есть, количество элементов информации о расположении громкоговорителей, содержащееся в кодированном битовом потоке, находится в пределах заданного диапазона. Поэтому, данные, полученные выравниванием байтов, то есть, один элемент данных (здесь далее также упоминаемый как данные выравнивания), содержащий синхронное слово, информацию о расположении громкоговорителей и добавленные данные, обязательно равен заданному объему данных.
Другими словами, объем данных выравнивания обязательно равен заданному объему данных, независимо от количества элементов информации о расположении громкоговорителей, содержащихся в "height_extension_element", то есть, от количества каналов аудиоданных. Поэтому, если объем данных выравнивания не является заданным объемом данных на момент, когда формируются данные выравнивания, блок 161 декодирования РСЕ решает, что считанная информация о расположении громкоговорителей является неправильной информацией о расположении громкоговорителей, то есть, считанная информация о расположении громкоговорителей недействительна.
На этапе S160 блок 172 вычисления идентификационной информации считывает идентификационную информацию, которая следует за "byte_alignment()", считанным на этапе S159, то есть, информацию, хранящуюся в "height_info_crc_check" в элементе "height_extension_element". Здесь, например, в качестве идентификационной информации считывается контрольный код CRC.
На этапе S161 блок 172 вычисления идентификационной информации вычисляет идентификационную информацию на основе данных выравнивания, полученных на этапе S159. Например, в качестве идентификационной информации вычисляется контрольный код CRC.
На этапе S162 блок 161 декодирования РСЕ решает, является ли идентификационная информация, считанная на этапе S160, идентичной идентификационной информации, вычисленной на этапе S161.
Когда объем данных выравнивания не равен заданному объему данных, блок 161 декодирования РСЕ не выполняет этап S160 и этап S161 и решает, что элементы идентификационной информации не идентичны друг другу на этапе S162.
Когда на этапе S162 решено, что элементы идентификационной информации не идентичны друг другу, блок 161 декодирования РСЕ делает недействительной считанную информацию о расположении громкоговорителей и на этапе S163 подает информацию, указывающую, что считанная информация о расположении громкоговорителей является недействительной, на блок 181 процесса перегруппировки и на блок 152 процесса понижающего микширования. Затем процесс переходит к этапу S164.
Когда процесс на этапе S163 или процесс на этапе S146 выполнен, блок 181 процесса перегруппировки на этапе S164 выводит аудиоданные, поданные от переключающего блока 151, на заданную группу громкоговорителей.
В этом случае, например, блок 181 процесса перегруппировки определяет группирование громкоговорителей каждого элемента аудиоданных на основе информации о расположении громкоговорителей, которая считывается из РСЕ и подается от блока 161 декодирования РСЕ. Ссылочное место назначения информации, которое используется блоком 181 процесса перегруппировки для определения группировки громкоговорителей, зависит от службы или применения, использующих аудиоданные, и задается на основе количества каналов аудиоданных.
Когда процесс на этапе S164 выполнен, процесс перегруппировки заканчивается. На этом процесс на этапе S117, показанный на фиг. 36, заканчивается. Следовательно, заканчивается процесс декодирования.
С другой стороны, когда на этапе S162 решено, что элементы идентификационной информации идентичны друг другу, блок 161 декодирования РСЕ делает действительной считанную информацию о расположении громкоговорителей и на этапе S165 подает информацию о расположении громкоговорителей на блок 181 процесса перегруппировки и на блок 152 процесса понижающего микширования. В этом случае, блок 161 декодирования РСЕ также подает информацию о группировке громкоговорителей, считанную из РСЕ, на блок 181 процесса перегруппировки и на блок 152 процесса понижающего микширования.
На этапе S166 блок 181 процесса перегруппировки выводит аудиоданные, поданные от переключающего блока 151, соответствующего группировке громкоговорителей, которая определена, например, информацией о группировке громкоговорителей, поданной от блока 161 декодирования РСЕ. То есть, аудиоданные каждого канала перегруппируются в порядке, который определяется, например, информацией о группировке громкоговорителей, и затем выводится на следующий этап. Когда процесс на этапе S166 выполнен, процесс перегруппировки заканчивается. На этом процесс на этапе S117, показанный на фиг. 36, заканчивается. Следовательно, заканчивается процесс декодирования.
Таким образом, устройство 141 декодирования проверяет синхронное слово или код проверки CRC из области комментария РСЕ, считывает информацию о расположении громкоговорителей и выводит декодированные аудиоданные, согласно расположению, соответствующему информации о расположении громкоговорителей.
В сущности, поскольку информация о расположении громкоговорителей считана и расположение громкоговорителей (положение источников звука) определено, возможно воспроизвести звуковую картину в вертикальном направлении и получить высококачественный реалистический звук.
Кроме того, поскольку информация о расположении громкоговорителей считывается, используя синхронное слово и код проверки CRC, возможно надежно считывать информацию о расположении громкоговорителей из области комментария, в которой, весьма вероятно, должна храниться другая текстовая информация. То есть, можно надежно различать информацию о расположении громкоговорителей и прочую информацию.
В частности, устройство 141 декодирования различает информацию о расположении громкоговорителей и прочую информацию, используя три элемента, а именно, идентичность синхронных слов, идентичность контрольных кодов CRC и идентичность объемов данных выравнивания. Поэтому, возможно предотвращать ошибки при обнаружении информации о расположении громкоговорителей. По существу, поскольку ошибки при обнаружении информации о расположении громкоговорителей предотвращаются, возможно воспроизводить аудиоданные, соответствующие правильному расположению громкоговорителей и получать высококачественный реалистический звук.
Описание процесса понижающего микширования
Далее процесс понижающего микширования, соответствующий процессу, описанному на этапе S118 на фиг. 36, будет описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 39. В этом случае, аудиоданные каждого канала подаются от переключающего блока 151 на переключающий блок 211 блока 152 процесса понижающего микширования.
На этапе S191 блок 173 обнаружения расширения блока 162 декодирования DSE считывает "ancillary_data_extension_status" из "ancillary_data_status()" в "MPEG4_ancillary_data()” из DSE.
На этапе S192 блок 173 обнаружения расширения определяет, равно ли 1 считанное выражение "ancillary_data_extension_status".
Когда на этапе S192 решено, что "ancillary_data_extension_status" не равно 1, то есть, "ancillary_data_extension_status" равно 0, блок 152 процесса понижающего микширования выполняет понижающее микширование аудиоданных, используя на этапе S193 заданный способ.
Например, блок 152 процесса понижающего микширования осуществляет понижающее микширование аудиоданных, поданных от переключающего блока 151, используя коэффициент, определяемый с помощью "center_mix_level_value" или "surround_mix_level_value", поданных от блока 174 декодирования информации о понижающем микшировании, и подает аудиоданные на блок 63 вывода.
Когда "ancillary_data_extension_status" равно 0, процесс понижающего микширования может выполняться любым способом.
На этапе S194 блок 63 вывода выводит аудиоданные, поданные от блока 152 процесса понижающего микширования, на новый этап без какого-либо изменения аудиоданных. На этом процесс понижающего микширования заканчивается. Таким образом, процесс на этапе S118, показанном на фиг. 36, заканчивается. Следовательно, процесс декодирования заканчивается.
С другой стороны, когда на этапе определено, что "ancillary_data_extension_status" равно 1, процесс переходит к этапу S195.
На этапе S195 блок 174 декодирования информации о понижающем микшировании считывает информацию, содержащуюся в "ext_dovvnmixing_levels()" в выражении "MPEG4_ext_ancillary_data()", показанном на фиг.11, и подает считанную информацию на блок 152 процесса понижающего микширования. Таким образом, например, считывается выражение "dmix_a_idx" and "dmix_b_idx", показанное на фиг. 13.
Когда выражение "ext_downmixing_levels_status", показанное на фиг. 12, содержащееся в "MPEG4_ext_ancillary_data()", равно 0, считывание выражений "dmix_a_idx" и "dmix_b_idx" не выполняется.
На этапе S196 блок 174 декодирования информации о понижающем микшировании считывает информацию, содержащуюся в "ext_downmixing_levels()" из выражения "MPEG4_ext_ancillary_data()” показанного на фиг. 11, и выводит считанную информацию на блок 152 процесса понижающего микширования. Таким образом, например, считываются элементы информации, показанные на фиг. 15, то есть, "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx".
Считывание элементов информации не выполняется, когда выражение "ext_dovvnmixing_global_gains_status", показанное на фиг. 12, содержащееся в "MPEG4_ext_ancillary_data()”, равно 0.
На этапе S197 блок 174 декодирования информации о понижающем микшировании считывает информацию, содержащуюся в “ext_downmixing_lfe_level()" выражения "MPEG4_ext_ancillary_data()", и подает считанную информацию на блок 152 процесса понижающего микширования. Таким образом, например, считывается выражение "dmix_lfe_idx", показанное на фиг. 16.
Конкретно, блок 174 декодирования информации о понижающем микшировании считывает выражение "ext_dov/nmixing_lfe_level_status", показанное на фиг.12, и считывает выражение "dmix_lfe_idx" на основе значения "ext_do wnmixing_lfe_level_status".
То есть, считывание выражения "dmix_lfe_idx" не выполняется, когда выражение "ext_downmixing_lfe_level_status", содержащееся в "MPEG4_ext_ancillary_data()", равно 0. В этом случае, аудиоданные канала LFE не используются при понижающем микшировании аудиоданных от 5.1 каналов до 2 каналов, которое будет описано ниже. То есть, коэффициент, на который умножаются аудиоданные канала LFE, равен 0.
На этапе S198 блок 174 декодирования информации о понижающем микшировании считывает информацию, содержащуюся в выражении "ext_downmixing_levels()", из выражения "MPEG4_ext_ancillary_data()", показанного на фиг. 7, и подает считанную информацию на блок 152 процесса понижающего микширования.
На этапе S199 блок 152 процесса понижающего микширования определяет, осуществлять ли вывод аудиоданных из 2 каналов на основе формального параметра понижающего микширования, поданного от разделительного блока 61.
Например, когда формальный параметр понижающего микширования указывает понижающее микширование от 7.1 каналов или 6.1 каналов до 2 каналов или понижающее микширование от 5.1 каналов до 2 каналов, принимается решение, что аудиоданные выводятся из 2 каналов.
Когда на этапе S199 решено, что аудиоданные выводятся из 2 каналов, процесс переходит к этапу S200. В этом случае, назначение выхода переключающего блока 214 изменяется на переключающий блок 216.
На этапе S200 блок 152 процесса понижающего микширования определяет, является ли ввод аудиоданных вводом 5.1 каналов на основе формального параметра понижающего микширования, поданного от разделительного блока 61. Например, когда формальный параметр понижающего микширования указывает понижающее микширование от 5.1 каналов до 2 каналов, принимается решение, что входным сигналом являются 5.1 каналов.
Когда на этапе S200 определено, что входной сигнал не является сигналом 5.1 каналов, процесс переходит к этапу S201 и выполняется понижающее микширование от 7.1 каналов или 6.1 каналов до 2 каналов.
В этом случае, переключающий блок 211 подает аудиоданные, поданные от переключающего блока 151, на переключающий блок 212. Переключающий блок 212 подает аудиоданные, поступившие от переключающего блока 211, на любой из блоков 213-1-213-4 понижающего микширования на основе информации о расположении громкоговорителей, подаваемой от блока 161 декодирования РСЕ. Например, когда аудиоданные являются данными 6.1 каналов, аудиоданные каждого канала подаются на блок 213-1 понижающего микширования.
На этапе S201 блок 213 понижающего микширования выполняет понижающее микширование до 5.1 каналов на основе "dmix_a_idx" и "dmix_b_idx", которые считываются "ext_dovvnmixing_levels()" и подаются от блока 174 декодирования информации понижающего микширования.
Например, когда аудиоданные подаются на блок 213-1 понижающего микширования, блок 213-1 понижающего микширования устанавливает константы, которые определяются для значений "dmix_a_idx" и "dmix_b_idx" как константы g1 и g2 со ссылкой на таблицу, показанную, соответственно, на фиг. 19. Затем блок 213-1 понижающего микширования использует константы g1 и g2 как коэффициенты, используемые в умножительных блоках 242 и 243 и умножительном блоке 244, соответственно, формирует аудиоданные 5.1 каналов, используя выражение (6), и подает аудиоданные на переключающий блок 214.
Аналогично, когда аудиоданные подаются на блок 213-2 понижающего микширования, блок 213-2 понижающего микширования устанавливает константы, которые определяются для значений "dmix_a_idx" и "dmix_b_idx" как константы e1 и e2, соответственно. Затем блок 213-2 понижающего микширования использует константы e1 и e2 как коэффициенты, используемые в умножительных блоках 273 и 274 и умножительных блоках 272 и 275, соответственно, формирует аудиоданные 5.1 каналов, используя выражение (4), и подает полученные аудиоданные 5.1 каналов на переключающий блок 214.
Когда аудиоданные подаются на блок 213-3 понижающего микширования, блок 213-3 понижающего микширования устанавливает константы, которые определяются для значений "dmix_a_idx" и "dmix_b_idx" как константы d1 и d2, соответственно. Затем блок 213-3 понижающего микширования использует константы d1 и d2 как коэффициенты, используемые в умножительных блоках 302 и 303 и умножительных блоках 304 и 305, соответственно, формирует аудиоданные, используя выражение (3), и подает полученные аудиоданные на переключающий блок 214.
Когда аудиоданные подаются на блок 213-4 понижающего микширования, блок 213-4 понижающего микширования устанавливает константы, которые определяются для значений "dmix_a_idx" и "dmix_b_idx" как константы f1 и f2, соответственно. Затем блок 213-4 понижающего микширования использует константы f1 и f2 как коэффициенты, используемые в умножительных блоках 332 и 333 и умножительных блоках 334 и 335, соответственно, формирует аудиоданные, используя выражение (5), и подает полученные аудиоданные на переключающий блок 214.
Когда аудиоданные 5.1 каналов подаются на переключающий блок 214, переключающий блок 214 подает аудиоданные, поступившие от блока 213 понижающего микширования, на переключающий блок 216. Переключающий блок 216 подает аудиоданные, полученные от переключающего блока 214, на блок 217-1 понижающего микширования или на блок 217-2 понижающего микширования на основе значения "pseudo_surround_enable", полученного от блока 174 декодирования информации о понижающем микшировании.
Например, когда значение "pseudo_surround_enable" равно 0, аудиоданные подаются на блок 217-1 понижающего микширования. Когда значение "pseudo_surround_enable" равно 1, аудиоданные подаются на блок 217-2 понижающего микширования.
На этапе S202 блок 217 понижающего микширования выполняет процесс понижающего микширования аудиоданных, полученных от переключающего блока 216, на 2 канала на основе информации о понижающем микшировании, полученной от блока 174 декодирования информации о понижающем микшировании. То есть, понижающее микширование до 2 каналов выполняется на основе информации, содержащейся в "downmixing_levels_MPEG4()", и информации, содержащейся в "ext_dovvnmixing_lfe_level()".
Например, когда аудиоданные подаются на блок 217-1 понижающего микширования, блок 217-1 понижающего микширования устанавливает константы, которые определяются для значений "center_mix_level_value" и "surround_mix_level_value" как константы а и b со ссылкой на таблицу, показанную, соответственно, на фиг. 19. Кроме того, блок 217-1 понижающего микширования устанавливает константу, которая определяется для значения "dmix_lfe_idx" как константа со ссылкой на таблицу, показанную на фиг. 18.
Затем блок 217-1 понижающего микширования использует константы a, b и с как коэффициенты, используемые в умножительных блоках 363 и 364, умножительном блоке 362 и умножительном блоке 365, соответственно, формирует аудиоданные, используя выражение (1), и подает полученные аудиоданные 2 каналов на блок 218 регулировки усиления.
Когда аудиоданные поданы на блок 217-2 понижающего микширования, блок 217-2 понижающего микширования определяет константы a, b и с подобно блоку 217-1 понижающего микширования. Затем блок 217-2 понижающего микширования использует константы a, b и с как коэффициенты, используемые в умножительных блоках 403 и 404, умножительном блоке 402 и умножительном блоке 405, соответственно, формирует аудиоданные, используя выражение (2), и подает полученные аудиоданные на блок 218 регулировки усиления.
На этапе S203 блок 218 регулировки усиления регулирует усиление аудиоданных, полученных от блока 217 понижающего микширования на основе информации, считываемой из выражения "ext_dovvnmixing_global_gains()" и подаваемой от блока 174 декодирования информации о понижающем кодировании.
Конкретно, блок 218 регулировки усиления вычисляет выражение (11) на основе "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx", которые считываются из выражения "ext_downmixing_global_gains()", и вычисляет значение усиления dmx_gain_7to2. Затем блок 218 регулировки усиления умножает аудиоданные каждого канала на значение усиления dmx_gain_7to2 и подает аудиоданные на блок 63 вывода.
На этапе S204 блок 63 вывода выводит аудиоданные, поданные от блока 218 регулировки усиления на следующий этап без какого-либо изменения аудиоданных. На этом процесс понижающего микширования заканчивается. Таким образом, процесс на этапе S118, показанном на фиг. 36, заканчивается. На этом процесс декодирования заканчивается.
Аудиоданные выводятся от блока 63 вывода, когда аудиоданные выводятся от блока 181 процесса перегруппировки и когда аудиоданные выводятся от блока 152 процесса понижающего микширования без каких-либо изменений. На этапе после блока 63 вывода могут быть заданы один или два вывода аудиоданных для использования.
Когда на этапе S200 определено, что входной сигнал является сигналом 5.1 каналов, процесс переходит к этапу S205 и выполняется понижающее микширование от 5.1 каналов до 2 каналов.
В этом случае, переключающий блок 211 подает аудиоданные, поданные от переключающего блока 151, на переключающий блок 216. Переключающий блок 216 подает аудиоданные, поступившие от переключающего блока 211, на блок 217-1 понижающего микширования или на блок 217-2 понижающего микширования на основе значения "pseudo_surround_enable", поданного от блока 174 декодирования информации о понижающем микшировании.
На этапе S205 блок 217 понижающего микширования выполняет процесс понижающего микширования аудиоданных, поданных от переключающего блока 216, до 2 каналов на основе информации о понижающем микшировании, подаваемой от блока 174 декодирования информации о понижающем микшировании. Кроме того, на этапе S205 выполняется тот же самый процесс, что и на этапе S202.
На этапе S206 блок 218 регулировки усиления регулирует усиление аудиоданных, полученных от блока 217 понижающего микширования на основе информации, считываемой из выражения "ext_dovvnmixing_global_gains()" и подаваемой от блока 174 декодирования информации о понижающем микшировании.
Конкретно, блок 218 регулировки усиления вычисляет выражение (9) на основе "dmx_gain_2_sign" и "dmx_gain_2_idx", которые считываются из выражения "ext_downmixing_global_gains()", и подает аудиоданные, полученные вычислением, на блок 63 вывода.
На этапе S207 блок 63 вывода выводит аудиоданные, поданные от блока 218 регулировки усиления, на следующий этап без какого-либо изменения аудиоданных. На этом процесс понижающего микширования заканчивается. Таким образом, процесс на этапе S118, показанном на фиг. 36, заканчивается. Следовательно, процесс декодирования заканчивается.
Когда на этапе S199 определено, что аудиоданные не являются выходным сигналом от 2 каналов, то есть, аудиоданные являются выходными данными от 5.1 каналов, процесс переходит к этапу S208 и выполняется понижающее микширование от 7.1 каналов или 6.1 каналов до 5.1 каналов.
В этом случае, переключающий блок 211 подает аудиоданные, поданные от переключающего блока 151, на переключающий блок 212. Переключающий блок 212 подает аудиоданные, поступившие от переключающего блока 211, на любой из блоков 213-1-213-4 понижающего микширования на основе информации о расположении громкоговорителей, подаваемой от блока 161 декодирования РСЕ. В этом случае, назначением выхода переключающего блока 214 является блок 215 регулировки усиления.
На этапе S208 блок 213 понижающего микширования выполняет понижающее микширование до 5.1 каналов на основе "dmix_a_idx" и "dmix_b_idx", которые считываются из "ext_downmixing_levels()” и подаются от блока 174 декодирования информации понижающего микширования. На этапе S208 выполняется тот же самый процесс, что и на этапе S201.
Когда выполняется понижающее микширование до 5.1 каналов и аудиоданные подаются от блока 213 понижающего микширования на переключающий блок 214, переключающий блок 214 подает полученные аудиоданные на блок 215 регулировки усиления.
На этапе S209 блок 215 регулировки усиления регулирует усиление аудиоданных, полученных от переключающего блока 214, на основе информации, считываемой из выражения "ext_downmixing_global_gains()" и подаваемой от блока 174 декодирования информации о понижающем микшировании.
Конкретно, блок 215 регулировки усиления вычисляет выражение (7) на основе "dmx_gain_5_sign" и "drnx_gain_5_idx", которые считываются из выражения "ext_downmixing_global_gains()", и подает аудиоданные, полученные вычислением, на блок 63 вывода.
На этапе S210 блок 63 вывода выводит аудиоданные, поданные от блока 215 регулировки усиления, на следующий этап без какого-либо изменения аудиоданных. На этом процесс понижающего микширования заканчивается. Таким образом, процесс на этапе S118, показанном на фиг. 36, заканчивается. Следовательно, процесс декодирования заканчивается.
Таким образом, устройство 141 декодирования выполняет понижающее микширование аудиоданных на основе информации, считанной из кодированного битового потока.
Например, в кодированном битовом потоке, поскольку выражение "pseudo_surround_enable" содержится в DSE, возможно выполнить процесс понижающего микширования от 5.1 каналов до 2 каналов, используя способ, наиболее пригодный для аудиоданных из множества способов. Поэтому на стороне декодирования может быть получен высококачественный реалистический звук.
Кроме того, в кодированном битовом потоке информация, указывающая, содержится ли расширенная информация, хранится в "ancillary_data_extension_status". Поэтому в отношении этой информации можно указать, содержится ли расширенная информация в расширенной области. Когда расширенная информация может быть получена, можно повысить гибкость при понижающем микшировании аудиоданных. В результате можно получить высококачественный реалистический звук.
Описанные выше последовательности процессов могут выполняться посредством аппаратурного обеспечения или программного обеспечения. Когда последовательности процессов выполняются посредством программного обеспечения, на компьютер устанавливается программа, образующая программное обеспечение. Здесь, примеры компьютера содержат компьютер, который встраивается в специализированное аппаратурное обеспечение, и универсальный персональный компьютер, на который устанавливаются различного рода программы и который может выполнять различного рода функции.
На фиг. 40 показана блок-схема примера структуры аппаратурного обеспечения компьютера, выполняющего программу для осуществления упомянутой выше последовательности процессов.
В компьютере центральный процессор (CPU) 501, постоянное запоминающее устройство (ROM) 502 оперативная память (RAM) 503 соединяются друг с другом через шину 504.
Интерфейс 505 ввода-вывода соединяется с шиной 504. Устройство 506 ввода, устройство 507 вывода, блок 508 записи, блок 509 связи и привод 510 соединяются с интерфейсом ввода-вывода 505.
Устройство 506 ввода содержит, например, клавиатуру, мышь, микрофон и элемент получения изображений. Устройство 507 вывода содержит, например, дисплей и громкоговоритель. Блок 508 записи содержит жесткий диск и энергонезависимую память. Блок 509 связи является, например, сетевым интерфейсом. Привод 510 приводит в действие съемный носитель 511, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковую память.
В компьютере, имеющем упомянутую выше структуру, например, CPU 501 загружает программу, записанную в блоке 508 записи, в RAM 503 через интерфейс 505 ввода-вывода и шину 504. Затем выполняется описанная выше последовательность процессов.
Программа, выполняемая компьютером (CPU 501), может записываться на съемном носителе 511 в качестве упакованного носителя и быть предоставлена позже. Альтернативно, программы могут обеспечиваться посредством проводной или беспроводной среды передачи, такой как локальная сеть, Интернет или цифровое спутниковое вещание.
В компьютере съемный носитель 511 может вставляться в дисковод 510 для установки программы в блок 508 записи через интерфейс 505 ввода-вывода. Кроме того, программа может быть принята блоком 509 связи через проводную или беспроводную среду передачи и затем устанавливаться в блок 508 записи. Альтернативно, программа может быть заранее установлена в ROM 502 в блок 508 записи.
Программы, которые должны выполняться компьютером, могут быть программами для выполнения операций в хронологическом порядке в соответствии с последовательностью, описанной в настоящем описании, или могут быть программами для выполнения операций параллельно или выполнения операции по мере необходимости, такой как, например, вызов.
Вариант осуществления настоящей технологии не ограничивается описанным выше вариантом осуществления и различные модификации и изменения варианта осуществления могут быть сделаны, не отступая от объема и сущности настоящей технологии.
Например, настоящая технология может иметь структуру вычислительного облака, в которой одна функция выполняется несколькими устройствами через сеть и совместно обрабатывается множеством устройств.
В описанном выше варианте осуществления каждый этап, описанный в упомянутых выше блок-схемах последовательности выполнения операций, выполняется одним устройством. Однако каждый этап может выполняться совместно и осуществляться множеством устройств.
В описанном выше варианте осуществления, когда один этап содержит множество процессов, множество процессов, содержащихся в одном этапе, выполняются одним устройством. Однако множество процессов могут выполняться совместно и осуществляться множеством устройств.
Кроме того, настоящая технология может иметь следующую структуру.
[1] Устройство декодирования, содержащее:
блок обнаружения идентификационной информации, который считывает идентификационную информацию для идентификации наличия заданной информации из области, в которой могут храниться произвольные данные кодированного битового потока; и
блок считывания, который считывает заданную информацию из упомянутой области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
[2] В устройстве декодирования по п. [1] первая заданная идентификационная информация и вторая идентификационная информация, вычисляемая на основе упомянутой заданной информации, хранятся как идентификационная информация в упомянутой области, в которой могут храниться произвольные данные.
[3] В устройстве декодирования по п. [2] блок считывания определяет, что упомянутая заданная информация является действительной информацией, когда первая идентификационная информация, содержащаяся в области, в которой могут храниться произвольные данные, является заданной определенной информацией, а вторая идентификационная информация, считанная из области, в которой могут храниться произвольные данные, идентична второй идентификационной информации, вычисленной на основе считанной заданной информации.
[4] В устройстве декодирования по п. [2] или [3], когда считанная первая идентификационная информация является заданной определенной информацией, блок считывания начинает считывание упомянутой заданной информации, размещенной после первой идентификационной информации области, в которой могут храниться произвольные данные.
[5] В устройстве декодирования по любому из пп. [2]-[4] вторая идентификационная информация вычислена на основе информации, полученной посредством выполнении выравнивания байтов для информации, содержащей заданную информацию.
[6] В устройстве декодирования, соответствующем п. [5], произвольное число элементов заданной информации в заданном диапазоне содержатся в области, в которой могут храниться произвольные данные, и блок считывания определяет, что заданная информация является недействительной информацией, когда информация, полученная посредством выравнивания байтов, не имеет заданного размера.
[7] В устройстве декодирования, соответствующем любому из пп. [1]-[6], заданная информация является информацией, относящейся к аудиоданным, а устройство декодирования дополнительно содержит блок декодирования, декодирующий аудиоданные, содержащиеся в кодированном битовом потоке.
[8] Способ, содержащий этапы, на которых:
считывают идентификационную информацию для идентификации наличия заданной информации, из области, в которой могут храниться произвольные данные кодированного битового потока; и
считывают заданную информацию из упомянутой области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
[9] Программа, вызывающая выполнение компьютером процесса, содержащего этапы, на которых:
считывают идентификационную информацию для идентификации наличия заданной информации из области, в которой могут храниться произвольные данные кодированного битового потока; и
считывают заданную информацию из упомянутой области, в которой могут храниться произвольные данные, на основе множества элементов идентификационной информации.
[10] Устройство кодирования, содержащее:
блок кодирования, кодирующий множество элементов идентификационной информации для идентификации наличия заданной информации, и заданную информацию; и
блок упаковки, хранящий кодированную заданную информацию и кодированную идентификационную информацию в области, в которой могут храниться произвольные данные, и формирующий кодированный битовый поток.
[11] В устройстве кодирования по п. [10] первая заданная идентификационная информация и вторая идентификационная информация, вычисляемая на основе упомянутой заданной информации, хранятся как идентификационная информация в области, в которой могут храниться произвольные данные.
[12] В устройстве кодирования по п. [11] заданная информация определяется как действительная информация, когда первая идентификационная информация, содержащаяся в области, в которой могут храниться произвольные данные, является заданной определенной информацией, а вторая идентификационная информация, считываемая из области, в которой могут храниться произвольные данные, идентична второй идентификационной информации, вычисляемой на основе считанной заданной информации.
[13] В устройстве кодирования по п. [11] или [12], заданная информация размещена после первой идентификационной информации в области, в которой могут храниться произвольные данные, и заданная информация начинает считываться, когда считанная первая идентификационная информация является заданной определенной информацией.
[14] В устройстве кодирования по любому из пп. [11]-[13] информация для подачи команд на выполнение выравнивания байтов для информации, содержащей заданную информацию, и информация для подачи команды сравнения между второй идентификационной информацией, вычисляемой на основе информации, получаемой посредством выравнивания байтов, и второй идентификационной информацией, хранящейся в области, в которой могут храниться произвольные данные, дополнительно хранится в области, в которой могут храниться произвольные данные.
[15] В устройстве кодирования по п. [14], произвольное число элементов заданной информации в заданном диапазоне содержится в области, в которой могут храниться произвольные данные, и заданная информация определяется как недействительная информация, когда информация, полученная посредством выравнивания байтов, не имеет заданного размера.
[16] В устройстве кодирования по любому из пп. [10]-[15], заданная информация является информацией, относящейся к аудиоданным, при этом устройство кодирования декодирует аудиоданные, а блок упаковки сохраняет кодированные аудиоданные в кодированном битовом потоке.
[17] Способ кодирования, содержащий этапы, на которых:
кодируют множество элементов идентификационной информации для идентификации наличия заданной информации и заданную информацию; и
сохраняют кодированную заданную информацию и кодированную идентификационную информацию в области, в которой могут храниться произвольные данные, и формируют кодированный битовый поток.
[18] Программа, заставляющая компьютер выполнять процесс, содержащий этапы, на которых:
кодируют множество элементов идентификационной информации для идентификации наличия заданной информации и заданную информацию; и
сохраняют кодированную заданную информацию и кодированную идентификационную информацию в области, в которой могут храниться произвольные данные, и формируют кодированный битовый поток.
Перечень ссылочных позиций
11 Устройство кодирования
21 Блок ввода
22 Блок кодирования
23 Блок упаковки
51 Устройство декодирования
61 Разделительный блок
62 Блок декодирования
63 Блок вывода
91 Устройство кодирования
101 Блок кодирования РСЕ
102 Блок кодирования DSE
103 Блок кодирования аудиоэлементов
111 Блок кодирования синхронного слова
112 Блок кодирования информации о расположении
113 Блок кодирования идентификационной информации
114 Блок кодирования расширенной информации
115 Блок кодирования информации о понижающем микшировании
141 Устройство декодирования
152 Блок процесса понижающего микширования
161 Блок декодирования PСЕ
162 Блок декодирования DSE
163 Блок декодирования аудиоэлементов
171 Блок обнаружения синхронного слова
172 Блок вычисления идентификационной информации
173 Блок обнаружения расширения
174 Блок декодирования информации о понижающем микшировании
181 Блок процесса перегруппировки
| название | год | авторы | номер документа |
|---|---|---|---|
| УСТРОЙСТВО ДЕКОДИРОВАНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ, СПОСОБ КОДИРОВАНИЯ И ПРОГРАММА | 2013 |
|
RU2648590C2 |
| ДЕКОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ ДЕКОДИРОВАНИЯ, КОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ КОДИРОВАНИЯ И ПРОГРАММА | 2013 |
|
RU2648945C2 |
| ДЕКОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ ДЕКОДИРОВАНИЯ, КОДИРУЮЩЕЕ УСТРОЙСТВО, СПОСОБ КОДИРОВАНИЯ И ПРОГРАММА | 2013 |
|
RU2652468C2 |
| КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ АУДИО | 2007 |
|
RU2427978C2 |
| ПАРАМЕТРИЧЕСКОЕ КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ МНОГОКАНАЛЬНЫХ АУДИОСИГНАЛОВ | 2015 |
|
RU2704266C2 |
| ПАРАМЕТРИЧЕСКОЕ КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ МНОГОКАНАЛЬНЫХ АУДИОСИГНАЛОВ | 2015 |
|
RU2798759C2 |
| КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ ПАРАМЕТРОВ | 2020 |
|
RU2803451C2 |
| КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ ПАРАМЕТРОВ | 2020 |
|
RU2806701C2 |
| ПРИНЦИП ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ АУДИО ДЛЯ АУДИОКАНАЛОВ И АУДИООБЪЕКТОВ | 2014 |
|
RU2641481C2 |
| СПОСОБ ДЛЯ ДЕКОДИРОВАНИЯ И КОДИРОВАНИЯ МАТРИЦЫ ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ, СПОСОБ ДЛЯ ПРЕДСТАВЛЕНИЯ АУДИОКОНТЕНТА, КОДЕР И ДЕКОДЕР ДЛЯ МАТРИЦЫ ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ, АУДИОКОДЕР И АУДИОДЕКОДЕР | 2014 |
|
RU2648588C2 |
Изобретение относится к декодированию и кодированию информации. Технический результат изобретения заключается в возможности получения высококачественного реалистического звука. Устройство декодирования содержит блок обнаружения идентификационной информации, выполненный с возможностью считывания идентификационной информации для идентификации, хранится ли заданная информация, относящаяся к аудиоданным, в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC; блок считывания для считывания заданной информации из области комментария на основе множества элементов упомянутой идентификационной информации; блок декодирования для декодирования аудиоданных на основе заданной информации; блок вывода для вывода декодированных аудиоданных. 6 н. и 10 з.п. ф-лы, 40 ил.
1. Устройство декодирования, содержащее:
блок обнаружения идентификационной информации, выполненный с возможностью считывания идентификационной информации для идентификации, хранится ли заданная информация, относящаяся к аудиоданным, в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC;
блок считывания, выполненный с возможностью считывания заданной информации из области комментария на основе множества элементов упомянутой идентификационной информации;
блок декодирования, выполненный с возможностью декодирования аудиоданных на основе заданной информации; и
блок вывода, выполненный с возможностью вывода декодированных аудиоданных.
2. Устройство декодирования по п. 1,
в котором в области комментария хранится первая заданная идентификационная информация и вторая идентификационная информация, вычисляемая на основе упомянутой заданной информации, в качестве идентификационной информации.
3. Устройство декодирования по п. 2,
в котором блок считывания выполнен с возможностью определения, что упомянутая заданная информация является действительной информацией, когда первая идентификационная информация, содержащаяся в области комментария, является заданной определенной информацией, а вторая идентификационная информация, считываемая из области комментария, идентична второй идентификационной информации, вычисляемой на основе считанной заданной информации.
4. Устройство декодирования по п. 3,
в котором, когда считанная первая идентификационная информация является заданной определенной информацией, блок считывания выполнен с возможностью начать считывание заданной информации, размещаемой после первой идентификационной информации в области комментария.
5. Устройство декодирования по п. 4, характеризующееся тем, что выполнено с возможностью вычисления второй идентификационной информации на основе информации, получаемой путем выполнения выравнивания байтов для информации, содержащей заданную информацию.
6. Устройство декодирования по п. 5,
в котором в области комментария содержится произвольное число элементов заданной информации в заданном диапазоне,
при этом блок считывания выполнен с возможностью определения, что заданная информация является недействительной информацией, когда информация, получаемая посредством выравнивания байтов, не имеет заданного размера.
7. Способ декодирования, содержащий этапы, на которых:
считывают идентификационную информацию для идентификации, хранится ли заданная информация, относящаяся к аудиоданным, в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC;
считывают упомянутую заданную информацию из области комментария на основе множества элементов упомянутой идентификационной информации;
декодируют аудиоданные на основе заданной информации; и
выводят декодированные аудиоданные.
8. Носитель записи, содержащий записанную на нем программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:
считывают идентификационную информацию для идентификации, хранится ли заданная информация, относящаяся к аудиоданным, в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC;
считывают упомянутую заданную информацию из области комментария на основе множества элементов упомянутой идентификационной информации;
декодируют аудиоданные на основе заданной информации; и
выводят декодированные аудиоданные.
9. Устройство кодирования, содержащее:
блок кодирования, выполненный с возможностью кодирования множества элементов идентификационной информации для идентификации наличия заданной информации, относящейся к аудиоданным, кодирования заданной информации и кодирования аудиоданных; и
блок упаковки, выполненный с возможностью сохранения кодированной заданной информации и кодированной идентификационной информации в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC, сохранения кодированных аудиоданных в кодированном битовом потоке и вывода кодированного битового потока.
10. Устройство кодирования по п. 9,
в котором в области комментария хранятся первая заданная идентификационная информация и вторая идентификационная информация, вычисляемая на основе упомянутой заданной информации в качестве идентификационной информации.
11. Устройство кодирования по п. 10, характеризующееся тем, что выполнено с возможностью определения заданной информации как действительной информации, когда первая идентификационная информация, содержащаяся в области комментария, является заданной определенной информацией, а вторая идентификационная информация, считываемая из области комментария, идентична второй идентификационной информации, вычисляемой на основе считанной заданной информации.
12. Устройство кодирования по п. 11,
в котором заданная информация размещена после первой идентификационной информации в области комментария,
при этом устройство кодирования выполнено с возможностью начать считывание заданной информации, когда считанная первая идентификационная информация является заданной определенной информацией.
13. Устройство кодирования по п. 12,
в котором в области комментария дополнительно хранится информация для подачи команды выполнения выравнивания байтов для информации, содержащей заданную информацию, и информация для подачи команды сравнения второй идентификационной информации, вычисляемой на основе информации, получаемой посредством выравнивания байтов, со второй идентификационной информацией, хранящейся в области комментария.
14. Устройство кодирования по п. 13,
в котором в области комментария хранится произвольное число элементов заданной информации в заданном диапазоне,
при этом устройство кодирования выполнено с возможностью определения заданной информации как недействительной информации, когда информация, получаемая выравниванием байтов, не имеет заданного размера.
15. Способ кодирования, содержащий этапы, на которых:
кодируют множество элементов идентификационной информации для идентификации наличия заданной информации, относящейся к аудиоданным, кодируют заданную информацию и кодируют аудиоданные; и
сохраняют кодированную заданную информацию и кодированную идентификационную информацию в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC, сохраняют кодированные аудиоданные в кодированном битовом потоке и выводят кодированный битовый поток.
16. Носитель записи, содержащий записанную на нем программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:
кодируют множество элементов идентификационной информации для идентификации наличия заданной информации, относящейся к аудиоданным, кодируют заданную информацию и кодируют аудиоданные; и
сохраняют кодированную заданную информацию и кодированную идентификационную информацию в области комментария поля конфигурационного элемента программы (PCE) кодированного битового потока кадра передового аудиокодирования (AAC) в соответствии со стандартом AAC, сохраняют кодированные аудиоданные в кодированном битовом потоке и выводят кодированный битовый поток.
| Колосоуборка | 1923 |
|
SU2009A1 |
| Аппарат для очищения воды при помощи химических реактивов | 1917 |
|
SU2A1 |
| Аппарат для очищения воды при помощи химических реактивов | 1917 |
|
SU2A1 |
| Колосоуборка | 1923 |
|
SU2009A1 |
| Аппарат для очищения воды при помощи химических реактивов | 1917 |
|
SU2A1 |
