СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ВСПОМОГАТЕЛЬНЫХ ПОТОКОВ МЕДИАДАННЫХ, ВСТРОЕННЫХ В ПОТОК MPEG-H 3D AUDIO Российский патент 2021 года по МПК H04N21/439 H04N21/434 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка претендует на приоритет следующих приоритетных заявок: предварительная заявка США 62/634136 (ссылка: D18027USP1), поданная 22 февраля 2018 г., предварительная заявка США 62/641098 (ссылка: D18027USP2), поданная 9 марта 2018 г., европейская заявка 18166319.6 (ссылка: D18027EP), поданная 9 апреля 2018 г., и предварительная заявка США 62/697536 (ссылка: D18027USP3) от 13 июля 2018 г., которые включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к предоставлению устройства, системы и способа обработки пакетированных медиаданных.

ПОДРОБНОЕ ОПИСАНИЕ

Для оборудования домашней потребительской электроники (CE) функциональность может быть распределена между несколькими приспособлениями (например, телевизионными приставками, телевизорами, аудио/видеоприемниками), где такие приспособления соединены посредством стандартизованных интерфейсов (например, HDMI).

Первое приспособление может принимать потоки медиаданных через широковещательные и/или широкополосные соединения. То первое приспособление может дополнительно иметь высокий уровень искусственного интеллекта (например, набор функций «умной акустической системы»). Второе приспособление может быть предназначено для декодирования, рендеринга и выведения медиаданных пользователям.

Как правило, медиапрограмма принимается приспособлением № 1 и отправляется на приспособление № 2 для воспроизведения. Эта медиапрограмма может быть известна как «основная программа». Время от времени или дополнительно другая медиапрограмма (такая как реклама), принятая по другому каналу передачи, или медиаданные, сгенерированные с помощью средств «смарт-приспособления» в приспособлении № 1, при этом как программа, так и данные обычно представлены в другом медиаформате, должны быть вставлены внутрь или наложены поверх основной медиапрограммы.

Это может быть достигнуто декодированием как основной, так и вспомогательной программ с получением общего, обычно несжатого, представления, переключением потоков или микшированием/рендерингом их обоих с получением комбинированного представления и повторным кодированием сгенерированного потока медиаданных в закодированный формат передачи. Этот способ может быть выполнен в любом приспособлении, например, целиком выполнен в приспособлении № 1. Однако могут понадобиться значительные вычислительные мощности, в то же время этапы рендеринга и промежуточное представление могут не обеспечивать оптимального согласования в отношении фактической системы воспроизведения в приспособлении № 2.

На фиг. 1 проиллюстрированы примерное приспособление № 1 и примерное приспособление № 2. Приспособление № 1 может содержать первичный приемник 101, вторичный приемник / локальный механизм 103 и модуль 102 объединения пакетированных потоков. Модуль 102 объединения пакетированных потоков может объединять потоки данных, принятые от первичного приемника 101 (например, основной поток) и от вторичного приемника / локального механизма 103 (например, вспомогательный поток данных). Приспособление № 2 может содержать модуль 201 разделения потоков, первичный модуль 202 декодирования/рендеринга и вторичный модуль 203 декодирования/рендеринга. Модуль 201 разделения потоков может разделять потоки, такие как основной поток (который может быть предоставлен затем на первичный модуль 202 декодирования/рендеринга) и вспомогательный поток (который может быть предоставлен затем на вторичный модуль 203 декодирования/рендеринга). Оба выходных сигнала модуля декодирования могут быть представлены слушателю одновременно.

Для преодоления вышеописанного ограничения приспособление № 1 может непосредственно отправлять входящий основной поток медиаданных на приспособление № 2. Этот режим приспособления № 1 может быть назван «сквозным» режимом. Однако недостатком этого подхода является то, что стандартизованные интерфейсы определены для пересылки лишь одного-единственного потока данных для видео и звука и, таким образом, второй поток медиаданных не может быть отправлен по умолчанию через интерфейс на приспособление № 2 для воспроизведения.

Настоящее изобретение может предоставлять способы и устройство для первого приемника для приема пакетированных медиаданных, вторичного приемника для приема дополнительного потока медиаданных и интерфейса передатчика для отправки пакетированных медиаданных.

В настоящем изобретении предложено объединять второй вспомогательный поток медиаданных с пакетированным основным потоком медиаданных следующим образом.

Потоки медиаданных, представленные в виде пакетированных потоков, обычно используют идентификаторы типа пакета для различения нескольких подпотоков в общем потоке медиаданных. Для пересылки дополнительных (медиа) данных, не относящихся к основному потоку медиаданных, первое приспособление № 1 может запаковывать дополнительные данные в пакеты, форматированные согласно основному потоку медиаданных, но помеченные специальной меткой в заголовке пакета. Эта специальная метка заставит приемное приспособление № 2 отделять пакеты, переносящие дополнительный поток медиаданных. Приспособление № 2 может затем необязательно предоставлять дополнительный поток медиаданных на экземпляр вторичного модуля 203 декодирования/рендеринга при одновременном приеме основного потока первичным модулем 202 декодирования/рендеринга.

В одном примере приемные приспособления прежнего типа, которые не распознают эту новую метку в заголовке пакета для дополнительных запакованных потоков медиаданных, как уже ожидается, будут игнорировать те пакеты.

Метка может быть предоставлена в любой среде потока закодированных звуковых данных, такой как MPEG-H, AC-4, Dolby Digital+ и т. д.

Если дополнительные вставленные потоки данных существенно превосходят по скорости передачи данных изначальный поток медиаданных, приспособление в виде приемника должно отфильтровывать входящий пакетированный поток и необязательно отделять пакеты дополнительных данных для поддержания модели буфера приемника подключенного за ним модуля декодирования (прежнего типа) медиаданных.

Далее, на фиг. 3 проиллюстрированы примерное приспособление № 1 и примерное приспособление № 3. Приспособление № 1 может содержать первичный приемник 101, вторичный приемник / локальный механизм 103 и модуль 102 объединения пакетированных потоков. Модуль 102 объединения пакетированных потоков может объединять потоки данных, принятые от первичного приемника 101 (например, основной поток) и от вторичного приемника / локального механизма 103 (например, вспомогательный поток данных). Приспособление № 3 может содержать лишь первичный модуль 301 декодирования/рендеринга, но не модуль разделения потоков. В одном примере может быть невозможно предоставить вспомогательный поток на вторичный модуль декодирования/рендеринга. В этом примере модифицированный первичный модуль декодирования может декодировать/конвертировать/ микшировать вспомогательный поток с основным потоком внутри себя.

Экосистема MPEG-H

MPEG-H 3d Audio согласно ISO/IEC 23008-3 запакован в формате MHAS (MPEG-H Audio Stream (звукового потока по стандарту MPEG-H Audio)). Этот формат использует пакетированный формат, в котором каждый пакет состоит из заголовка пакета и полезной нагрузки пакета. Хотя полезная нагрузка может представлять собой любые двоичные данные, заголовок определяет тип и длину полезной нагрузки. (Может быть использована дополнительно доступная метка для различения нескольких экземпляров, но она не использована в данном случае).

Посредством назначения нового типа пакета MHAS для вторичного потока медиаданных (названного для примера PACTYP_MEDIA) дополнительные звуковые данные, представленные либо в виде несжатых данных PCM (импульсно-кодовой модуляции), необязательно дополнительно определенных с применением формата RIFF/WAV, либо сжатых звуковых данных, таких как звук MPEG-4 согласно ISO/IEC 14496-3 или любому другому кодированному представлению (например, согласно ATSC A/52 или ETSI TS 103 190), могут быть запакованы в пакеты MHAS и, следовательно, могут быть объединены с основным потоком MPEG-H 3d Audio. Разные форматы, предназначенные для запаковки, могут быть различены либо разными типами пакетов (например, PACTYP_PCM, PACTYP_MPEG4AUDIO, …), либо, как показано в примере ниже, дополнительным определителем, образующим подзаголовок пакета MHAS.

Поскольку (медиа) данные могут нуждаться в данных конфигурации, но могут не быть представленными в виде самостоятельных потоков, эти данные могут быть запакованы в заголовок содержащего пакета MHAS, или же может быть назначен дополнительный пакет MHAS (например, PACTYP_MEDIA_CONFIG или другой тип имени пакета MHAS, указывающий конфигурацию, например, PACTYP_PCMCONFIG), который дополнительно может также переносить информацию о типе дополнительных данных. Тип пакета MHAS может переносить информацию о конфигурации для данных полезной нагрузки PCM с целью подачи информации о конфигурации на модуль декодирования. Например, если тип пакета MHAS для информации о конфигурации (например, PACTYP_MEDIA_CONFIG или PACTYP_PCMCONFIG) присутствует в битовом потоке (например, после PACTYP_MEDIA_CONFIG), на модуль декодирования может быть подана информация о конфигурации данных PCT в форме структуры данных (например, pcmDataConfig()).

В целом, тип пакета MHAS (например, PACTYP_PCMDATA) может быть использован для встраивания данных полезной нагрузки PCM, соответствующих сигналам PCM, заданным в структуре конфигурации, и для подачи данных PCM в форме структуры полезной нагрузки данных PCM в модуль декодирования. Если тип пакета MHAS (например, PACTYP_PCMDATA) присутствует в битовом потоке, во время декодирования может быть использована структура полезной нагрузки данных PCM (например, pcmDataPayload()).

На фиг. 2 проиллюстрирован примерный поток пакетов MPEG-H 3D audio в соответствии с настоящим изобретением.

В одном примере настоящее изобретение может быть основано на идентификации информации, основанной на следующих синтаксических изменениях.

1. Таблица изменений 220 – синтаксис MHASPacketPayload() со следующим.

2. Назначить подходящий MHASPacketType для PACTYP_MEDIA в таблице 223. Альтернативно значение MHASPacketType может варьировать или может зависеть от предустановленного значения, например, значения, опубликованного организацией, занимающейся стандартами, в конечном документе о стандартах.

3. Следующий тип медиаданных должен быть определен с применением нумерации mhasMediaDataType.

На фиг. 2 в качестве примера показан пакетированный основной поток, содержащий примерные пакеты согласно MPEG-H 3D audio с 3D звуковыми данными (в качестве примера содержащими данные конфигурации, например, PACTYP_MPEGH3DACFG, в качестве метаданных и кодированные звуковые данные, например, PACTYP_MPEGH3DAFRAME).

Кроме того, на фиг. 2 в качестве примера показан пакетированный вторичный поток (вспомогательный поток), содержащий примерные пакеты в соответствии с настоящим изобретением, как указано информацией заголовка, относящейся к вышеописанному примерному дополнительному типу пакета PACTYP_MEDIA, содержащему дополнительные звуковые данные (вспомогательные звуковые данные / вторичные звуковые данные), в качестве примера в сжатом формате, например, MPEG4Audio.

Альтернативно или дополнительно дополнительные звуковые данные могут быть пакетированы с получением пакета, имеющего заголовок в соответствии с форматом пакетированного основного потока, в данном случае в качестве примера MPEG-H 3D audio, который содержит подзаголовок, указывающий разные форматы, запакованные так, как обсуждено выше.

В соответствии с примерными аспектами настоящего изобретения основной поток и вспомогательный (вторичный) поток могут быть объединены модулем объединения потоков, в том числе, например, модулем 102 объединения пакетированных потоков.

Исходящий поток (объединенный поток) содержит пакеты, относящиеся к закодированным звуковым данным основного потока, и пакеты, относящиеся к звуковым данным вспомогательного потока внутри единственного пакетированного битового потока того же формата (такого как в качестве примера MPEG-H 3D audio на фиг. 2).

Следует отметить, что немодифицированные модули декодирования (прежнего типа) MPEG-H 3D audio могут не понимать недавно добавленный тип пакета (например, PACTYP_MEDIA), и такие немодифицированные модули декодирования (прежнего типа) MPEG-H 3D audio могут игнорировать или удалять из памяти пакеты, содержащие недавно добавленный тип пакета (например, PACTYP_MEDIA), указанный в их заголовке. Такие немодифицированные модули декодирования (прежнего типа) MPEG-H 3D audio все еще могут декодировать звуковые данные, относящиеся к основному потоку, но не будут обрабатывать дополнительные вспомогательные/вторичные звуковые данные.

Для декодирования и обработки объединенного потока с получением основного и вспомогательного потоков приспособления в виде модулей декодирования могут быть модифицированы для включения модифицированного модуля декодирования, способного фильтровать и декодировать/обрабатывать пакеты, относящиеся к вспомогательным звуковым данным.

На фиг. 4 схематически проиллюстрирован другой пример первичного модуля декодирования/рендеринга в соответствии с настоящим изобретением.

На фиг. 4 проиллюстрировано то, как этого можно достичь в модуле декодирования MPEG-H 3D Audio, где медиаформат представляет собой данные PCM. В качестве примера первичный модуль 301 декодирования/рендеринга реализован как содержащий модуль M1 декодирования ядра MPEG-H 3D Audio и соответствующие блоки рендеринга, такие как модуль M2 рендеринга объекта, например, в том числе заданный согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3).

Модифицированный модуль 301 декодирования может дополнительно фильтровать и отделять пакеты MHAS, имеющие заголовок, указывающий новый дополнительный тип пакета (например, PACTYP_MEDIA), и вводить пакеты, содержащие вспомогательные звуковые данные, в блок 301c1 конвертирования формата, а затем – на модуль конвертирования частоты дискретизации (такой как в качестве примера модуль M3 конвертирования частоты дискретизации, присутствующий в архитектуре модуля декодирования после модуля M1 декодирования ядра MPEG-H 3D Audio, как задано согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3)).

Соответственно, модифицированный модуль 301 декодирования может выполнять конвертирование частоты дискретизации (например, посредством модуля M3 конвертирования частоты дискретизации) и конвертирование формата (например, посредством блока 301c1 конвертирования формата) в отношении входных медиаданных (MHASPacketType == PACTYP_MEDIA) для согласования частоты дискретизации медиаданных и структуры каналов с выходной частотой дискретизации и конфигурацией каналов модуля декодирования. Кроме того, модифицированный модуль декодирования может микшировать входные медиаданные или входные медиаданные, частота дискретизации которых была конвертирована, со звуковыми медиаданными, которые были созданы модулем M1 декодирования ядра MPEG-H 3D Audio в микшере (таком как в качестве примера микшерный блок M4, присутствующий в архитектуре модуля декодирования после модуля M1 декодирования ядра MPEG-H 3D Audio, как задано согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3)).

Вышеприведенный пример по фиг. 4 в качестве примера относится к вспомогательным медиаданным, содержащим несжатые медиаданные, такие как данные PCM или т. п. Следует отметить, что, если несжатые медиаданные, такие как данные PCM или т. п., дополнительно содержат информацию о положении или связаны с соответствующими метаданными о положении, например, для применений для 3D звука, вспомогательные данные могут быть дополнительно обработаны модулем рендеринга объекта, обрабатывающим данные о положении, таким как модуль M2 рендеринга объекта, присутствующим в архитектуре модуля декодирования после модуля M1 декодирования ядра MPEG-H 3D Audio, как задано согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3).

На фиг. 5 схематически проиллюстрирован еще один пример первичного модуля декодирования/рендеринга в соответствии с настоящим изобретением. В качестве примера первичный модуль 301 декодирования/рендеринга реализован как содержащий модуль M1 декодирования ядра MPEG-H 3D Audio и соответствующие блоки рендеринга, такие как модуль M2 рендеринга объекта, например, в том числе заданный согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3).

На фиг. 5 в качестве примера проиллюстрировано то, как вышеописанного можно достичь в модуле декодирования MPEG-H 3D Audio, где медиаформат представляет собой закодированные данные (такие как MPEG-4 Audio). Модифицированный модуль 301 декодирования может декодировать входные медиаданные (MHASPacketType == PACTYP_MEDIA) с применением дополнительного модуля 301c2 декодирования (модуля конвертирования и/или модуля декодирования, приспособленных для конвертирования и/или декодирования вспомогательных медиаданных), не обязательно определенного в ISO/IEC 23008-3. Кроме того, модифицированный модуль декодирования может микшировать те декодированные медиаданные со звуковыми медиаданными, которые были созданы модулем M1 декодирования ядра MPEG-H 3D Audio, как задано согласно стандарту MPEG-H 3D audio (ISO/IEC 23008-3).

Выравнивание во времени нескольких подпотоков MHAS, берущих начало от разных источников

В примерных аспектах в соответствии с настоящим изобретением могут быть предоставлены дополнительные блоки выравнивания во времени для выравнивания во времени пакетов вспомогательного потока, например, для обеспечения выравнивания во времени нескольких подпакетов MHAS, берущих начало от разных источников.

Как указано в разделе 14.6 ISO/IEC 23008-3, «подпотоки MHAS генерируются одним и тем же модулем кодирования, [и, следовательно] считается, что различные входящие потоки […] полностью выровнены и не имеют фазового сдвига». В этом случае выравнивание группы данных может быть завершено с применением номера MHASPacketLabel. С предложенным способом в настоящем изобретении это вышеуказанное ограничение можно более не считать обязательным. С разными длительностями групп данных для разных кодеков или частот дискретизации сдвиг по времени следующих друг за другом пакетов MHAS вторичного потока, который объединяется с основным потоком MHAS, варьирует со временем. В каждом конкретном временном интервале должен сигнализироваться сдвиг согласования по времени вторичного потока относительно основного потока. Например, в связанных пакетах вспомогательного потока, указывающих тип пакета, относящийся к метаданным, связанным с медиаданными, содержащимися в полезной нагрузке пакетов вспомогательного потока, как показано на фиг. 6.

На фиг. 6 проиллюстрированы примерные типы пакетов для достижения целей настоящего изобретения на основе MHAS, например, в том случае, если задан другой тип пакета MHAS для переноса подходящей сигнальной информации о сдвиге по времени. Для связи этой сигнальной информации с соответствующим потоком пакет сдвига по времени должен иметь тот же назначенный номер MHASPacketLabel, что и MHASPacket типа PACTYP_MEDIA, к которому он относится. Из фиг. 6 становится очевидно, что прямое отношение «один к одному» данных потока, соответствующих одному конкретному временному интервалу каждого потока, не гарантировано, напротив, два или более временных интервалов из одного потока могут соответствовать одному временному интервалу из другого потока в отношении времени.

Другим вариантом сигнализирования сдвига по времени является добавление этого сдвига по времени в сам пакет MHAS типа PACTYP_MEDIA.

С учетом вышесказанного, в некоторых примерных аспектах в соответствии с настоящим изобретением блок конвертирования и/или декодирования модифицированного первичного модуля 301 декодирования/рендеринга согласно примерам по фиг. 4 и/или фиг. 5 может содержать блок выравнивания во времени для выравнивания во времени данных вспомогательного потока с данными основного потока, например, перед микшером, таким как микшерный блок M4 согласно примерам по фиг. 4 и фиг. 5, или также перед модулем дискретизации (например, модулем M3 конвертирования частоты дискретизации) согласно примерам по фиг. 4 и фиг. 5, или также в виде части вторичного модуля 203 декодирования/рендеринга согласно примеру по фиг. 1.

Управление микшированием основного и вторичного звуковых потоков

Могут понадобиться дополнительные данные для управления микшированием вторичного (вспомогательного) звукового потока с основными звуковыми потоками. Среди прочих вариантов эти данные могут содержать статические коэффициенты усиления или динамические последовательности усиления, в качестве примера образованные как данные DynamicRangeControl согласно ISO/IEC 23003-4 для обработки основного потока при воспроизведении вторичного звукового потока. Те данные обычно генерируются приспособлением № 1 и могут быть включены в поток либо раздельными пакетами MHAS (например, с идентификатором PACTYP_MPEGH_MEDIA_CFG) в качестве еще одного дополнения к заголовку вторичного потока, либо за счет любого другого вида запаковки потока.

С учетом вышесказанного, в некоторых примерных аспектах в соответствии с настоящим изобретением блок конвертирования и/или декодирования модифицированного модуля 301 декодирования согласно примерам по фиг. 4 и/или фиг. 5 может содержать блок регулировки коэффициента усиления для задействования статических и/или динамических коэффициентов усиления (например, для регулировки громкости), например, перед микшером, таким как микшерный блок M4 согласно примерам по фиг. 4 и фиг. 5, или также перед модулем дискретизации (например, модулем M3 конвертирования частоты дискретизации) согласно примерам по фиг. 4 и фиг. 5, или также в виде части вторичного модуля 203 декодирования/рендеринга согласно примеру по фиг. 1.

Экосистема Dolby

Также в Dolby AC-4 (ETSI TS 103 190), и Dolby Digital, и Dolby Digital Plus (ETSI TS 102 366) предложена возможность переноса любых двоичных данных в полезной нагрузке EMDF, что может быть использовано для переноса тех же или похожих данных, как задано в вышеописанном разделе (Экосистема MPEG-H).

Для этих целей могут быть применены элемент синтаксиса emdf_info(), как задано в ETSI TS 103 190, или элемент синтаксиса emdf_container(), как задано в ETSI TS 102 366, приложение H и их подлежащие элементы. Чтобы сделать это, можно просто задать одну или более формулировок emdf_payload_id, которые могут быть использованы с целью идентификации двоичных данных, которые имеют формат, который одинаков с тем или подобен тому, что описан выше в отношении PACTYP_MEDIA и/или PACTYP_MPEGH_MEDIA_CFG.

Системное микширование звуков для потоков медиаданных, содержащих несжатые/незакодированные данные, может быть достигнуто подобным образом в Dolby AC-4 или Dolby Digital / Dolby Digital Plus, как показано на фиг. 4 и фиг. 5, при этом разница заключается в том, что различение сигнального пути для использования производится не на основе MHASPacketType, а на основе значения emdf_payload_id.

Потоки медиаданных, к которым относится настоящее изобретение, как основной поток, так и потоки побочных данных, могут представлять собой следующий тип:

 звуковые потоки, как сжатые, так и несжатые;

 видеопотоки;

 субтитры.

Настоящее изобретение также может быть применено к приспособлениям представления видео (мониторам), в которых будет происходить отправка вышележащих картинки, видео или текста в дополнение к основному (обычно сжатому) видеопотоку через стандартизованное интерфейсное соединение.

Ссылки:

 US20170223429A1, EP3149955A1;

 ISO/IEC 23008-3: (MPEG-H 3d Audio, 2-е издание).

Пронумерованные примерные варианты осуществления настоящего изобретения относятся к следующему.

EEE1. Способ обработки звукового сигнала, включающий:

прием объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, указывающим основную звуковую информацию, и пакеты, связанные с потоком побочных данных, указывающим вспомогательную звуковую информацию, идентификацию значения типа пакета в информации заголовка пакетов объединенного пакетированного битового потока медиаданных и разделение объединенного пакетированного битового потока медиаданных на основе идентификации значения типа пакета в информации заголовка пакетов объединенного пакетированного битового потока медиаданных на основной поток, указывающий основную звуковую информацию, и поток побочных данных, указывающий вспомогательную звуковую информацию.

EEE2. Способ согласно пункту EEE1, дополнительно включающий:

микширование звукового выходного сигнала, основанного на выходном сигнале, полученном из основной звуковой информации основного потока, и выходного сигнала, полученного из вспомогательной звуковой информации потока побочных данных.

EEE3. Способ согласно пункту EEE2, в котором выходные сигналы из основной и вспомогательной звуковой информации выводят слушателю одновременно.

EEE4. Способ согласно пункту EEE1, дополнительно включающий:

декодирование основного потока первичным модулем декодирования.

EEE5. Способ согласно пункту EEE1, дополнительно включающий:

декодирование, когда поток побочных данных относится к сжатой вспомогательной звуковой информации, потока побочных данных вторичным модулем декодирования.

EEE6. Способ согласно пункту EEE1, дополнительно включающий:

конвертирование, когда поток побочных данных относится к сжатой вспомогательной звуковой информации, медиаданных, содержащихся в пакетах потока побочных данных, модулем конвертирования.

EEE7. Способ согласно пункту EEE5 или пункту EEE6, в котором

сжатая вспомогательная звуковая информация содержит звуковые данные MPEG-4.

EEE8. Способ согласно пункту EEE1, в котором

поток побочных данных относится к несжатой вспомогательной звуковой информации.

EEE9. Способ согласно пункту EEE8, в котором

несжатая вспомогательная звуковая информация содержит данные PCM.

EEE10. Способ согласно пункту EEE1, в котором

тип пакета указывает внутренний необработанный формат, в частности, внутренний по отношению к модулю декодирования необработанный формат.

EEE11. Способ согласно пункту EEE1, дополнительно включающий:

выполнение обработки сигнала в отношении потока побочных данных.

EEE12. Способ согласно пункту EEE11, в котором

выполнение обработки сигнала в отношении потока побочных данных выполняют перед микшированием звукового выходного сигнала, основанного на выходном сигнале, полученном из основной звуковой информации основного потока, и выходного сигнала, полученного из вспомогательной звуковой информации потока побочных данных.

EEE13. Способ согласно пункту EEE11, в котором

выполнение обработки сигнала в отношении потока побочных данных включает выполнение регулировки коэффициента усиления.

EEE14. Способ согласно пункту EEE13, в котором

регулировку коэффициента усиления выполняют на основе статического коэффициента усиления или динамического коэффициента усиления.

EEE15. Способ согласно пункту EEE13, дополнительно включающий:

прием информации микширования, относящейся к по меньшей мере одному из статического коэффициента усиления (статических коэффициентов усиления) или динамического коэффициента усиления (динамических коэффициентов усиления).

EEE16. Способ согласно пункту EEE13, в котором

регулировку коэффициента усиления выполняют для регулировки громкости.

EEE17. Способ согласно пункту EEE11, в котором

выполнение обработки сигнала в отношении потока побочных данных включает выполнение выравнивания во времени.

EEE18. Способ согласно пункту EEE17, в котором

выполнение выравнивания во времени выполняют для выравнивания во времени вспомогательной звуковой информации битового потока побочных данных с основной звуковой информацией основного битового потока.

EEE19. Способ согласно пункту EEE17 или пункту EEE18, дополнительно включающий:

прием информации о выравнивании во времени, относящейся к выравниванию во времени вспомогательной звуковой информации битового потока побочных данных с основной звуковой информацией основного битового потока.

EEE20. Способ согласно пункту EEE1, в котором

задают тип пакета для переноса сигнальной информации о сдвиге по времени, в частности, для выравнивания во времени.

EEE21. Способ согласно пункту EEE1, дополнительно включающий:

прием указания сдвига согласования по времени потока побочных данных относительно основного потока.

EEE22. Способ согласно пункту EEE11, в котором

выполнение обработки сигнала в отношении потока побочных данных включает рендеринг объекта, когда вспомогательная звуковая информация связана с информацией о положении.

EEE23. Способ согласно пункту EEE22, в котором

рендеринг объекта выполняют с помощью модуля рендеринга объекта, выполняющего рендеринг объекта для основного потока и для потока побочных данных.

EEE24. Способ согласно пункту EEE11, в котором

выполнение обработки сигнала в отношении потока побочных данных включает конвертирование формата.

EEE25. Способ согласно пункту EEE1, дополнительно включающий:

декодирование основного потока стандартизованным модулем декодирования MPEG-H 3D audio.

EEE26. Способ согласно пункту EEE25, дополнительно включающий:

микширование медиаданных, содержащихся в пакетах потока побочных данных, с медиаданными, генерируемыми стандартизованным модулем декодирования MPEG-H 3D audio.

EEE27. Способ согласно пункту EEE26, в котором

медиаданные, содержащиеся в пакетах потока побочных данных, представляют собой несжатые данные, в частности, данные PCM, или сжатые данные, в частности, звуковые данные MPEG4.

EEE28. Способ согласно пункту EEE26, в котором

медиаданные, содержащиеся в пакетах потока побочных данных, декодируют с помощью модуля декодирования, не стандартизованного в MPEG-H 3D audio.

EEE29. Способ согласно пункту EEE1, в котором

объединенный пакетированный битовый поток медиаданных содержит пакеты MHAS.

EEE30. Способ обработки звукового сигнала, включающий:

- прием основного потока, указывающего основную звуковую информацию;

- генерирование на основе вспомогательной звуковой информации или прием потока побочных данных, указывающего вспомогательную звуковую информацию; и

- объединение основного потока и потока побочных данных для генерирования объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, указывающим основную звуковую информацию, и пакеты, связанные с потоком побочных данных, указывающим вспомогательную звуковую информацию.

EEE31. Способ согласно пункту EEE30, дополнительно включающий

пакетирование медиаданных, указывающих вспомогательную звуковую информацию, с получением пакетов формата объединенного пакетированного битового потока медиаданных.

EEE32. Способ согласно пункту EEE30, в котором

поток побочных данных относится к сжатой вспомогательной звуковой информации.

EEE33. Способ согласно пункту EEE32, в котором

сжатая вспомогательная звуковая информация содержит звуковые данные MPEG-4.

EEE34. Способ согласно пункту EEE30, в котором

поток побочных данных относится к несжатой вспомогательной звуковой информации.

EEE35. Способ согласно пункту EEE34, в котором

несжатая вспомогательная звуковая информация содержит данные PCM.

EEE36. Способ согласно пункту EEE30, в котором

информация заголовка пакетов объединенного пакетированного битового потока медиаданных указывает тип пакета.

EEE37. Способ согласно пункту EEE36, в котором

значение типа пакета, имеющего отношение к пакетам, связанным с потоком побочных данных, указывающим вспомогательную звуковую информацию, указывает медиаданные, связанные со вспомогательной звуковой информацией.

EEE38. Способ согласно пункту EEE30, в котором

объединенный пакетированный битовый поток медиаданных содержит пакеты MHAS.

EEE39. Устройство для обработки звукового сигнала, содержащее:

приемник, приспособленный для приема объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, указывающим основную звуковую информацию, и пакеты, связанные с потоком побочных данных, указывающим вспомогательную звуковую информацию; и

модуль разделения, приспособленный для разделения объединенного пакетированного битового потока медиаданных на основе идентификации значения типа пакета в информации заголовка пакетов объединенного пакетированного битового потока медиаданных на основной поток, указывающий основную звуковую информацию, и поток побочных данных, указывающий вспомогательную звуковую информацию.

EEE40. Устройство согласно пункту EEE39, дополнительно содержащее:

микшер, приспособленный для микширования звукового выходного сигнала, основанного на выходном сигнале, полученном из основной звуковой информации основного потока, и выходного сигнала, полученного из вспомогательной звуковой информации потока побочных данных.

EEE41. Устройство согласно пункту EEE39, дополнительно содержащее:

первичный модуль декодирования, приспособленный для декодирования основного потока.

EEE42. Устройство согласно пункту EEE39, дополнительно содержащее:

вторичный модуль декодирования, приспособленный для декодирования, когда поток побочных данных относится к сжатой вспомогательной звуковой информации, потока побочных данных.

EEE43. Устройство согласно пункту EEE39, дополнительно содержащее:

модуль конвертирования, приспособленный для конвертирования, когда поток побочных данных относится к сжатой вспомогательной звуковой информации, медиаданных, содержащихся в пакетах потока побочных данных.

EEE44. Устройство согласно пункту EEE42 или пункту EEE43, в котором

сжатая вспомогательная звуковая информация содержит звуковые данные MPEG-4.

EEE45. Устройство согласно пункту EEE39, в котором

поток побочных данных относится к несжатой вспомогательной звуковой информации.

EEE46. Устройство согласно пункту EEE45, в котором

несжатая вспомогательная звуковая информация содержит данные PCM.

EEE47. Устройство согласно пункту EEE39, в котором

тип пакета указывает внутренний необработанный формат, в частности, внутренний по отношению к модулю декодирования необработанный формат.

EEE48. Устройство согласно пункту EEE39, дополнительно содержащее:

блок регулировки коэффициента усиления, приспособленный для выполнения регулировки коэффициента усиления применительно к потоку побочных данных.

EEE49. Устройство согласно пункту EEE39, дополнительно содержащее:

блок выравнивания во времени, приспособленный для выполнения выравнивания во времени применительно к потоку побочных данных.

EEE50. Устройство согласно пункту EEE39, дополнительно содержащее:

модуль рендеринга объекта, приспособленный для выполнения рендеринга объекта применительно к потоку побочных данных.

EEE51. Устройство согласно пункту EEE50, в котором

модуль рендеринга объекта содержится в первичном модуле декодирования.

EEE52. Устройство согласно пункту EEE39, дополнительно содержащее:

блок конвертирования формата, приспособленный для выполнения конвертирования формата применительно к потоку побочных данных.

EEE53. Устройство согласно пункту EEE39, дополнительно содержащее:

стандартизованный модуль декодирования MPEG-H 3D audio для декодирования основного потока.

EEE54. Устройство согласно пункту EEE39, в котором

объединенный пакетированный битовый поток медиаданных содержит пакеты MHAS.

EEE55. Устройство для обработки звукового сигнала, содержащее:

приемник, приспособленный для приема основного потока, указывающего основную звуковую информацию;

локальный механизм, приспособленный для генерирования на основе вспомогательной звуковой информации потока побочных данных, указывающего вспомогательную звуковую информацию, и/или приемник, приспособленный для приема потока побочных данных; и

модуль объединения, приспособленный для объединения основного потока и потока побочных данных для генерирования объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, указывающим основную звуковую информацию, и пакеты, связанные с потоком побочных данных, указывающим вспомогательную звуковую информацию.

EEE56. Устройство согласно пункту EEE55, дополнительно содержащее:

модуль пакетирования, приспособленный для пакетирования медиаданных, указывающих вспомогательную звуковую информацию, с получением пакетов формата объединенного пакетированного битового потока медиаданных.

EEE57. Система, содержащая устройство согласно пункту EEE55 и устройство согласно пункту EEE39.

Настоящее изобретение относится к способам, устройству и системам локальной обработки пакетированных потоков медиаданных. В варианте осуществления устройство содержит: приемник для приема битового потока и модуль разделения для идентификации типа пакета в битовом потоке и осуществления разделения на основе идентификации значения типа пакета в битовом потоке на основной поток и вспомогательный поток. 6 н. и 22 з.п. ф-лы, 6 ил.

1. Устройство обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, содержащее:

приемник, приспособленный для приема объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, и пакеты, связанные со вспомогательным потоком, при этом основной поток содержит данные MPEG-H 3D audio, запакованные в виде пакетов в формате MHAS согласно ISO/IEC 23008-3, и при этом вспомогательный поток содержит дополнительные звуковые данные, запакованные в виде пакетов в формате MHAS, при этом формат полезной нагрузки пакета, имеющей отношение к пакетам, связанным со вспомогательным потоком, отличается от формата MPEG-H 3D audio, и пакеты сдвига по времени в формате MHAS, сигнализирующие об указании сдвига по времени вспомогательного потока относительно основного потока и имеющие тот же назначенный номер метки пакета, что и пакеты MHAS, переносящие дополнительные звуковые данные, на которые ссылаются указанные пакеты сдвига по времени;

модуль разделения, приспособленный для идентификации типа пакета, запакованного в заголовке пакетов в объединенном пакетированном битовом потоке медиаданных, и приспособленный для разделения на основе идентификации типа пакета объединенного пакетированного битового потока медиаданных на основной поток и вспомогательный поток, при этом типы пакетов, имеющие отношение к пакетам, связанным со вспомогательным потоком, представляют собой новые типы пакетов MHAS, запакованные в заголовке пакета, при этом новые типы пакетов MHAS отличаются от типа пакета согласно ISO/IEC 23008-3; и

блок выравнивания во времени для выравнивания во времени дополнительных звуковых данных с основными звуковыми данными на основе сигнализированного сдвига по времени.

2. Устройство по п. 1, отличающееся тем, что устройство дополнительно содержит первичный модуль декодирования, приспособленный для декодирования основного потока согласно формату MPEG-H 3D audio.

3. Устройство по п. 1, отличающееся тем, что пакеты, связанные со вспомогательным потоком, содержат подзаголовок, идентифицирующий формат полезной нагрузки пакета.

4. Устройство по п. 1, отличающееся тем, что устройство дополнительно содержит вторичный модуль декодирования, приспособленный для приема вспомогательного потока от модуля разделения и для декодирования вспомогательного потока согласно тому, что указанный формат отличается от формата MPEG-H 3D audio.

5. Устройство по п. 1, отличающееся тем, что выходные сигналы, полученные из основного и вспомогательного потоков, выводятся слушателю одновременно.

6. Способ обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, включающий:

прием объединенного пакетированного битового потока медиаданных, который содержит пакеты, связанные с основным потоком, и пакеты, связанные со вспомогательным потоком, при этом основной поток содержит данные MPEG-H 3D audio, запакованные в виде пакетов в формате MHAS согласно ISO/IEC 23008-3, и при этом вспомогательный поток содержит дополнительные звуковые данные, запакованные в виде пакетов в формате MHAS, при этом формат полезной нагрузки пакета, имеющей отношение к пакетам, связанным со вспомогательным потоком, отличается от формата MPEG-H 3D audio, и пакеты сдвига по времени в формате MHAS, сигнализирующие об указании сдвига по времени вспомогательного потока относительно основного потока и имеющие тот же назначенный номер метки пакета, что и пакеты MHAS, переносящие дополнительные звуковые данные, на которые ссылаются указанные пакеты сдвига по времени;

идентификацию типа пакета, запакованного в заголовке пакетов в объединенном пакетированном битовом потоке медиаданных;

разделение на основе идентификации типа пакета объединенного пакетированного битового потока медиаданных на основной поток и вспомогательный поток, при этом типы пакетов, имеющие отношение к пакетам, связанным со вспомогательным потоком, представляют собой новые типы пакетов MHAS, запакованные в заголовке пакета, при этом новые типы пакетов MHAS отличаются от типа пакета согласно ISO/IEC 23008-3; и

выравнивание во времени дополнительных звуковых данных с основными звуковыми данными на основе сигнализированного сдвига по времени.

7. Способ по п. 6, отличающийся тем, что способ дополнительно включает декодирование согласно формату MPEG-H 3D audio первичным модулем декодирования основного потока, полученного вследствие разделения объединенного пакетированного битового потока медиаданных.

8. Способ по п. 6, отличающийся тем, что пакеты, связанные со вспомогательным потоком, содержат подзаголовок, идентифицирующий формат полезной нагрузки пакета.

9. Способ по п. 6, отличающийся тем, что способ дополнительно включает декодирование вторичным модулем декодирования вспомогательного потока, полученного вследствие разделения объединенного пакетированного битового потока, согласно тому, что указанный формат отличается от формата MPEG-H 3D audio.

10. Способ по п. 6, отличающийся тем, что способ дополнительно включает одновременный вывод сигналов, полученных из основного и вспомогательного потоков, слушателю.

11. Устройство обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, содержащее:

модуль декодирования ядра MPEG-H 3D Audio, приспособленный для создания звуковых данных на основе пакетов, связанных с основным потоком объединенного пакетированного битового потока медиаданных, который содержит основные данные MPEG-H 3D audio, запакованные в виде пакетов в формате MHAS согласно ISO/IEC 23008-3;

блок конвертирования формата, приспособленный для выполнения конвертирования формата в отношении дополнительных звуковых данных, запакованных в виде пакетов, связанных со вспомогательным потоком объединенного пакетированного битового потока медиаданных, на основе идентификации типа пакета, при этом пакеты имеют новый тип пакета MHAS, запакованный в заголовке пакетов, при этом новый тип пакета MHAS отличается от типа пакета согласно ISO/IEC 23008-3;

модуль конвертирования частоты дискретизации, приспособленный для конвертирования частоты дискретизации дополнительных звуковых данных, запакованных в указанных пакетах; и

микшер, приспособленный для микширования звуковых данных, созданных модулем декодирования ядра MPEG-H 3D Audio, и звуковых данных, выводимых модулем конвертирования частоты дискретизации.

12. Устройство по п. 11, отличающееся тем, что новый тип пакета указывает внутренний необработанный формат.

13. Устройство по п. 12, отличающееся тем, что формат представляет собой PCM.

14. Устройство обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, содержащее:

модуль декодирования ядра MPEG-H 3D Audio, приспособленный для создания звуковых данных на основе пакетов, связанных с основным потоком объединенного пакетированного битового потока медиаданных, который содержит основные данные MPEG-H 3D audio, запакованные в виде пакетов в формате MHAS согласно ISO/IEC 23008-3;

дополнительный модуль декодирования, содержащий средства для декодирования дополнительных звуковых данных, запакованных в виде пакетов, связанных со вспомогательным потоком в объединенном пакетированном битовом потоке медиаданных, на основе идентификации типа пакета, запакованного в заголовке пакетов, при этом тип пакета представляет собой новый тип MHAS, отличный от типа пакета согласно ISO/IEC 23008-3, который не может быть декодирован стандартизованным модулем декодирования ядра MPEG-H 3D Audio и который указывает формат полезной нагрузки пакета;

блок конвертирования формата, приспособленный для выполнения конвертирования формата в отношении дополнительных звуковых данных, запакованных в указанных пакетах;

модуль конвертирования частоты дискретизации, приспособленный для конвертирования частоты дискретизации дополнительных звуковых данных, запакованных в указанных пакетах; и

микшер, приспособленный для микширования звуковых данных, созданных модулем декодирования ядра MPEG-H 3D Audio, и звуковых данных, выводимых модулем конвертирования частоты дискретизации.

15. Устройство по п. 14, отличающееся тем, что дополнительный модуль декодирования дополнительно приспособлен для приема указания сдвига согласования по времени вспомогательного потока относительно основного потока.

16. Устройство по п. 15, отличающееся тем, что задается еще один новый тип пакета MHAS, отличный от типа пакета согласно ISO/IEC 23008-3, для переноса сигнальной информации о сдвиге по времени, и при этом пакет MHAS, переносящий информацию о сдвиге по времени, имеет тот же назначенный номер метки пакета, что и пакет MHAS, переносящий дополнительные звуковые данные, на которые он ссылается.

17. Устройство по п. 14, отличающееся тем, что дополнительный модуль декодирования дополнительно приспособлен для приема информации, относящейся к микшированию вспомогательного потока с основным потоком.

18. Устройство по п. 17, отличающееся тем, что информация микширования относится к по меньшей мере одному из статического коэффициента усиления (статических коэффициентов усиления) или динамического коэффициента усиления (динамических коэффициентов усиления) для выполнения регулировки коэффициента усиления дополнительных звуковых данных.

19. Способ обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, включающий:

прием объединенного пакетированного битового потока медиаданных в модуле декодирования MPEG-H 3D Audio, при этом объединенный пакетированный битовый поток медиаданных содержит пакеты в формате MHAS согласно ISO/IEC 23008-3, связанные с основным потоком, и пакеты в формате MHAS, отличном от типа пакета согласно ISO/IEC 23008-3, связанные со вспомогательным потоком;

создание модулем декодирования ядра MPEG-H 3D Audio звуковых данных на основе пакетов, связанных с основным потоком; и

выполнение блоком конвертирования формата конвертирования формата в отношении дополнительных звуковых данных, запакованных в пакетах, связанных со вспомогательным потоком, на основе идентификации типа пакета, при этом пакеты имеют новый тип пакета MHAS, запакованный в заголовке пакетов;

конвертирование модулем конвертирования частоты дискретизации частоты дискретизации дополнительных звуковых данных, запакованных в указанных пакетах; и

микширование звуковых данных, выводимых модулем конвертирования частоты дискретизации, со звуковыми данными, созданными стандартизованным модулем декодирования ядра MPEG-H 3D Audio.

20. Способ по п. 19, отличающийся тем, что способ дополнительно включает прием указания сдвига согласования по времени вспомогательного потока относительно основного потока.

21. Способ по п. 20, отличающийся тем, что задают еще один новый тип пакета MHAS, отличный от типа пакета согласно ISO/IEC 23008-3, для переноса сигнальной информации о сдвиге по времени, и при этом пакет MHAS, переносящий информацию о сдвиге по времени, имеет тот же назначенный номер метки пакета, что и пакет MHAS, переносящий дополнительные звуковые данные, на которые он ссылается.

22. Способ по п. 19, отличающийся тем, что способ дополнительно включает прием информации, относящейся к микшированию вспомогательного потока с основным потоком.

23. Способ по п. 22, отличающийся тем, что информация микширования относится к по меньшей мере одному из статического коэффициента усиления (статических коэффициентов усиления) или динамического коэффициента усиления (динамических коэффициентов усиления) для выполнения регулировки коэффициента усиления дополнительных звуковых данных.

24. Способ обработки вспомогательных потоков медиаданных, встроенных в поток MPEG-H 3D audio, включающий:

прием объединенного пакетированного битового потока медиаданных, который содержит пакеты в формате MHAS согласно ISO/IEC 23008-3, связанные с основным потоком, и пакеты в формате MHAS, отличном от типа пакета согласно ISO/IEC 23008-3, связанные со вспомогательным потоком, в модуле декодирования MPEG-H 3DA;

создание модулем декодирования ядра MPEG-H 3D Audio звуковых данных на основе пакетов, связанных с основным потоком;

идентификацию дополнительным модулем декодирования типа пакета, запакованного в заголовке пакета, при этом тип пакета представляет собой новый тип пакета MHAS, указывающий формат полезной нагрузки пакета;

декодирование дополнительных звуковых данных, содержащихся в тех пакетах, при этом процесс декодирования не стандартизован в MPEG-H 3D Audio;

выполнение блоком конвертирования формата конвертирования формата в отношении указанных дополнительных звуковых данных;

конвертирование модулем конвертирования частоты дискретизации частоты дискретизации указанных дополнительных звуковых данных; и

микширование звуковых данных, выводимых модулем конвертирования частоты дискретизации, со звуковыми данными, созданными стандартизованным модулем декодирования ядра MPEG-H 3D Audio.

25. Способ по п. 24, отличающийся тем, что способ дополнительно включает прием указания сдвига согласования по времени вспомогательного потока относительно основного потока.

26. Способ по п. 25, отличающийся тем, что задают еще один новый тип пакета MHAS, отличный от типа пакета согласно ISO/IEC 23008-3, для переноса сигнальной информации о сдвиге по времени, и при этом пакет MHAS, переносящий сигнальную информацию о сдвиге по времени, имеет тот же назначенный номер метки пакета, что и пакет MHAS, переносящий дополнительные звуковые данные, на которые он ссылается.

27. Способ по п. 24, отличающийся тем, что способ дополнительно включает прием информации, относящейся к микшированию вспомогательного потока с основным потоком.

28. Способ по п. 27, отличающийся тем, что информация микширования относится к по меньшей мере одному из статического коэффициента усиления (статических коэффициентов усиления) или динамического коэффициента усиления (динамических коэффициентов усиления) для выполнения регулировки коэффициента усиления дополнительных звуковых данных.