ПОТОКИ ДАННЫХ ЭЛЕМЕНТОВ АУДИОВИЗУАЛЬНОГО КОНТЕНТА Российский патент 2019 года по МПК H04N21/2362 H04N21/84 H04N21/242 G10L21/55 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к потокам данных элементов аудиовизуального контента и, в частности, но не исключительно, к потокам данных элементов аудиовизуального контента, таким как транспортный поток MPEG-2.

УРОВЕНЬ ТЕХНИКИ

Цифровое кодирование различных сигналов источника в течение последних десятилетий приобретает все большее значение, так как представление и передача цифрового сигнала в большей степени заменило аналоговое представление и передачу. Например, системы мобильной телефонной связи, такие как глобальная система мобильной связи, основываются на цифровом кодировании речи. Также распространение мультимедийного контента, такого как видео и музыка, все больше основывается на кодировании цифрового контента.

Как правило, элемент аудиовизуального контента содержит некоторое количество разных аудиовизуальных компонент и типов данных. Например, элемент контента, соответствующий фильму или телевизионной программе, может включать в себя по меньшей мере одну компоненту видеосигнала, как правило, множество разных аудиокомпонент, данных управления, данных синхронизации, метаданных, например, характеризующих контент и т.д. Например, фильм может включать в себя основную видеокомпоненту, вторичную видеокомпоненту, множество аудиодорожек (например, для разных языков), данные субтитров, метаданные, идентифицирующие, например, название фильма, основных актеров и т.д. Таким образом, часто относительно большое количество разных типов данных должно включаться в единый комбинированный поток данных для элемента аудиовизуального контента.

Для размещения представления элемента аудиовизуального контента, который включает в себя некоторый диапазон данных разных типов, может часто формироваться поток данных элементов аудиовизуального контента, который содержит множество (вложенных) потоков аудиовизуальных данных, обеспечивающих аудиовизуальные компоненты для элемента аудиовизуального контента. Кроме того, могут включаться потоки данных, содержащие данные управления, метаданные и т.д.

Поток данных элементов аудиовизуального контента может содержать все данные, относящиеся к воспроизведению элемента контента. Поток данных элементов аудиовизуального контента, как правило, упоминается как транспортный поток, или возможно как системный поток, программный поток или контейнерный поток. Отдельный поток аудиовизуальных данных, как правило, упоминается как элементарный поток данных.

Для обеспечения эффективного представления элемента аудиовизуального контента, важно то, что эффективная структура данных определяется для потока данных элементов аудиовизуального контента. Использование структуры данных, содержащей некоторое количество отдельных потоков аудиовизуальных данных, которые, каждый, представляют аудиовизуальные компоненты, обеспечивает гибкий, но эффективный подход. Подход, например, позволяет гибкое включение разных аудиодорожек для определенной видеокомпоненты, например, аудиосигналы, соответствующие разным языкам, могут обеспечиваться в разных потоках аудиовизуальных данных.

Было стандартизировано некоторое количество разных структур для потоков данных элементов аудиовизуального контента. Одна из наиболее широко распространенных и часто используемых структур для потоков данных элементов аудиовизуального контента является транспортным потоком MPEG-2, который используется, например, для цифрового телевизионного вещания или Blu-ray.

Транспортный поток MPEG-2 является примером структуры данных, в которой поток данных составлен из множества последовательных мультиплексированных по времени пакетов данных. Каждый пакет данных может обеспечивать данные для конкретной компоненты элемента аудиовизуального контента.

Однако проблема в отношении традиционного подхода для потоков данных элементов аудиовизуального контента состоит в том, что структура данных является субоптимальной для некоторых целей, и, в частности, как правило, не обеспечивает оптимальную гибкость.

Например, потоки данных элементов аудиовизуального контента, как, например, транспортный поток MPEG-2, действительно поддерживают альтернативные аудиопредставления для определенной сцены посредством позволения для разных аудиопредставлений обеспечиваться в разных элементарных потоках. Приемник может затем выбирать между альтернативными элементарными потоками для обеспечения требуемой аудиодорожки. Например, транспортный поток MPEG-2 может содержать элементарный поток, содержащий видеокомпоненту, вместе с двумя элементарными потоками, каждый из которых обеспечивает аудиопредставление, которое может воспроизводиться вместе с видеокомпонентой. Например, один элементарный аудиопоток может содержать аудио видеокомпоненты на исходном языке, в то время как другой элементарный аудиопоток может содержать аудио для видеокомпоненты, но с речью, дублированной на другом языке. Декодер или модуль воспроизведения затем может выбирать между альтернативными аудиодорожками для видео посредством выбора соответствующего элементарного потока.

Однако такой подход не обеспечивает оптимальную гибкость для аудио, и также приводит к относительно высокой скорости передачи данных вследствие параллельных аудиопредставлений, обеспечиваемых альтернативными элементарными потоками.

Таким образом, было бы желательно обеспечить улучшенный подход для потоков данных элементов аудиовизуального контента, и, в частности, был бы желателен подход, который обеспечивает дополнительную гибкость, и/или уменьшенную скорость передачи данных.

Однако важнейшая проблема состоит в том, как такое совершенствование является возможным при поддержании высокой степени совместимости с существующими подходами. Например, желательно, иметь возможность дополнительно совершенствовать транспортный поток MPEG-2, но такое совершенствование должно предпочтительно поддерживать настолько большую обратную совместимость, насколько возможно. Рассмотрения, требуемые для совершенствования подходов для потоков данных элементов аудиовизуального контента, могут кроме того не ограничиваться только тем, какие дополнительные данные должны обеспечиваться, как или в каком формате. Скорее, дополнительные проблемы существуют в определении того, как такие данные должны включаться в поток данных элементов аудиовизуального контента, чтобы не только достигать эффективного потока данных элементов аудиовизуального контента, но также обеспечивать эффективную работу и предпочтительно оптимизированную обратную совместимость.

Следовательно, был бы полезен улучшенный подход для потоков данных элементов аудиовизуального контента.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Таким образом, изобретение стремится предпочтительно ослабить, смягчить или устранить один или более из вышеупомянутых недостатков отдельно или в любом сочетании.

Согласно одному аспекту изобретения предложен способ формирования потока данных элементов аудиовизуального контента, содержащего множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации;

причем способ содержит этапы, на которых: формируют первый поток аудиовизуальных данных, содержащий первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные для аудиопредставления и заменяемые аудиоданные для аудиопредставления, при этом заменяемые аудиоданные являются данными, заменяемыми посредством альтернативных аудиоданных; и включают первый поток аудиовизуальных данных в поток данных элементов аудиовизуального контента.

Изобретение может обеспечивать улучшенный поток данных элементов аудиовизуального контента. В частности, во многих сценариях может достигаться транспортный поток с повышенной гибкостью и/или уменьшенной скоростью передачи данных.

Во многих сценариях может достигаться более эффективное обеспечение альтернативного аудио. Подход может, как правило, осуществляться как усовершенствование, или дополнительное развитие существующих транспортных потоков при требовании относительно низкого уровня модификации. Часто может достигаться увеличенная обратная совместимость.

В качестве конкретного примера, подход может обеспечивать эффективное и практическое усовершенствование транспортных потоков, как, например, транспортного потока MPEG-2. Транспортный поток может поддерживать подход и общую философию дизайна традиционных транспортных потоков MPEG-2 по мере того, как обеспечивается его совершенствование для обеспечения более гибкого и эффективного представления альтернативных аудиопредставлений.

Заменяемые аудиоданные могут заменяться на/замещаться посредством/сменяться на/изменяться на альтернативные аудиоданные. Таким образом, транспортный поток обеспечивает альтернативные аудиопредставления для элемента контента с одной альтернативой, например, являющейся установленным по умолчанию представлением, представленным посредством обязательных аудиоданных и заменяемых аудиоданных, и другой, являющейся альтернативным представлением, представленным посредством обязательных аудиоданных и альтернативных аудиоданных.

Во многих сценариях, способ может дополнительно содержать этап, на котором включают альтернативные аудиоданные в транспортный поток, часто в первый поток аудиовизуальных данных или в другой поток данных элементов аудиовизуального контента из множества потоков аудиовизуальных данных. Таким образом, альтернативные аудиоданные могут содержаться в потоке аудиовизуальных данных из множества отдельных потоков аудиовизуальных данных.

Обязательные аудиоданные могут определять обязательную аудиокомпоненту для аудиопредставления. Заменяемые аудиоданные могут определять заменяемую аудиокомпоненту для аудиопредставления. Альтернативные аудиоданные могут определять альтернативную аудиокомпоненту для аудиопредставления.

Таким образом, первые аудиоданные могут содержать обязательные аудиоданные для обязательной аудиокомпоненты представления и заменяемые аудиоданные для заменяемой аудиокомпоненты для представления, при этом заменяемая аудиокомпонента является данными, которые могут замещаться посредством альтернативных аудиоданных для альтернативной аудиокомпоненты для заменяемой аудиокомпоненты.

Заменяемые аудиоданные могут соответствовать установленной по умолчанию аудиодорожке для элемента контента.

Транспортный поток может включать в себя назначение одного или более аудиопредставлений для элемента контента. Аудиопредставление может соответствовать набору аудиокомпонент, который является достаточным для обеспечения вывода аудио для элемента контента. Транспортный поток может соответствующим образом назначать по меньшей мере одну звуковую аудиодорожку/представление для элемента контента. Во многих вариантах осуществления по меньшей мере одно аудиопредставление, назначенное (или определенное) в транспортном потоке, содержит множество аудиокомпонент, при этом по меньшей мере одна аудиокомпонента является обязательной аудиокомпонентой и по меньшей мере одна аудиокомпонента является заменяемой аудиокомпонентой. Обязательная аудиокомпонента представляется посредством обязательных аудиоданных и заменяемая аудиокомпонента представляется посредством заменяемых аудиоданных. Обязательная аудиокомпонента должна включаться в вывод аудио для элемента контента при выборе представления. Однако когда приемник выбирает это представление, заменяемая аудиокомпонента может быть включена в данное представление или может быть замещена посредством альтернативной аудиокомпоненты. Альтернативная аудиокомпонента представляется посредством альтернативных аудиоданных, часто (но не всегда/необходимо) содержащихся в самом транспортном потоке.

В подходе, аудиоданные для аудиопредставления, определенного/заданного/описанного/назначенного в транспортном потоке, могут соответственно содержать обязательные аудиоданные для по меньшей мере одной обязательной аудиокомпоненты и заменяемые аудиоданные для по меньшей мере одной заменяемой аудиокомпоненты. Когда выбирается назначенное транспортному потоку аудиопредставление, например, для воспроизведения, то обязательная аудиокомпонента должна быть включена в аудиопредставление, тогда как заменяемая аудиокомпонента должна быть включена в аудиопредставление или заменена на альтернативную аудиокомпоненту.

Аудиопредставление для элемента контента может соответствовать набору аудиокомпонент, достаточному для обеспечения аудиопредставления/дорожки для элемента контента. Если говорить конкретнее, то аудиопредставление для элемента контента может соответствовать набору аудиокомпонент, которые указаны в транспортном потоке как достаточные, чтобы обеспечивать звуковую дорожку для элемента контента. Набор аудиокомпонент, который не определен в транспортном потоке как достаточный для обеспечения аудиопредставления для элемента контента, если только не комбинирован с по меньшей мере одной другой аудиокомпонентой, не формирует аудиопредставление.

Таким образом, транспортный поток может включать в себя данные, определяющие одно или более аудиопредставлений для элемента контента. Обязательные аудиоданные могут быть обязательными для первого аудиопредставления определенных аудиопредставлений. Заменяемые аудиоданные обеспечивают аудиоданные, требуемые для первого аудиопредставления, если только не заменяются на альтернативные аудиоданные. Транспортный поток может, возможно, назначать больше, чем одно аудиопредставление для элемента контента. В этом случае обязательные аудиоданные не должны быть обязательными для второго аудиопредставления.

Поток данных может, например, соответствовать отдельному файлу или сегменту файла.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап включения альтернативных аудиоданных в первый поток аудиовизуальных данных.

Это может обеспечивать эффективный и гибкий подход и поток данных элементов аудиовизуального контента. В частности, во многих сценариях, это может обеспечивать весьма эффективную структуру данных для альтернативного аудио. Подход может, например, обеспечивать улучшенное группирование альтернативного аудио, что может в некоторых вариантах осуществления облегчать работу.

В соответствии с дополнительным признаком изобретения, этап включения альтернативных аудиоданных в первый поток аудиовизуальных данных содержит этап, на котором включают альтернативные аудиоданные в другой поток аудиовизуальных данных из множества отдельных потоков аудиовизуальных данных, нежели первый поток аудиовизуальных данных.

Это может обеспечивать эффективный и гибкий подход, и эффективный и гибкий поток данных элементов аудиовизуального контента. В частности, это может во многих сценариях обеспечивать весьма эффективную структуру данных для альтернативного аудио. Подход может, например, облегчать формирование транспортного потока и/или облегчать извлечение требуемых данных оттуда.

В некоторых вариантах осуществления, другой поток аудиовизуальных данных может обеспечивать альтернативное аудиопредставление аудиосцены. Например, другой поток аудиовизуальных данных может назначаться в транспортном потоке в качестве элементарного потока, который обеспечивает аудиопредставление для элемента контента. Если говорить конкретнее, то он может содержать данные для набора аудиокомпонент, достаточного для формирования вывода аудио для элемента контента, без включения каких-либо аудиокомпонент для других потоков.

Поток данных элементов аудиовизуального контента может быть транспортным потоком и первый поток аудиовизуальных данных может быть элементарным потоком.

Подход может обеспечивать улучшенный транспортный поток, который основывается на некотором количестве отдельных элементарных потоков. Подход может обеспечивать гибкую, но эффективную структуру для представления элемента контента. Кроме того, он может обеспечивать улучшенную обратную совместимость со стандартными системами.

В соответствии с дополнительным признаком изобретения, заменяемые аудиоданные представляют речевую аудиокомпоненту на первом языке и альтернативные аудиоданные представляют речевую аудиокомпоненту на втором языке.

Подход может обеспечивать особенно эффективный подход для обеспечения множества разных/альтернативных языков для определенного элемента контента.

В соответствии с дополнительным признаком изобретения, обязательные аудиоданные представляют фоновую аудиокомпоненту и заменяемые аудиоданные представляют речевую аудиокомпоненту.

Подход может обеспечивать особенно эффективный подход для обеспечения дифференцированного звука для фонового аудио и речевого аудио, и, в частности, может облегчать поддержку альтернативных речевых компонент без нежеланного увеличения скорости передачи данных.

В соответствии с дополнительным признаком изобретения, заменяемые аудиоданные и альтернативные аудиоданные представляют один и тот же аудиоконтент, кодированный с использованием разных характеристик кодирования.

Разные характеристики кодирования могут, например, быть разными скоростями передачи данных, разными алгоритмами кодирования и т.д. Если говорить конкретнее, то в некоторых вариантах осуществления, заменяемые аудиоданные и альтернативные аудиоданные могут представлять один и тот же аудиоконтент или компоненту, кодированную с разными характеристиками кодирования, как, например, разными битовыми скоростями передачи данных.

Подход может обеспечивать повышенную гибкость, и может, в частности, обеспечивать гибкую адаптацию характеристик транспортного потока. Кроме того, подход может позволять относительно легко модифицировать транспортный поток посредством, например, промежуточных систем или объектов.

Альтернативные аудиоданные могут, например, представлять аудиообъект, который может включать в себя дополнительные подобъекты.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап включения данных управления воспроизведением в поток данных элементов аудиовизуального контента, при этом данные управления воспроизведением обеспечивают другой параметр воспроизведения для воспроизведения с использованием заменяемых аудиоданных, нежели воспроизведения с использованием альтернативных аудиоданных.

Это может обеспечивать предпочтительные функциональные возможности и/или улучшенное воспроизведение аудио для элемента контента.

Способ может, в частности, содержать этап включения данных управления воспроизведением в поток данных элементов аудиовизуального контента, при этом данные управления воспроизведением указывают другую настройку воспроизведения для воспроизведения заменяемых аудиоданных, нежели для воспроизведения альтернативных аудиоданных.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап включения индикации в поток данных элементов аудиовизуального контента первого потока аудиовизуальных данных, содержащего заменяемые аудиоданные.

Это может позволять эффективную адаптацию функциональных возможностей приемника, обрабатывающего поток данных элементов аудиовизуального контента.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап включения данных извлечения для заменяемых аудиоданных в поток данных элементов аудиовизуального контента.

Это может позволять эффективную адаптацию функциональных возможностей приемника, обрабатывающего поток данных элементов аудиовизуального контента.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этапы, на которых: формируют таблицы состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных для пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента; и включают таблицы состава элемента контента в поток данных элементов аудиовизуального контента; при этом этап формирования таблицы состава элемента контента содержит этап, на котором формируют таблицу состава элемента контента, которая включает в себя общий идентификатор типа пакета потоков данных для элемента контента для набора из по меньшей мере двух из множества отдельных потоков аудиовизуальных данных.

Это может обеспечивать улучшенную и/или облегченную работу во многих вариантах осуществления. Если говорить конкретнее, то это может позволять формирование потока данных элементов аудиовизуального контента, который может обрабатываться с уменьшенной сложностью посредством разного оборудования, как, например, канальных уплотнителей, модулей извлечения данных и т.д.

В соответствии с дополнительным признаком изобретения, этап формирования таблицы состава элемента контента содержит, этап на котором включают только один идентификатор типа пакета потоков аудиовизуальных данных для элемента контента в таблицу состава элемента контента.

Это может позволять улучшенную и/или облегченную работу во многих вариантах осуществления. В частности, это может позволять различные функциональные возможности для обработки потока данных элементов аудиовизуального контента, как если бы он включал в себя только единый поток аудиовизуальных данных.

В некоторых вариантах осуществления, этап формирования таблицы состава элемента контента содержит этап, на котором включают только один идентификатор типа пакета потоков аудиовизуальных данных аудио для элемента контента в таблицу состава элемента контента.

Это может обеспечивать улучшенную и/или облегченную работу во многих вариантах осуществления. В частности, это может позволять различные функциональные возможности для обработки потока данных элементов аудиовизуального контента, как если бы он включал в себя только единый аудиопоток аудиовизуальных данных.

В соответствии с дополнительным признаком изобретения, этап формирования таблицы состава элемента контента содержит для общего идентификатора типа пакета потоков данных включение множества вторичных идентификаторов типа пакета, при этом каждый вторичный идентификатор типа пакета идентифицирует отдельный поток аудиовизуальных данных из набора из по меньшей мере двух из множества отдельных потоков аудиовизуальных данных.

Это может обеспечивать улучшенную гибкость и функциональные возможности. Например, это может позволять эффективный выбор и доступ к отдельным потокам аудиовизуальных данных. Первичные и вторичные идентификаторы типа пакета могут в некоторых вариантах осуществления включаться в структурированную или вложенную структуру данных или могут в других вариантах осуществления, например, обеспечиваться в плоской структуре, где, например, первичные и вторичные идентификаторы типа пакета обеспечиваются как последовательные элементы в едином списке.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этапы, на которых: формируют дескриптор обработки аудиоданных для вторых аудиоданных из по меньшей мере одного из потоков аудиовизуальных данных, при этом дескриптор обработки аудиоданных указывает, назначены ли вторые аудиоданные альтернативными аудиоданными или дополнительными аудиоданными; и включают таблицы состава элемента контента в поток данных элементов аудиовизуального контента.

Это может обеспечивать улучшенные функциональные возможности и может, в частности, позволять эффективный способ указания того, как разные аудиоданные могут обрабатываться декодером.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап формирования таблицы состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных для пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента; и при этом этап формирования таблицы состава элемента контента содержит этап, на котором формируют таблицу состава элемента контента, которая включает в себя дескриптор обработки аудиоданных.

Это может обеспечивать особенно предпочтительное представление информации во многих вариантах осуществления.

В соответствии с другим аспектом изобретения, предложен способ формирования аудиосигнала для элемента аудиовизуального контента, при этом способ содержит этап, на котором: принимают поток данных элементов аудиовизуального контента, содержащий множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации; при этом поток данных элементов аудиовизуального контента содержит первый поток аудиовизуальных данных, содержащий первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные для аудиопредставления и заменяемые аудиоданные для представления; причем способ дополнительно содержит этапы, на которых: извлекают обязательные аудиоданные из первых аудиоданных; получают альтернативные аудиоданные; заменяют заменяемые аудиоданные на альтернативные аудиоданные; формируют аудиосигналы из обязательных аудиоданных и альтернативных аудиоданных.

Изобретение может позволять улучшенное формирование аудио для элемента контента. Как правило, могут достигаться более эффективная и/или гибкая обработка, передача или функциональные возможности.

Во многих сценариях могут достигаться более эффективный выбор и формирование аудио.

Подход может часто обеспечивать улучшенную обратную совместимость. Следует понимать, что ранее обеспеченные комментарии по отношению к формированию потока данных элементов аудиовизуального контента, равным образом применимы, с соответствующим изменением, к обработке потока данных элементов аудиовизуального контента.

Замена заменяемых аудиоданных на альтернативные аудиоданные может происходить посредством выбора альтернативных аудиоданных и отмены выбора (или не выбора) заменяемых аудиоданных для обработки. В некоторых вариантах осуществления, выбор/отмена выбора может быть выбором/отменой выбора аудиокомпонент, соответствующих заменяемым аудиоданным и альтернативным аудиоданным, то есть посредством выбора/отмены выбора заменяемой аудиокомпоненты и альтернативной аудиокомпоненты, сформированной посредством декодирования заменяемых аудиоданных и альтернативных аудиоданных соответственно. В других вариантах осуществления, замена может, например, осуществляться, посредством перезаписи заменяемых аудиоданных посредством альтернативных аудиоданных, например, в потоке данных/битовом потоке или в памяти.

В некоторых вариантах осуществления, способ может содержать этап, на котором получают только одно из заменяемых аудиоданных и альтернативных аудиоданных, и используют только полученные аудиоданные для формирования аудиосигнала.

В некоторых вариантах осуществления, получение содержит этап, на котором получают альтернативные аудиоданные из первого потока аудиовизуальных данных. В некоторых вариантах осуществления, получение содержит этап, на котором получают альтернативные аудиоданные из другого потока аудиовизуальных данных из множества отдельных потоков аудиовизуальных данных, нежели первого потока аудиовизуальных данных.

В некоторых вариантах осуществления, получение содержит этап, на котором получают альтернативные аудиоданные из другого потока данных, нежели потока данных элементов аудиовизуального контента.

Поток данных может, например, соответствовать отдельному файлу или сегменту файла.

В соответствии с дополнительным признаком изобретения, способ дополнительно содержит этап, на котором принимают второй поток данных элементов аудиовизуального контента, содержащий множество потоков аудиовизуальных данных, при этом множество потоков аудиовизуальных данных содержит аудиовизуальные компоненты; и при этом получение содержит этап, на котором получают альтернативные аудиоданные из потока аудиовизуальных данных второго потока данных элементов аудиовизуального контента.

Это может обеспечивать предпочтительные функциональные возможности и/или работу во многих вариантах осуществления.

В соответствии с дополнительным признаком изобретения, этап формирования аудиосигнала содержит этапы, на которых: декодируют обязательные аудиоданные в первом аудиодекодере для формирования первого декодированного аудиосигнала; декодируют альтернативные аудиоданные во втором аудиодекодере для формирования второго декодированного аудиосигнала; и формируют аудиосигнал в ответ на комбинирование по меньшей мере первого декодированного аудиосигнала и второго декодированного аудиосигнала.

Это может обеспечивать улучшенную и/или облегченную работу во многих вариантах осуществления.

В соответствии с дополнительным признаком изобретения, поток данных элементов аудиовизуального контента содержит таблицу состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных для пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента, при этом таблица состава элемента контента содержит общий идентификатор типа пакета потоков данных для элемента контента для набора из по меньшей мере двух из множества отдельных потоков аудиовизуальных данных; и способ дополнительно содержит этап извлечения аудиоданных для элемента контента в ответ на общий идентификатор типа пакета потоков данных.

Это может обеспечивать улучшенную и/или облегченную работу во многих вариантах осуществления. Если говорить конкретнее, то это может позволять формировать поток данных элементов аудиовизуального контента, который может обрабатываться с уменьшенной сложностью посредством разного оборудования, как, например, канальных уплотнителей, модулей извлечения данных и т.д.

В соответствии с дополнительным признаком изобретения, таблица состава элемента контента содержит множество вторичных идентификаторов типа пакета для общего идентификатора типа пакета потоков данных, при этом каждый вторичный идентификатор типа пакета идентифицирует отдельный поток аудиовизуальных данных из набора из по меньшей мере, двух из множества отдельных потоков аудиовизуальных данных; и этап извлечения аудиоданных для элемента контента содержит этап, на котором извлекают аудиоданные для разных аудиокомпонент в ответ на вторичные идентификаторы типа пакета.

Это может обеспечивать улучшенную гибкость и функциональные возможности. Например, это может позволять эффективный выбор и доступ к отдельным потокам аудиовизуальных данных. Первичные и вторичные идентификаторы типа пакета могут в некоторых вариантах осуществления включаться в структурированную или вложенную структуру данных или могут в других вариантах осуществления, например, обеспечиваться в плоской структуре, где, например, первичные и вторичные идентификаторы типа пакета обеспечиваются как последовательные элементы в едином списке.

Согласно одному аспекту изобретения предложен устройство формирования потока данных элементов аудиовизуального контента, содержащего множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации;

при этом устройство содержит: генератор для формирования первого потока аудиовизуальных данных, содержащего первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные для аудиопредставления и заменяемые аудиоданные для аудиопредставления, при этом заменяемые аудиоданные являются данными, заменяемыми посредством альтернативных аудиоданных; и модуль комбинирования для включения первого потока аудиовизуальных данных в поток данных элементов аудиовизуального контента.

Согласно одному аспекту изобретения предложено устройство формирования аудиосигнала для элемента аудиовизуального контента, при этом устройство содержит: приемник для приема потока данных элементов аудиовизуального контента, содержащего множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации; при этом поток данных элементов аудиовизуального контента содержит первый поток аудиовизуальных данных, содержащий первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные для аудиопредставления и заменяемые аудиоданные для аудиопредставления;

причем устройство дополнительно содержит: модуль извлечения для извлечения обязательных аудиоданных из первых аудиоданных; модуль получения, получающий альтернативные аудиоданные; модуль замены для замены заменяемых аудиоданных на альтернативные аудиоданные; модуль вывода для формирования аудиосигнала из обязательных аудиоданных и альтернативных аудиоданных.

В соответствии с дополнительным признаком изобретения, дескриптор обработки аудиоданных указывает, заменяют ли вторые аудиоданные заменяемые данные.

Это может обеспечивать особенно предпочтительное и эффективное осуществление во многих вариантах осуществления при обеспечении высокой степени гибкости и управления в обработке аудиоданных потока данных элементов аудиовизуального контента.

Подход может, в частности, обеспечивать эффективный интерфейс между приемником и аудиодекодером. Во многих вариантах осуществления и сценариях, подход может позволять использовать унифицированные аудиодекодеры при обеспечении гибкости в воспроизведении аудио и без требования осуществления сложных и/или проприетарных функций управления между приемником и аудиодекодером.

В соответствии с дополнительным признаком изобретения, дескриптор обработки аудиоданных указывает, заменяют ли вторые аудиоданные заменяемые данные.

Это может обеспечивать особенно предпочтительное и эффективное осуществление во многих вариантах осуществления при обеспечении высокой степени гибкости и управления в обработке аудиоданных потока данных элементов аудиовизуального контента.

В соответствии с дополнительным признаком изобретения, дескриптор обработки аудиоданных указывает, назначены ли вторые аудиоданные альтернативными аудиоданными или дополнительными аудиоданными, и аудиодекодер (1403) выполнен с возможностью получения вторых аудиоданных в качестве альтернативных аудиоданных, если первый дескриптор обработки аудиоданных указывает, что вторые аудиоданные назначены в качестве альтернативных аудиоданных, и получения вторых аудиоданных в качестве дополнительных аудиоданных, если первый дескриптор обработки аудиоданных указывает, что вторые аудиоданные назначены в качестве дополнительных аудиоданных; и замены заменяемых аудиоданных на вторые аудиоданные, если вторые аудиоданные назначены в качестве заменяемых аудиоданных, и модуль вывода выполнен с возможностью формирования аудиосигнала посредством комбинирования обязательных аудиоданных, вторых аудиоданных, и заменяемых аудиоданных, если первый дескриптор обработки аудиоданных указывает, что вторые аудиоданные назначены в качестве дополнительных аудиоданных.

Это может обеспечивать особенно предпочтительный и эффективный подход для управления адаптацией воспроизведения аудио.

В соответствии с дополнительным признаком изобретения, приемник (1401) выполнен с возможностью формирования первого дескриптора обработки аудиоданных из второго дескриптора обработки аудиоданных, принятого в потоке данных элементов аудиовизуального контента.

Это может позволять как поставщику потока данных элементов аудиовизуального контента, так и локальному модулю воспроизведения или пользователю управлять формируемым аудио. Второй дескриптор обработки аудиоданных может описывать соответствующий вывод аудио, который может использоваться, например, пользователем в определении подходящего воспроизведения.

Такой подход также может облегчать осуществление. Например, приемник может не иметь какую-либо подробную информации или учитывать то, как выполняется конкретная обработка аудио, но скорее может просто основывать первый дескриптор обработки аудиоданных на втором дескрипторе обработки аудиоданных.

В соответствии с дополнительным признаком изобретения, приемник (1401) выполнен с возможностью копирования второго дескриптора обработки аудиоданных во второй поток аудиовизуальных данных.

Такой подход также может облегчать осуществление. Например, приемник может не иметь какую-либо подробную информации или учитывать то, как выполняется конкретная обработка аудио, но скорее может просто копировать второй дескриптор обработки аудиоданных.

В соответствии с дополнительным признаком изобретения, второй дескриптор обработки аудиоданных содержится в таблице состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента.

Это может обеспечивать особенно предпочтительное представление.

В соответствии с дополнительным признаком изобретения, поток данных элементов аудиовизуального контента содержит множество возможных дескрипторов обработки аудиоданных для вторых аудиоданных; и приемник выполнен с возможностью выбора первого дескриптора обработки аудиоданных из множества возможных дескрипторов обработки аудиоданных.

Это может позволять как поставщику потока данных элементов аудиовизуального контента, так и локальному модулю воспроизведения или пользователю управлять формируемым аудио. Второй дескриптор обработки аудиоданных может, например, описывать допустимые или рекомендованные комбинации обеспеченных аудиокомпонент, тем самым, обеспечивая альтернативные аудиопредставления для элемента контента. Пользователь может просто выбирать одно предложенное альтернативное аудиопредставление, и приемник может в ответ предписывать обеспечение выбранного аудиопредставления просто посредством копирования соответствующего второго дескриптора обработки аудиоданных и включения его в поток данных, обеспечиваемый в аудиодекодер.

Согласно одному аспекту изобретения предложен поток данных элементов аудиовизуального контента, содержащий множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации; при этом поток данных элементов аудиовизуального контента содержит первый поток аудиовизуальных данных, содержащий первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные для аудиопредставления и заменяемые аудиоданные для аудиопредставления.

Эти и другие аспекты, признаки и преимущества изобретения будут понятны и пояснены при обращении к варианту (вариантам) осуществления, описанному ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления изобретения будут описаны лишь в качестве примера со ссылкой на чертежи, на которых

Фиг. 1 является иллюстрацией транспортного потока в соответствии с уровнем техники;

Фиг. 2 является иллюстрацией транспортного потока в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 3 является иллюстрацией устройства формирования транспортного потока в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 4 является иллюстрацией устройства формирования транспортного потока в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 5 является иллюстрацией транспортного потока в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 6 является иллюстрацией транспортного потока в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 7 иллюстрирует синтаксис добавочного дескриптора аудио транспортного потока MPEG-2;

Фиг. 8 иллюстрирует синтаксис элементов данных mix_type и editorial_classification транспортного потока MPEG-2;

Фиг. 9 иллюстрирует модифицированный синтаксис элемента данных mix_type в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 10 иллюстрирует модифицированный синтаксис элемента данных editorial_classification в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 11 иллюстрирует синтаксис элемента данных компоненты дескриптора AAC в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 12 иллюстрирует идентифицирующую информацию объекта в заголовке полезной нагрузки аудио;

Фиг. 13 иллюстрирует пример синтаксиса дескриптора объекта для позволения объекту делегировать свой контент объекту SAOC;

Фиг. 14 иллюстрирует пример принимающего устройства, которое содержит приемник, соединенный с аудиодекодером, при этом приемник принимает поток данных элементов аудиовизуального контента;

Фиг. 15 иллюстрирует пример работы с использованием обработки аудиоданных для (модифицированного) транспортного потока MPEG;

Фиг. 16 иллюстрирует другой пример работы с использованием обработки аудио для (модифицированного) транспортного потока MPEG.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Нижеприведенное описание фокусируется на вариантах осуществления изобретения, применимых к совершенствованию транспортных потоков для аудиовизуального контента, такого, как, например, транспортный поток MPEG-2. Однако следует понимать, что изобретение не ограничивается этим применением, но может применяться ко многим другим потокам данных элементов аудиовизуального контента.

В качестве конкретной ссылки, на фиг. 1 проиллюстрирован пример транспортного потока (TS) MPEG DVB (цифрового широковещательного сигнала), как определено в ISO/IEC 13818-1, расширенном с помощью стандартного контента DVB как в EN 300468. Следует понимать, что хотя описание будет фокусироваться на вариантах осуществления, которые могут, например, совершенствовать такой поток данных элементов аудиовизуального контента, подход может применяться ко многим другим транспортным технологиям, включающим в себя, например, транспортные потоки на основе TCP/IP в контексте ISO/IEC 23009-1 DASH (динамической адаптивной потоковой передачи по HTTP).

В примере, транспортный поток составлен из множества пакетов данных. Данные транспортного потока разделены на множество элементарных потоков, соответствующих аудиовизуальной компоненте, данным управления или информационным данным (метаданным). Каждый из элементарных потоков ассоциирован с определенной идентификационной информацией и каждый пакет содержит заголовок, который включает в себя идентификатор типа пакета (PID), который идентифицирует элементарный поток, для которого пакет содержит данные.

В конкретном примере, транспортный поток является мультиплексированным по времени потоком пакетов, при этом каждый пакет содержит 188 байт. Каждый пакет помечен посредством PID. Пакет может содержать метаданные или сжатые аудиовизуальные данные. Пакеты с определенными PID представляют последовательные данные, которые должны объединяться для создания дискретной аудиовизуальной компоненты. Например для транспортировки аудиовизуальной компоненты в транспортном потоке, данные для аудиовизуальной компоненты разделяются по полезным нагрузкам группы пакетов данных. Пакеты данных этой группы, и только этой группы, будут затем использовать один и тот же уникальный PID.

Транспортный поток дополнительно содержит таблицу ассоциации программ (PAT), которая обеспечивает информацию программ, которые включены в конкретный транспортный поток. Каждая программа характеризуется таблицей состава программы (PMT), которая содержит информацию об отдельных программах. Если говорить конкретнее, то PMT идентифицирует элементарные потоки, содержащиеся в транспортном потоке, для отдельной программы, и, в частности, она перечисляет идентификаторы PID для пакетов данных, которые принадлежат разным элементарным потокам для отдельной программы.

Фиг. 1 иллюстрирует пример того, как элементарные потоки аудио для программы могут обеспечиваться в транспортном потоке. В примере, для программы обеспечены три аудиокомпоненты. Аудиокомпоненты могут воспроизводиться вместе с видеокомпонентой транспортного потока (не показана на фиг. 1). Каждая из аудиокомпонент соответствует полному представлению звукового эпизода аудио элемента контента, то есть каждый элементарный поток обеспечивает все данные звукового эпизода аудио, необходимые для воспроизведения (термин звуковой эпизод аудио указывает на аудио всего воспроизводимого элемента контента и не ограничивается, например, конкретной аудиосценой).

Каждый из элементарных потоков обеспечивает дискретную интегрированную аудиокомпоненту, которая должна воспроизводиться в полном объеме. Таким образом, если элементарный поток выбирается для воспроизведения, модуль воспроизведения будет декодировать все аудиоданные элементарного потока для формирования дискретной аудиокомпоненты элементарного потока. Затем эта аудиокомпонента воспроизводится (возможно, в некоторых случаях после микширования с аудио из другого потока).

Каждая из аудиокомпонент обеспечивается в отдельном элементарном потоке, идентифицируемом посредством отдельного PID. Аудиоданные для каждого аудиопредставления обеспечиваются в некотором количестве пакетов данных (указанных как PR1p1, PR1p2.... PR2p1, PR2p2 .... PR3p1, PR3p2 ... и т.д., при этом каждый пакет имеет свою собственную идентифицирующую информацию p1, p2.. и каждой группе пакетов задана идентифицирующая информация аудиопредставления, к которому она принадлежит "PR"x). Таким образом, каждая из аудиокомпонент находится в транспортном потоке, представленном посредством пакетов данных, содержащих кодированные аудиоданные для аудиокомпоненты, соответствующей полному аудиопредставлению. Каждое аудиопредставление обеспечивается в качестве дискретной аудиокомпоненты в отдельном элементарном потоке, и соответственно каждое аудиопредставление ассоциируется с отдельным PID. В примере из фиг. 1, аудиопредставления ассоциируются с соответственно PID 1, PID 2, и PID 3.

Как проиллюстрировано на фиг. 1, пакеты данных мультиплексированы по времени в транспортный поток. Приемник может принимать пакеты данных, извлекать аудиоданные из каждого пакета данных, ассоциированного с конкретным PID, декодировать аудиоданные, и, таким образом, восстанавливать отдельную аудиокомпоненту/представление, соответствующую этому элементарному потоку.

Для позволения приемнику синхронизировать аудиоданные из разных пакетов данных и синхронизировать результирующую аудиокомпоненту, например, с ассоциированным видеопотоком, каждый пакет данных содержит данные синхронизации или хронирования, указывающие хронирование аудиосегмента, представленного посредством аудиоданных из пакета данных.

Преимущество обеспечения множества элементарных потоков аудио состоит в том, что может обеспечиваться более гибкое обеспечение аудио. Например, фиг. 1 иллюстрирует пример, в котором обеспечены три элементарных потока аудио. Каждый из элементарных потоков обеспечивает полное представление аудиосцены, включающей в себя, например, данные фона, музыку, диалог и т.д. Полное представление обеспечивается посредством дискретной аудиокомпоненты. Однако три элементарных потока обеспечивают разные представления, например, упомянутые три элементарных потока могут соответствовать одному и тому же видеоряду, но с аудио на трех разных языках. Например, PID 1 может представлять исходную аудиосцену с диалогом на исходном языке, например, английском, тогда как PID 2 и PID 3 могут представлять аудиосцену, но с наложенным диалогом, например, на французском языке и немецком языке соответственно. PMT может обеспечивать данные, указывающие язык, ассоциированный с каждым отдельным элементарным потоком. Соответственно, пользователь может выбирать предпочтительный язык и приемник может соответственно выбирать соответствующий элементарный поток. Таким образом, приемник извлекает аудиоданные из всех пакетов с соответствующим PID и затем он формирует выходной сигнал аудио из этих аудиоданных. Например, пользователь может указывать предпочтение для диалога, чтобы он был на французском языке, и соответственно модуль воспроизведения может извлекать аудиоданные из пакетов элементарного потока с PID 2 и затем формировать вывод аудио из этих аудиоданных.

Соответственно, может обеспечиваться множество альтернативных потоков, где каждый элементарный поток обеспечивает дискретную аудиокомпоненту, обеспечивающую полное представление аудио для элемента контента (то есть с аудио для программы). Приемник может затем выбирать между отдельными потоками. Таким образом, в стандартных транспортных потоках для аудио вещания, каждый альтернативный язык обеспечивается как полное и независимое аудиопредставление, заданное посредством дискретной аудиокомпоненты в едином элементарном потоке. Приемник может выбирать только между разными доступными потоками, и как только поток выбирается, все аудио из этого потока воспроизводится.

Однако данный подход приводит к низкой степени гибкости, так как только дискретная аудиокомпонента, соответствующая всему звуковому эпизоду аудио, является доступной для воспроизведения в приемнике. Кроме того, это приводит к высокой скорости передачи данных потоков данных, так как обеспечиваются полные аудиопредставления.

Транспортные потоки MPEG-2 действительно позволяют определять добавочные аудиокомпоненты для обеспечения дополнительного аудио описания аудио (дополнительное аудио, обеспечивающее описательные комментарии для пользователей с нарушением зрения). Такие добавочные аудиокомпоненты не могут воспроизводиться сами по себе, но могут добавляться к аудиокомпоненте полного представления из другого элементарного потока.

Таким образом, элементарные потоки аудио традиционных транспортных потоков MPEG-2 могут быть одним из двух типов. Первый тип является наиболее обычным типом с дискретной аудиокомпонентой, обеспечивающей полное представление аудио для времени контента. Это аудио может воспроизводиться напрямую и упоминается как «микшируемое в вещании» аудио. Второй тип обеспечивает только дискретную компоненту с добавочным аудио, которое должно добавляться к (микшироваться с) аудиокомпоненте первого типа. Таким образом, второй тип элементарных данных обеспечивает дополнительные данные, которые могут добавляться к полному аудиопредставлению. Это упоминается как «микшируемое в приемнике» аудио.

Чтобы иметь возможность декодировать принятый транспортный поток, транспортный поток включает в себя информацию, определяющую данные, содержащиеся в транспортном потоке. Более подробно, информация о программах, содержащихся в потоке, указывается в PAT. Для каждой программы, количество и типы аудиокомпонент/дорожек делаются известными приемнику (например, декодеру транспортного потока DVB) посредством сигнализирования в PMT. Информация PMT основывается на PID и, в частности, содержит цикл структуры данных, который содержит всю требуемую передачу сигнала в каждый PID. Для каждого PID, может конкретно иметься дескриптор языка и характерный для кодека дескриптор. Дескриптор языка может быть дескриптором языка ISO 639 или добавочным дескриптором аудио. Добавочное описание аудио обеспечивает ясное различение между микшируемыми в приемнике и в вещании аудиосигналами. Характерное для кодека описание аудио обеспечивает информацию о содержимом пакетированного элементарного потока для заданного PID. Эта информация главным образом о том, является ли компонента многоканальной или стерео компонентой.

Таким образом, в текущем подходе, каждый элементарный поток обеспечивает отдельное аудиопредставление для элемента контента за исключением элементарных потоков, указанных как подлежащие микшированию посредством приемника. Они не обеспечивают аудиопредставление, но вместо этого обеспечивают аудиосигнал, который должен добавляться к микшируемому в вещании аудиосигналу.

В дальнейшем, будет описываться подход, который обеспечивает более гибкий и эффективный транспортный поток. Описание будет фокусироваться на примере, где внутри транспортного потока обеспечивается множество языков, но следует понимать, что подход также может использоваться с другими типами аудио.

Фиг. 2 иллюстрирует пример модифицированного транспортного потока. Аналогично подходу из фиг. 1, транспортный поток из фиг. 2 содержит множество элементарных потоков аудио. Однако в противоположность уровню техники, элементарные потоки не ограничены полными аудиопредставлениями или добавочными аудиоданными, и не ограничены дискретными аудиокомпонентами. Скорее, элементарный поток может содержать разные типы аудиоданных, а конкретно может содержать как данные, которые являются обязательными для аудиопредставления, так и заменяемые аудиоданные.

Если говорить конкретнее, то транспортный поток может включать в себя данные, определяющие/назначающие/описывающие одно или более аудиопредставлений. Первый элементарный поток может быть ассоциирован с аудиопредставлением для элемента аудиовизуального контента, представленного посредством транспортного потока. Этот первый элементарный поток содержит обязательные аудиоданные для аудиопредставления также как заменяемые аудиоданные для аудиопредставления. Обязательные аудиоданные соответствуют обязательной аудиокомпоненте, которая должна воспроизводиться, когда аудиопредставление элементарного потока воспроизводится. В противоположность, заменяемые данные могут заменяться на альтернативное аудио для элемента аудиовизуального контента. Следовательно, первый элементарный поток содержит как обязательную аудиокомпоненту, так и заменяемую аудиокомпоненту для аудиопредставления, где заменяемая аудиокомпонента может замещаться посредством другой аудиокомпоненты.

Первый элементарный поток/поток аудиовизуальных данных может соответственно содержать множество аудиокомпонент или объектов, где одна аудиокомпонента/объект представлена посредством обязательных аудиоданных. Эта аудиокомпонента является обязательной и должна всегда воспроизводиться, когда выбирается конкретное аудиопредставление (ассоциированное с первым потоком аудиовизуальных данных), и, таким образом, когда первый элементарный поток выбирается для воспроизведения.

Другая аудиокомпонента представляется посредством заменяемых аудиоданных. Эта заменяемая аудиокомпонента соответственно не является обязательной для представления, но может замещаться посредством альтернативной аудиокомпоненты. Однако заменяемая аудиокомпонента не может всего лишь удаляться или отбрасываться при обеспечении аудиопредставления, но скорее может заменяться на альтернативную аудиокомпоненту. Заменяемая аудиокомпонента может соответствовать необходимому источнику аудио для аудиопредставления, но с разными версиями источника аудио, которые включены в транспортный поток.

Во многих вариантах осуществления, транспортный поток может обеспечивать установленное по умолчанию представление элемента аудиовизуального контента, где обязательная аудиокомпонента, представленная посредством обязательных аудиоданных, и заменяемая аудиокомпонента, представленная посредством заменяемых аудиоданных, вместе обеспечивают установленное по умолчанию аудиопредставление для элемента контента (возможно вместе с другими данными или аудиокомпонентами). Таким образом, заменяемые аудиоданные, как правило, соответствуют установленной по умолчанию аудиокомпоненте. При воспроизведении аудиопредставления, приемник будет по умолчанию соответствующим образом выбирать обязательные аудиоданные и заменяемые аудиоданные. Соответственно, он может декодировать обязательную аудиокомпоненту и заменяемую аудиокомпоненту, микшировать компоненты вместе и воспроизводить результирующее аудио. Это приводит к воспроизведению приемником установленной по умолчанию версии аудиопредставления элемента контента.

Однако транспортный поток может в то же время содержать данные для альтернативного аудио. Это альтернативное аудио, однако не должно обеспечиваться в качестве полных альтернативных аудиопредставлений в отдельных элементарных потоках, обеспечивающих полное аудиопредставление. Скорее, обеспечиваются альтернативные аудиоданные, которые могут просто определять альтернативную аудиокомпоненту, которая может заменять заменяемую аудиокомпоненту первого элементарного потока. Таким образом, транспортный поток может содержать альтернативные аудиоданные, которые могут заменять часть заменяемых аудиоданных первого элементарного потока.

Первый элементарный поток, таким образом, содержит два типа данных, а именно обязательные аудиоданные для (по меньшей мере) одной обязательной аудиокомпоненты и заменяемые аудиоданные для (по меньшей мере одной) заменяемой аудиокомпоненты.

Если говорить конкретнее, то первый элементарный поток может содержать пакеты данных, содержащие обязательные аудиоданные, и пакеты данных, содержащие заменяемые аудиоданные. Каждый пакет данных может определенным образом содержать одно из либо обязательных аудиоданных, либо заменяемых аудиоданных, то есть во многих вариантах осуществления, пакет данных будет содержать только аудиоданные для одной аудиокомпоненты.

Обязательная аудиокомпонента и заменяемая аудиокомпонента являются, таким образом, параллельными по времени компонентами, то есть для определенного временного отрезка воспроизведения/элемента контента, первый элементарный поток может содержать как обязательные аудиоданные для обязательной аудиокомпоненты, так и заменяемые аудиоданные для заменяемой аудиокомпоненты. Обязательные аудиоданные и заменяемые аудиоданные для одного и того же временного отрезка, однако как правило, обеспечиваются в разных пакетах данных, которые являются последовательными во времени в первом элементарном потоке и в транспортном потоке.

Аналогично, альтернативные аудиоданные могут обеспечиваться в пакетах данных, которые являются последовательными во времени в транспортном потоке для пакетов данных обязательных аудиоданных, и заменяемые аудиоданные первого элементарного потока все еще обеспечивают аудиоданные для того же временного отрезка (воспроизведения).

Таким образом, хронирование пакетов данных и данных в транспортном потоке может быть независимым (и несомненно не идентичным) по отношению к хронированию соответствующего аудио в аудиокомпонентах. Если говорить конкретнее, то для по меньшей мере одного временного отрезка, элементарный поток содержит отдельные аудиоданные для обязательной аудиокомпоненты и заменяемой аудиокомпоненты, то есть он содержит как обязательные аудиоданные, так и заменяемые аудиоданные для временного отрезка.

Фиг. 2 иллюстрирует пример, в котором первому элементарному потоку назначен идентификатор PID 1. Первый элементарный поток содержит не только дискретную аудиокомпоненту, но вместо этого содержит аудиоданные как для обязательной аудиокомпоненты, так и для заменяемой аудиокомпоненты.

Если говорить конкретнее, то обязательная аудиокомпонента может соответствовать общему фоновому аудио (включающему в себя, например, музыку) для элемента контента. Пакеты данных, содержащие обязательные аудиоданные, на фиг. 2 указаны посредством BG1p1, BG1p2, BG1p3, BG1p4.

Заменяемая аудиокомпонента может соответствовать диалогу на установленном по умолчанию языке, например, английском. Пакеты данных, содержащие заменяемые аудиоданные указаны посредством AO A на фиг. 2.

Как проиллюстрировано, обязательные аудиоданные и заменяемые аудиоданные обеспечиваются в отдельных пакетах данных, которые мультиплексированы по времени в транспортный поток. В примере, обязательные аудиоданные и заменяемые аудиоданные обеспечиваются в отдельных пакетах данных, то есть пакет данных первого элементарного потока содержит либо обязательные аудиоданные, либо заменяемые аудиоданные. Однако следует понимать, что в некоторых вариантах осуществления, пакет данных может содержать как обязательные аудиоданные, так и заменяемые аудиоданные.

Приемник, воспроизводящий установленное по умолчанию аудиопредставление с установленным по умолчанию языком соответственно, должен осуществлять доступ только к первому элементарному потоку, то есть он должен декодировать и обрабатывать только пакеты данных с PID 1. Он может затем отдельно декодировать обязательные аудиоданные для формирования обязательной аудиокомпоненты, и заменяемые аудиоданные для формирования заменяемой аудиокомпоненты. Аудиосигнал для элемента контента может затем формироваться посредством микширования обязательной аудиокомпоненты и заменяемой аудиокомпоненты вместе.

Однако в дополнение к первому элементарному потоку, транспортный поток содержит дополнительные элементарные потоки, которые содержат альтернативные аудиоданные для заменяемых аудиоданных, то есть он содержит данные, определяющие по меньшей мере одну альтернативную аудиокомпоненту, которая может заменять заменяемую аудиокомпоненту.

В примере из фиг. 2, транспортный поток содержит второй элементарный поток аудио, идентифицированный посредством PID 2, и третий элементарный поток аудио, идентифицированный посредством PID 3. Таким образом, пакеты данных, соответствующие второму и третьему элементарному потоку, мультиплексированы по времени в потоке данных с пакетами данных для первого элементарного потока. Второй элементарный поток содержит пакеты данных (указанные как AO B) с первыми альтернативными аудиоданными и третий элементарный поток содержит пакеты данных (указанные как AO C) со вторыми альтернативными аудиоданными. Первые альтернативные аудиоданные могут декодироваться для формирования первой альтернативной аудиокомпоненты, и вторые альтернативные аудиоданные могут декодироваться для формирования второй альтернативной аудиокомпоненты.

Вместо формирования аудиосигнала для элемента контента с использованием заменяемой аудиокомпоненты, модуль воспроизведения может использовать одну из альтернативных аудиокомпонент, то есть формирование аудио для элемента контента может основываться на одном из наборов альтернативных аудиоданных вместо того, чтобы основываться на заменяемых аудиоданных.

Например, заменяемые аудиоданные могут обеспечивать диалог на английском языке, первые альтернативные аудиоданные могут обеспечивать диалог на немецком языке, и вторые альтернативные аудиоданные могут обеспечивать диалог на французском языке. Приемник будет затем по умолчанию декодировать первый элементарный поток, формировать фоновую аудиокомпоненту и английскую аудиокомпоненту, и микшировать их вместе для формирования аудио для элемента контента. Однако например, в ответ на пользовательский ввод, приемник может заменять заменяемые аудиоданные на первые альтернативные аудиоданные, то есть он может осуществлять декодирование обязательных аудиоданных для формирования обязательной аудиокомпоненты, и первых альтернативных аудиоданных для формирования первой альтернативной аудиокомпоненты. Выходное аудио затем может формироваться посредством комбинирования обязательной аудиокомпоненты и первой альтернативной аудиокомпоненты. Таким образом, вместо элемента контента, имеющего диалог на английском языке, обеспечивается диалог на немецком языке.

Подход позволяет очень эффективную передачу и кодирование аудио в транспортном потоке. Может достигаться снижение скоростей передачи данных и/или обеспечиваться повышенная гибкость. Кроме того, достигается легкая обработка в терминах как формирования, так и обработки транспортного потока.

Важно, конкретный подход может обеспечивать высокую степень совместимости с существующими транспортными потоками, такими как транспортный поток MPEG-2. Если говорить конкретнее, то он обеспечивает подход, в котором могут поддерживаться существующая структура и организация данных и конкретно может использоваться такой же подход элементарных потоков для обеспечения повышенной гибкости. В действительности, подход будет минимизировать (или по меньшей мере уменьшать) объем усилий по стандартизации, требуемых для принятия нового подхода. Кроме того, он может увеличивать обратную совместимость и снижать или даже минимизировать требуемые изменения для поддержки дополнительных функциональных возможностей.

Если говорить конкретнее, то подход может использовать такой же подход транспортного потока, содержащего PAT, определяющую один или более элементов контента и определенным образом обеспечивающую PID для PMT для каждого элемента контента. PMT для каждого элемента контента может определять PID для каждого элементарного потока, ассоциированного с элементом контента (таким образом, элемент контента может составляться из элементарных потоков, для которых PID включен в PMT). Приемник может затем получать аудиовизуальные данные для элемента контента посредством выбора пакетов данных с PID, указанным в PMT. Однако так как элемент контента может иметь альтернативные аудиодорожки, приемник может, например, выбирать игнорировать или извлекать данные из определенного PID в зависимости от того, содержит ли этот PID требуемые аудиоданные. Например, (и как показано на фиг. 2), если дорожка диалога на немецком языке обеспечивается как альтернативные данные в пакетах данных с PID 2, приемник может игнорировать эти пакеты данных, если требуется диалог на английском языке с PID 1. Таким образом, если требуется стандартная аудиосцена, приемник в этом примере должен учитывать только пакеты данных с PID 1, чтобы обеспечивать требуемое аудио. Однако в то же время, если предпочтительной является альтернативная аудиодорожка диалога на немецком языке, приемник может просто извлекать эти аудиоданные из пакетов данных с PID 2 и заменять заменяемые аудиоданные из пакетов данных с PID 1 с помощью этих аудиоданных.

Подход позволяет высокую степень эффективности эксплуатации. В действительности, система может просто воспроизводить единый элементарный поток для номинальной работы, и, таким образом, подход не только обеспечивает разные варианты выбора, но он также может обращаться к одному варианту выбора как предпочтительному варианту выбора. Например, исходный диалог включается в тот же элементарный поток в качестве фонового аудио, и, таким образом, это всегда будет обеспечиваться, если пользователь конкретно не запросит, например, альтернативу.

Фиг. 3 иллюстрирует пример устройства формирования потока данных элементов аудиовизуального контента, и конкретно транспортного потока, такого как основанного на MPEG транспортного потока из фиг. 2. Поток данных элементов аудиовизуального контента будет с этого момента упоминаться как транспортный поток. Элемент контента состоит из некоторого количества аудиовизуальных компонент, как, например, одной или более аудиокомпонент и, как правило, одной или более видеокомпонент. Элемент контента также может включать в себя компоненты, которые поддерживают интерактивность. Каждая аудиокомпонента может быть аудиосигналом и во многих случаях может быть аудиообъектом. Каждая видеокомпонента может быть видеосигналом, соответствующим одиночному движущемуся изображению, или может, например, быть видом многовидового движущегося изображения. Элемент контента также может включать в себя компоненты, которые поддерживают интерактивность. Например, может быть доступна компонента интерактивности для помощи пользователю в его выборе аудиообъекта и/или видеокомпоненты.

Устройство формирует транспортный поток, который содержит множество отдельных потоков аудиовизуальных данных. Аудиовизуальные компоненты элемента контента соответственно распределяются по множеству отдельных потоков аудиовизуальных данных. Каждый из отдельного потока аудиовизуальных данных соответственно соответствует элементарному потоку, как описано ранее, и будет упоминаться как элементарный поток. Каждый элементарный поток может быть ассоциирован с уникальным (в пределах транспортного потока) идентификатором типа пакета, как, например, конкретно с PID.

Множество элементарных потоков (потоков аудиовизуальных данных) соответственно содержит аудиовизуальные компоненты элемента контента. В подходе из фиг. 1, каждая аудиовизуальная компонента содержится в едином элементарном потоке. Однако в противоположность, устройство из фиг. 2 выполнено с возможностью формирования транспортного потока таким образом, что по меньшей мере первый из элементарных потоков содержит множество аудиовизуальных компонент.

Аудиовизуальные компоненты содержатся в элементарных потоках посредством того, что элементарные потоки содержат кодированные данные для аудиовизуальных компонент. Таким образом, каждый элементарный поток содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту. В некоторых вариантах осуществления, могут дополнительно обеспечиваться некоторые элементарные потоки, которые содержат метаданные, такие как данные управления, интерактивные данные, и т.д.

Как описано ранее, элементарные потоки составлены из множества мультиплексированных по времени пакетов данных, и соответственно кодированные данные для аудиовизуальных компонент включаются в пакеты данных транспортного потока. Таким образом, хронирование отдельного пакета данных в транспортном потоке не соответствует напрямую хронированию сегмента аудиовизуальной компоненты в пакете данных, когда он воспроизводится. Для обеспечения корректного хронирования воспроизведения, каждый элементарный поток содержит информацию синхронизации позволяющую синхронизировать его с аудиовизуальными компонентами в других элементарных потоках. Если говорить конкретнее, то каждый пакет данных может включать в себя данные синхронизации, определяющие хронирование сегмента контента, представленного посредством пакета данных.

Описание и иллюстрация из фиг. 3 будут фокусироваться на части транспортного потока, относящейся к аудиокомпонентам. Следует понимать, что, в дополнение, может формироваться транспортный поток, который включает в себя метаданные, данные управления, элементы видеоконтента (и возможно другие элементы аудио) и т.д. Например, для таких данных может использоваться подход, хорошо известный из различных вариантов осуществления стандартного транспортного потока MPEG-2.

Устройство из фиг. 3 содержит источник 301 аудио, который обеспечивает кодированные аудиоданные для множества аудиокомпонент. В некоторых вариантах осуществления, источник 301 аудио может принимать множество аудиокомпонент и он может осуществлять их кодирование отдельно. Кодирование может использовать один и тот же алгоритм кодирования или может во многих вариантах осуществления использовать разные алгоритмы кодирования и стандарты для разных аудиокомпонент. Также, параметры кодирования, такие, как, например, результирующая скорость передачи данных, могут быть одними и теми же или могут быть разными для разных аудиокомпонент.

В других вариантах осуществления, источник 301 аудио может напрямую обеспечивать кодированные аудиоданные. Например, источник 301 аудио может быть локальным хранилищем, в котором сохранено некоторое количество кодированных аудиокомпонент.

Источник 301 аудио определенным образом обеспечивает кодированные аудиоданные для аудиокомпонент, представляющих элемент контента. Источник аудио, как правило, обеспечивает все аудио, подлежащее воспроизведению при воспроизведении видеокомпоненты, включенной в транспортный поток. Например, для фильма, один или более элементарных потоков могут обеспечивать видео для фильма (например, разные элементарные потоки могут обеспечивать разные разрешения видео). Источник 301 аудио может обеспечивать ассоциированное аудио, разделенное на некоторое количество аудиокомпонент.

В подходе из фиг. 3, формируется единый элементарный поток, который содержит полное представление звукового эпизода аудио, подлежащего воспроизведению совместно с воспроизведением элемента контента. Например, формируется один элементарный поток, который содержит все аудио, требуемое для воспроизведения аудио, например, фильма или телевизионной программы.

В частности, может формироваться транспортный поток, который явно содержит данные, определяющие одно или более аудиопредставлений. Определение аудиопредставления может, например, обеспечиваться посредством прямой или непрямой идентификации аудиоданных, соответствующих обязательным аудиоданным и заменяемым аудиоданным для аудиопредставления. Как правило, определение аудиопредставления также может включать в себя и идентифицирующую информацию альтернативных аудиоданных, которые могут заменять заменяемые аудиоданные.

В подходе, первый элементарный поток не содержит дискретную аудиокомпоненту, но вместо этого содержит как обязательную аудиокомпоненту, так и заменяемую аудиокомпоненту. Таким образом, формируется элементарный поток, который включает в себя как обязательные аудиоданные для обязательной аудиокомпоненты, так и заменяемые аудиоданные для заменяемой аудиокомпоненты, как описано ранее. Обязательная аудиокомпонента может определенным образом соответствовать фоновому аудио и заменяемая аудиокомпонента может соответствовать основному диалогу на исходном языке (например, английском).

В примере из фиг. 3, источник 301 аудио обеспечивает обязательные аудиоданные для обязательной аудиокомпоненты в первый формирователь 303 пакетов. Первый формирователь 303 пакетов осуществляет пакетирование обязательных аудиоданных. Это пакетирование включает в себя разделение обязательных аудиоданных на блоки подходящего размера. Оно также включает в себя добавление данных синхронизации к пакетам данных. Кроме того, первый формирователь 303 пакетов добавляет заголовок с релевантной информацией, позволяющий декодирование пакета данных. Если говорить конкретнее, то формируется заголовок, который включает в себя PID, и PID, назначенный первому элементарному потоку, соответственно включается в пакет данных.

Аналогично, источник 301 аудио обеспечивает заменяемые аудиоданные для заменяемой аудиокомпоненты во второй формирователь 305 пакетов. Второй формирователь 305 пакетов осуществляет пакетирование заменяемых аудиоданных. Это пакетирование аналогичным образом включает в себя разделение заменяемых аудиоданных на блоки подходящего размера, добавление данных синхронизации и заголовка пакета. Что касается первого формирователя 303 пакетов, второй формирователя 305 пакетов формирует заголовок, который включает в себя PID, соответствующий PID, назначенному первому элементарному потоку. Таким образом, пакеты данных как для обязательной аудиокомпоненты, так и для заменяемой аудиокомпоненты имеют один и тот же PID и являются соответственно частью одного и того же элементарного потока.

Источник 301 аудио дополнительно обеспечивает альтернативные аудиоданные в третий формирователь 307 пакетов. Третий формирователь 307 пакетов осуществляет пакетирование заменяемых аудиоданных. Это пакетирование аналогичным образом включает в себя разделение заменяемых аудиоданных на блоки подходящего размера, добавление данных синхронизации, и заголовка пакета. Что касается первого формирователя 303 пакетов, третий формирователь 307 пакетов формирует заголовок, который включает в себя PID. Альтернативные аудиоданные являются описанной ранее альтернативой заменяемым аудиоданным. Таким образом, альтернативные аудиоданные являются данными, которые кодируют альтернативную аудиокомпоненту, которая может использоваться вместо заменяемой аудиокомпоненты. Например, альтернативная аудиокомпонента может соответствовать дублирующему языку (например, немецкому) и он может заменять исходный язык (например, английский) при воспроизведении элемента контента, содержащегося в транспортном потоке.

В конкретном примере, альтернативные аудиоданные включаются в другой элементарный поток, нежели первый элементарный поток, и соответственно формируются альтернативные аудиоданные, которые имеют другой PID, нежели пакеты данных для обязательных аудиоданных и заменяемых аудиоданных. Однако как будет описано ниже, альтернативные аудиоданные могут в некоторых вариантах осуществления быть включены в сам первый элементарный поток, и, таким образом, в некоторых вариантах осуществления могут формироваться пакеты данных, которые имеют один и тот же PID, как для обязательных аудиоданных и альтернативных аудиоданных.

Первый, второй и третий формирователь 303, 305, 307 пакетов соединены с генератором 309 потока, который осуществляет формирование транспортного потока посредством мультиплексирования по времени пакетов данных от формирователей 303, 305, 307 пакетов. Следует понимать, что, как правило, некоторое количество других аудиокомпонент также может кодироваться. Эти аудиокомпоненты (возможно включающие в себя как обязательные аудиокомпоненты для других аудиопредставлений или, дополнительные альтернативные аудиокомпоненты) могут пакетироваться аналогичным образом. Генератор 309 потока может быть выполнен с возможностью дополнительного включения таких пакетов данных в транспортный поток посредством мультиплексирования по времени. Аналогично, пакеты данных могут формироваться для видеокомпонент, возможно микшированных аудиовизуальных компонент, метаданных или данных управления, и результирующие пакеты данных могут включаться в транспортный поток посредством мультиплексирования по времени.

Устройство дополнительно содержит генератор 311 данных управления, который выполнен с возможностью формирования данных управления для транспортного потока. Генератор 311 данных управления определенным образом формирует данные управления, которые описывают то, какие данные включаются в транспортный поток. Если говорить конкретнее, то генератор 311 данных управления может формировать таблицы PAT и PMT. Результирующие пакеты данных обеспечиваются в генератор 309 потока, который осуществляет включение данных в транспортный поток. Генератор 311 данных управления может определенным образом включать данные, определяющие или описывающие данные, ассоциированные с конкретным аудиопредставлением для элемента контента.

Таким образом, устройство из фиг. 3 может формировать транспортный поток, такой как транспортный поток, описанный со ссылкой на фиг. 2, то есть может формироваться транспортный поток, в котором по меньшей мере первый элементарный поток содержит данные для множества аудиокомпонент, при этом по меньшей мере одна аудиокомпонента является обязательной для аудиопредставления элемента контента, тогда как другая аудиокомпонента может заменяться на другую аудиокомпоненту. Таким образом, описанные ранее преимущества могут достигаться посредством устройства из фиг. 3.

Фиг. 4 иллюстрирует пример устройства формирования аудиосигнала для элемента аудиовизуального контента. Если говорить конкретнее, то устройство принимает транспортный поток от устройства из фиг. 3 (конкретно транспортный поток показан на фиг. 2) и формирует выходной сигнал аудио для элемента контента. Выходной сигнал может, как правило, использоваться для воспроизведения аудио и устройство из фиг. 4 будет соответствующим образом упоминаться как модуль воспроизведения.

Модуль воспроизведения содержит приемник 401 транспортного потока, который принимает транспортный поток.

Модуль воспроизведения дополнительно содержит первый модуль 403 извлечения данных, который выполнен с возможностью извлечения обязательных аудиоданных из принятого транспортного потока. Если говорить конкретнее, то первый модуль 403 извлечения данных выполнен с возможностью обнаружения пакетов данных с PID, соответствующих первому элементарному потоку. Первый модуль извлечения затем может из этих пакетов данных извлекать данные из поднабора пакетов данных, для которых данные соответствуют обязательной аудиокомпоненте.

Модуль воспроизведения также содержит второй модуль 405 извлечения данных, который выполнен с возможностью извлечения заменяемых аудиоданных из принятого транспортного потока. Если говорить конкретнее, то второй модуль 405 извлечения данных выполнен с возможностью обнаружения пакетов данных с PID, соответствующих первому элементарному потоку. Второй модуль извлечения затем может из этих пакетов данных извлекать данные из поднабора пакетов данных, для которых данные соответствуют заменяемой аудиокомпоненте.

Информация в отношении того, содержит ли отдельный пакет данных заменяемые аудиоданные или обязательные аудиоданные, может в некоторых вариантах осуществления обеспечиваться посредством управления или метаданных транспортного потока, не содержащихся в первом элементарном потоке. Например, может обеспечиваться PMT, которая для первого элементарного потока определяет порядок пакетов данных в элементарном потоке. Например, она может определять повторяющуюся последовательность двух пакетов данных с обязательными аудиоданными, за которыми следует один пакет данных заменяемых аудиоданных. В других вариантах осуществления, информация может альтернативно или дополнительно обеспечиваться в отдельных пакетах данных. Например, флаг в заголовке каждого пакета данных может указывать, содержит ли пакет данных обязательные аудиоданные или заменяемые аудиоданные. В простых вариантах осуществления, может обеспечиваться простой однобитный флаг. В других вариантах осуществления, может обеспечиваться идентификационная информация отдельной аудиокомпоненты элементарного потока.

Модуль воспроизведения также содержит третий модуль 407 извлечения данных, который выполнен с возможностью извлечения альтернативных аудиоданных из принятого транспортного потока. Если говорить конкретнее, то в примерах, где альтернативные аудиоданные обеспечиваются в другом элементарном потоке, третий модуль 407 извлечения данных может быть выполнен с возможностью обнаружения пакетов данных с PID, соответствующим другому элементарному потоку. Третий модуль извлечения затем может из этих пакетов данных извлекать альтернативные аудиоданные.

Первый модуль 403 извлечения данных соединен с первым блоком 409 декодирования, в который обеспечиваются обязательные аудиоданные. Первый блок 409 декодирования затем осуществляет декодирование обязательных аудиоданных для формирования обязательной аудиокомпоненты.

Аналогично, второй модуль 405 извлечения данных соединен со вторым блоком 411 декодирования, в который обеспечиваются заменяемые аудиоданные. Второй блок 411 декодирования затем осуществляет декодирование заменяемых аудиоданных для формирования заменяемой аудиокомпоненты.

Соответствующим образом, третий модуль 407 извлечения данных соединен с третьим блоком 413 декодирования, в который обеспечиваются альтернативные аудиоданные. Третий блок 413 декодирования затем осуществляет декодирование альтернативных аудиоданных для формирования альтернативной аудиокомпоненты.

В некоторых вариантах осуществления, первый, второй и третий блоки 409, 411, 413 декодирования могут использовать один и тот же алгоритм декодирования, то есть может использоваться один и тот же алгоритм кодирования или стандарт для формирования кодированных аудиоданных. Однако даже в таких вариантах осуществления, разные блоки декодирования (и, таким образом, устройства кодирования на стороне источника) могут иметь разные параметры кодирования/декодирования. Если говорить конкретнее, то скорость передачи аудиоданных может отличаться для обязательных аудиоданных, заменяемых аудиоданных и/или альтернативных аудиоданных, и соответствующим образом блоки декодирования могут декодировать аудиоданные с разными скоростями передачи данных.

В некоторых вариантах осуществления по меньшей мере два из первого, второго и третьего блоков 409, 411, 413 декодирования могут использовать разные алгоритмы декодирования, то есть могут использоваться разные алгоритмы или стандарты кодирования для формирования кодированных аудиоданных.

Таким образом, подход может позволять отдельную оптимизацию или адаптацию для характеристик и предпочтений каждой отдельной аудиокомпоненты. Решение в отношении настроек/алгоритмов кодирования может выполняться динамически, например, на основании характеристик аудиокомпонент.

Первый, второй и третий блоки 409, 411, 413 декодирования соединены с модулем 415 комбинирования, который выполнен с возможностью формирования выходного сигнала посредством комбинирования обязательной аудиокомпоненты с одной из заменяемой аудиокомпоненты и альтернативной аудиокомпоненты. Во многих сценариях комбинирование может быть простым (возможно взвешенным и/или частотно-избранным) добавлением или микшированием.

Если говорить конкретнее, то при работе в установленном по умолчанию режиме, выходной сигнал формируется посредством комбинирования обязательной аудиокомпоненты и заменяемой аудиокомпоненты. Таким образом, формируется выходной сигнал, который соответствует установленному по умолчанию аудиопредставлению для элемента контента. В конкретном примере, для видеокомпоненты формируется аудиодорожка с диалогом на английском языке.

Однако например, в ответ на явный пользовательский ввод, устройство из фиг. 4 может вместо этого формировать выходной сигнал посредством комбинирования обязательной аудиокомпоненты и альтернативной аудиокомпоненты. Таким образом, в этом сценарии, устройство осуществляет замену заменяемой аудиокомпоненты на альтернативную аудиокомпоненту. Это может, например, приводить к тому, что для видеокомпоненты формируется аудиодорожка с дублированным диалогом на немецком языке.

Выходной аудиосигнал затем может, например, воспроизводиться или производиться посредством приведения в действие громкоговорителя на основании выходного аудиосигнала. Такое приведение в действие может осуществляться посредством подходящей схемы возбуждения, например, включающей в себя усилитель мощности, фильтр и т.д., как это хорошо известно в данной области техники. Также следует принять понимать, что подход может использоваться для многоканальных сигналов - например, посредством того, что все данные, компоненты и обработка непосредственно находятся в многоканальной области (например, аудиоданные могут представлять кодированные многоканальные сигналы, которые декодируются для формирования многоканальных аудиокомпонент, которые могут затем выбираться и комбинироваться посредством модуля многоканального комбинирования). В качестве другого примера, описанный подход может выполняться отдельно для каждого отдельного канала многоканального сигнала.

В качестве еще другого примера, одноканальные и многоканальные аудиокомпоненты могут микшироваться, например, обязательная аудиокомпонента может быть многоканальным сигналом и заменяемые и альтернативные аудиокомпоненты могут быть одноканальными сигналами.

В предыдущем примере, заменяемые аудиоданные заменяются на альтернативные аудиоданные посредством модуля 415 комбинирования, выбирающего комбинирование альтернативной аудиокомпоненты и обязательной аудиокомпоненты. Следует понимать, что в некоторых таких вариантах осуществления, устройство из фиг. 4 не может извлекать или декодировать данные, которые не используются. Если говорить конкретнее, то если выбирается установленная по умолчанию операция, устройство не будет извлекать альтернативные аудиоданные и декодировать альтернативную аудиокомпоненту. Аналогично, если используются альтернативные аудиоданные для формирования выходного сигнала, устройство не может извлекать заменяемые аудиоданные или декодировать заменяемую аудиокомпоненту.

В примере, замена (или не замена) заменяемых аудиоданных на альтернативные аудиоданные выполняется посредством выбора аудиокомпоненты, которая комбинируется с обязательной аудиокомпонентой. Однако следует понимать, что выбор и замена могут выполняться напрямую в области кодированных аудиоданных. Например, один и тот же декодер может использоваться для всех аудиокомпонент, которые декодируются, и устройство может быть выполнено с возможностью прямого замещения заменяемых аудиоданных посредством альтернативных аудиоданных в потоке данных, который обеспечивается в блок декодирования.

В некоторых вариантах осуществления, комбинирование обязательного аудио и заменяемого (установленного по умолчанию) аудио или альтернативного аудио может выполняться в сжатой и/или кодированной области. В таком варианте осуществления, модуль 415 комбинирования может обеспечиваться релевантными сжатыми/кодированными аудиоданными от модулей 403, 405, 407 извлечения данных и он может осуществлять выбор и комбинирование требуемых аудиоданных. Комбинированные аудиоданные затем могут обеспечиваться в единый блок декодирования, который декодирует комбинированные аудиоданные.

Альтернативные аудиоданные могут обеспечиваться в разных частях транспортного потока в разных вариантах осуществления, или, в действительности, могут даже в некоторых случаях обеспечиваться внешним образом по отношению к транспортному потоку.

Таким образом, в некоторых вариантах осуществления устройство может быть выполнено с возможностью приема второго транспортного потока от того же источника или от другого источника. Устройство может быть выполнено с возможностью обработки этого второго транспортного потока, и может из него извлекать альтернативную аудиокомпоненту, которая может заменять заменяемую аудиокомпоненту из первого транспортного потока, как описано ранее, на альтернативную аудиокомпоненту, содержащуюся в том же транспортном потоке. Второй транспортный поток может, например, приниматься от другого источника посредством соединения по сети Интернет.

Такой подход может, например, позволять получать заменяемую аудиокомпоненту от другого поставщика, например, посредством соединения по сети Интернет. Он может, например, позволять третьей стороне обеспечивать дубляж языков для, например, фильмов.

Конкретный пример второго транспортного потока может, таким образом, быть транспортным потоком, принимаемым или получаемым из другого источника данных или из другого файла, нежели первый транспортный поток. Например, первый транспортный поток может приниматься из первичного источника данных посредством широковещательной передачи. Например, первый транспортный поток может приниматься от телевизионной станции, вещающей первый транспортный поток для большого количества приемников и пользователей. Таким образом, эта передача может, например, быть радиовещанием точка - много точек. Однако второй транспортный поток, содержащий альтернативные аудиоданные, может передаваться напрямую отдельному пользователю посредством другого средства передачи данных, такого, как, например, посредством сети Интернет. Второй транспортный поток может передаваться как передача точка-точка напрямую отдельному приемнику/пользователю. Второй транспортный поток может, в действительности, даже специально запрашиваться пользователем, и обеспечиваться через интерактивный носитель, такой как сеть Интернет. Такой подход может позволять эффективное распространение и передачу в тоже время, что и при обеспечении очень высокой степени потенциальной настройки пользователем.

Соответственно, второй транспортный поток может, возможно, быть получаемым из или посредством другого источника, нежели первый транспортный поток. В случае файлов, транспортные потоки могут быть из разных файлов. Другой источник для второго транспортного потока также может быть, например, другим носителем (например, первый транспортный поток может быть получен из диска Blu-ray и второй транспортный поток может быть из радиопередачи). Основной источник, обеспечивающий первый транспортный поток, может быть вещательным, или мультивещательным сигналом, в то время как второй источник, обеспечивающий второй транспортный поток, может быть источником, предназначенным для конкретного индивидуума.

Во многих вариантах осуществления, однако альтернативные аудиоданные являются частью того же транспортного потока.

Если говорить конкретнее, то устройство, формирующее транспортный поток, в некоторых вариантах осуществления включает альтернативные аудиоданные в другой элементарный поток в транспортном потоке. Это может обеспечивать особенно эффективный подход, и может во многих сценариях облегчать работу и сигнализирование, и может обеспечивать более эффективный транспортный поток. В таких вариантах осуществления, приемник может извлекать альтернативные аудиоданные посредством идентификации пакетов данных с PID, соответствующим элементарному потоку, в котором альтернативные аудиоданные содержатся.

Пример такого сценария показан на фиг. 5. В примере, элементарный поток с PID, равным 1, содержит две аудиокомпоненты, а именно обязательную аудиокомпоненту, соответствующую фоновым звукам, и заменяемую аудиокомпоненту, соответствующую установленному по умолчанию языку. Обязательная аудиокомпонента представлена посредством аудиоданных в пакетах данных, указанных как BG1p1, BG1p2 и т.д., и заменяемая аудиокомпонента обеспечивается посредством аудиоданных в пакетах данных, указанных как OA C. Кроме того, второй элементарный поток с PID, равным 2, содержит альтернативную аудиокомпоненту, представленную посредством аудиоданных в пакетах данных, указанных как OA A. Третий элементарный поток с PID, равным 3, также обеспечивает альтернативную аудиокомпоненту, представленную посредством аудиоданных в пакетах данных, указанных как OA B. Следует отметить, что на фиг. 5, пакеты данных для OA A и OA B показаны как происходящие одновременно с пакетами данных для OA C. Это может отражать сценарии, в которых эти пакеты данных могут, в действительности, включаться одновременно (например, с канальным перемежением по пакетам данных). Однако также следует понимать, что во многих вариантах осуществления, пакеты данных могут мультиплексироваться по времени. Упомянутые две альтернативные аудиокомпоненты могут соответствовать разным языкам, которые могут заменять язык заменяемой аудиокомпоненты. Если говорить конкретнее, то как проиллюстрировано на фиг. 5, альтернативные аудиоданные элементарного потока PID 2 могут заменять заменяемые аудиоданные элементарного потока OA C.

Таким образом, модуль воспроизведения может извлекать фоновые аудиоданные (обязательные аудиоданные) из элементарного потока PID 1 и декодировать их для формирования обязательной аудиокомпоненты, соответствующей фоновому аудио. Кроме того, модуль воспроизведения может извлекать альтернативные аудиоданные из элементарного потока PID 2, и декодировать их для формирования альтернативной аудиокомпоненты, соответствующей одному из дублирующих языков. Упомянутые две компоненты затем комбинируются для формирования выходного сигнала, который воспроизводится/производится.

Как указано на фиг. 5, пакеты данных для заменяемых аудиоданных и альтернативных аудиоданных не обязательно соответствуют друг другу. Например, они могут кодироваться различным образом (например, разные параметры кодирования, скорость передачи данных или алгоритмы кодирования) и могут конкретно соответствовать разным временным интервалам или отрезкам. Однако если, например, используется раздельное декодирование, за которым следует комбинирование аудиокомпонент, такие различия могут решаться посредством адаптации различных путей декодирования и комбинирования декодированных сигналов.

В некоторых вариантах осуществления, второй элементарный поток может содержать не только альтернативную аудиокомпоненту, но может, например, содержать множество альтернативных аудиокомпонент.

В действительности, в некоторых вариантах осуществления, второй элементарный поток может дополнительно содержать обязательные аудиоданные для другого представления для элемента контента. Таким образом, в некоторых вариантах осуществления, второй элементарный поток может быть элементарным потоком, который сам обеспечивает другое аудиопредставление для элемента контента. Соответственно, приемник может быть выполнен с возможностью формирования звуковой дорожки для элемента контента с использованием только аудиоданных второго элементарного потока. Например, второй элементарный поток может содержать обязательные аудиоданные и заменяемые аудиоданные для альтернативного аудиопредставления для элемента контента. В таком примере, альтернативные аудиоданные для первого элементарного потока (и, таким образом, первого представления) могут, например, быть заменяемыми аудиоданными из второго элементарного потока (то есть для второго представления).

В некоторых вариантах осуществления, альтернативные аудиоданные могут обеспечиваться в самом первом элементарном потоке, то есть они могут быть частью того же элементарного потока, который включает в себя обязательные аудиоданные и заменяемые аудиоданные. Таким образом, устройство из фиг. 3 может быть выполнено с возможностью включения альтернативных аудиоданных в первый элементарный поток посредством мультиплексирования по времени пакетов данных, включающих в себя альтернативные аудиоданные, в транспортный поток, где PID этих пакетов данных является таким же как для пакетов данных с обязательными аудиоданными и заменяемыми аудиоданными. Устройство из фиг. 4 может по умолчанию извлекать аудиоданные из пакетов данных, содержащих обязательные аудиоданные и заменяемые аудиоданные, и осуществлять формирование выходного аудиосигнала из этих данных. Однако например, в ответ на пользовательский ввод, устройство может вместо этого извлекать альтернативные аудиоданные из соответствующих пакетов данных и формировать выходной сигнал аудио с использованием этих данных вместо заменяемых аудиоданных.

Пример такого подхода показан на фиг. 6, где первый элементарный поток содержит пакеты данных с обязательными аудиоданными (BG1p1...), с заменяемыми аудиоданными (OA A) и с альтернативными аудиоданными (OA B, OA C). В примере, обязательные аудиоданные извлекаются для формирования обязательной аудиокомпоненты, и данные из пакетов данных OA B извлекаются и декодируются для формирования альтернативной аудиокомпоненты вместо установленных по умолчанию заменяемых аудиоданных. Выходной сигнал формируется посредством комбинирования декодированной обязательной аудиокомпоненты и декодированной альтернативной аудиокомпоненты.

Предыдущее описание фокусировалось на примерах, где альтернативные аудиоданные соответствуют разным аудиокомпонентам, как, например, разным языкам. Однако следует понимать, что описанный подход не ограничен таким примером.

В действительности, в некоторых вариантах осуществления, заменяемые аудиоданные и альтернативные аудиоданные могут представлять один и тот же аудиоконтент, кодированный с использованием разных характеристик кодирования. Если говорить конкретнее, то заменяемые аудиоданные и альтернативные аудиоданные могут соответствовать одному и тому же аудиоконтенту, и конкретно одной и той же аудиокомпоненте, но кодированной с разными битовыми скоростями передачи данных.

Это может обеспечивать повышенную гибкость и, например, может позволять приемнику принимать транспортный поток и эффективно и с низкой сложностью формировать транспортный поток, соответствующий одному и тому же аудиоконтенту, но с другой скоростью передачи данных. Таким образом, выбор между заменяемыми аудиоданными и альтернативными аудиоданными может зависеть от характеристик самих данных, как, например, зависеть от конкретной скорости передачи данных и требуемой скорости передачи данных. Подход может обеспечивать повышенную гибкость, и может конкретно позволять гибкую адаптацию характеристик транспортного потока.

В некоторых вариантах осуществления, альтернативные аудиоданные могут, например, быть аудиообъектом, таким как аудиообъект SAOC, представляющим множество подобъектов.

В некоторых вариантах осуществления, устройство из фиг. 3 может быть выполнено с возможностью включения данных управления воспроизведением в транспортный поток. Данные управления воспроизведением могут определять требуемый, желательный или предлагаемый параметр воспроизведения для воспроизведения аудио транспортного потока. Например, данные управления воспроизведением могут обеспечивать индикацию абсолютного или относительного уровня аудиокомпонент.

Данные управления воспроизведением могут определенным образом обеспечивать другой параметр воспроизведения для случая, когда используются заменяемые аудиоданные, нежели для случая, когда используются альтернативные аудиоданные.

Данные управления воспроизведением могут, например, описывать относительный коэффициент усиления или уровень сигнала для выходного сигнала, когда воспроизводится установленное по умолчанию аудио, то есть когда выходной сигнал формируется на основании обязательных аудиоданных и заменяемых аудиоданных. Они могут дополнительно описывать другой относительный коэффициент усиления или уровень сигнала для выходного сигнала, когда воспроизводится альтернативное аудио, то есть когда выходной сигнал формируется на основании обязательных аудиоданных и альтернативных аудиоданных.

Такой подход может, например, использоваться для обеспечения различия между воспроизведением, например, аудио может воспроизводиться более громко, когда воспроизводится установленный по умолчанию аудиосигнал, нежели когда воспроизводится альтернативный аудиосигнал. Однако подход также может использоваться, чтобы гомогенизировать выходной сигнал. Например, в ситуациях, в которых уровень заменяемой аудиокомпоненты является более высоким, чем уровень альтернативной аудиокомпоненты, данные управления воспроизведением могут увеличивать общий коэффициент усиления выходного сигнала, когда используется альтернативная аудиокомпонента, что приводит к уменьшению различия уровня.

В некоторых вариантах осуществления, данные управления воспроизведением могут описывать разное воспроизведение для заменяемой аудиокомпоненты и альтернативной аудиокомпоненты. Например, коэффициент усиления для заменяемой аудиокомпоненты может отличаться от альтернативной аудиокомпоненты. Это может, например, обеспечивать настройки. В качестве конкретного примера, TV вещание на немецком языке может, как правило, иметь более высокие относительные уровни звука комментатора по отношению к шумам толпы для событий спортивных состязаний, нежели TV вещание на английском языке. Соответственно, разные коэффициенты усиления могут устанавливаться для двух разных компонент языков, так что один и тот же эффект может обеспечиваться из единого транспортного потока с альтернативными языками.

В некоторых вариантах осуществления, данные управления воспроизведением могут обеспечивать разные параметры воспроизведения для (возможно только) обязательных аудиоданных/обязательной аудиокомпоненты в зависимости от того, формируется ли выходной сигнал на основании заменяемых аудиоданных/заменяемой аудиокомпоненты или альтернативных аудиоданных/альтернативной аудиокомпоненты.

Для позволения приемнику полностью использовать обеспеченный транспортный поток, передатчик может включать в себя дополнительные данные, которые могут сигнализировать информацию о разных данных, содержащихся в транспортном потоке.

Если говорить конкретнее, то в некоторых вариантах осуществления, устройство из фиг. 3 может быть выполнено с возможностью включения в себя индикации того, что первый элементарный поток содержит заменяемые аудиоданные. Эта индикация может, например, обеспечиваться как часть отдельных конфигурационных данных для транспортного потока. Например, могут обеспечиваться пакеты данных, которые содержат пакеты конфигурации, определяющие разные элементарные потоки транспортного потока. А именно, могут обеспечиваться конфигурационные данные, которые включают в себя таблицы PMT. В таком случае, часть PMT, определяющая отдельный элементарный поток, может совершенствоваться, чтобы также включать в себя информацию, которая определяет то, какие аудиокомпоненты представлены в элементарном потоке, и конкретно то, содержит ли отдельный элементарный поток больше, чем одну аудиокомпоненту. Например, может устанавливаться флаг, чтобы указывать, что определенный элементарный поток содержит заменяемые аудиоданные.

В некоторых вариантах осуществления, может формироваться транспортный поток, который включает в себя данные извлечения для заменяемых аудиоданных в элементарном потоке. Такие данные извлечения могут, например, определять то, как заменяемые аудиоданные могут идентифицироваться. Например, они могут содержать индикацию того, какие пакеты данных включают в себя заменяемые аудиоданные и какие пакеты данных включают в себя обязательные аудиоданные. Описание может, например, обеспечиваться посредством описания аудиокомпонент, включенных в элементарный поток, и ассоциирования каждой с идентификационной информацией. Каждый пакет данных может затем включать в себя идентификационную информацию аудиокомпоненты в заголовке, чтобы указывать, для какой аудиокомпоненты пакет данных содержит аудиоданные. Данные извлечения могут обеспечивать идентификационную информацию аудиокомпоненты для каждой аудиокомпоненты, тем самым, позволяя приемнику извлекать релевантную информацию.

Если говорить конкретнее, то для транспортного потока MPEG-2, добавочный дескриптор аудио может расширяться с помощью определения объекта. Пример синтаксиса добавочного дескриптора аудио обеспечен на фиг. 7. Фиг. 8 иллюстрирует стандартное использование соответственно элементов данных mix_type и editorial_classification.

В этом примере, структура данных mix_type может быть изменена от структуры данных из фиг. 8 на структуру данных из фиг. 9. editorial_classification может быть изменена на структуру данных из фиг. 10. Кроме того, может использоваться компонента дескриптора AAC, такая как компонента из фиг. 11.

Этот пример показывает, что зарезервированный бит, под структурой данных editorial_classification, может использоваться для указания содержит ли аудио объекты, которыми можно манипулировать. В случае, когда mixed_type равняется 1, значение 1 бита объекта указывает, что аудиодорожка является фоновым объектом и должна микшироваться с объектом. Если бит объекта равняется 0, это является текущим случаем, это указывает, что аудиодорожка является полной и может дополняться с помощью объекта или другого потока mix_type 0.

С помощью структуры данных editorial_classification, может сигнализироваться случай использования заменяемого объекта. Идентифицирующая информация этого заменяемого объекта может быть помещена в дескрипторе AAC. Только сигнал, который должен задаваться на этом уровне является идентифицирующей информацией о том, что имеется заменяемый объект.

Расширение дескриптора AAC может определенным образом включать в себя цикл объектов с дескриптором на каждый объект, описывающим его атрибуты, как, например, конкретно:

- Язык объекта.

- Возможность замены: Это может сигнализировать, о том, что объект является установленным по умолчанию объектом в потоке и может заменяться на другой объект (и дополнительно может быть включена ссылка на этот альтернативный объект).

- Является ли он объектом, который пользователь может выбирать, чтобы добавлять его к целому, или выбирает пропустить его. Например, он может быть специальной звуковой дорожкой для людей с ограниченными возможностями или содержать специальный комментарий. Это дает оператору возможность предлагать дорожку комментариев при очень ограниченной стоимости полосы пропускания.

- Индикацию текста, который может отображаться с объектом, для наглядного пояснения пользователю, что он является интерактивным объектом. Например, может быть возможным для пользователя выбирать этот объект, помещать его в другое положение, или делать его более громким или более мягким, например.

- Обеспечение ссылки на видеообъект, который связан с аудиообъектом. Интерактивный объект также может иметь возможность перемещаться вместе с его соответствующим видео. Например, может быть возможным «увеличивать масштаб» объекта. Масштабирование может визуализироваться посредством видеообъекта и громкости посредством аудиообъекта. В этом случае пользователь имеет иллюзию, что объект действительно приближается, так как только аудио этого объекта становится более громким.

Кроме того, объект в заголовке полезной нагрузки аудио (UsacConfig) может расширяться с помощью уникального идентификатора посредством дескриптора метаданных. Этот идентификатор может включаться в дескриптор в PMT для позволения идентификации объекта. Этот идентификатор также может быть описанием XML в файле, который описывает аудиоконтент.

Фиг. 12 иллюстрирует то, как объект может идентифицироваться в UsacConfig.

Фиг. 13 иллюстрирует пример синтаксиса дескриптора объекта, для позволения объекту делегировать свой контент объекту SAOC.

Во многих вариантах осуществления, поток данных элементов аудиовизуального контента может соответственно иметь данные, включающие в себя аудиовизуальные данные, данные управления, метаданные и т.д., структурированные в иерархической компоновке.

Если говорить конкретнее, то поток данных элементов аудиовизуального контента (конкретно транспортный поток) может содержать дескриптор элементов контента потока данных, который определяет элементы контента, которые включены в поток данных элементов аудиовизуального контента. Дескриптору элементов контента потока данных может определенным образом назначаться определенный идентификатор типа пакета, который определенным образом может быть стандартизирован, и, таким образом, будет известен как на передающей стороне, так и на принимающей стороне. Таким образом, приемник может обнаруживать пакеты данных с определенным идентификатором типа пакета и может из этих пакетов данных извлекать данные для определения того, какие элементы контента включены в поток данных элементов аудиовизуального контента. Например, для транспортного потока MPEG, транспортный поток может включать в себя PAT, которая включается в пакеты данных с определенным PID, равным 0.

Дескриптор элементов контента потока данных может определенным образом для каждого элемента контента обеспечивать указатель на таблицу состава элемента контента для элемента контента. Таблица состава элемента контента для элемента контента может содержать список идентификаторов типа пакета потоков аудиовизуальных данных для пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента. Таким образом, таблица состава элемента контента содержит идентификатор типа пакета для каждого потока аудиовизуальных данных, который обеспечивает аудиовизуальные данные для элемента контента, включающие в себя, например, видеоданные, обязательные аудиоданные, заменяемые аудиоданные, альтернативные аудиоданные, и дополнительные аудиоданные. Кроме того, таблица состава элемента контента может содержать указатели и конкретно идентификаторы типа пакета для потоков данных, обеспечивающих, например, метаданные, данные управления и т.д., для элемента контента. Таблица состава элемента контента может быть таблицей состава программы.

Если говорить конкретнее, то для потока данных типа MPEG, PAT может для каждого элемента контента включать в себя идентификатор типа пакета для PMT. PMT для программы/элемента контента затем может включать в себя PID для каждого элементарного потока данных, обеспечивающего аудиовизуальные данные для программы.

Потоки аудиовизуальных данных соответственно обеспечиваются в пакетах данных с идентификаторами типа пакета, соответствующими идентификаторам типа пакета, указанными в таблице состава элемента контента. Например, как описано ранее, обязательные и заменяемые аудиоданные могут обеспечиваться в одном потоке аудиовизуальных данных посредством обеспечения аудиоданных в пакетах с одним идентификатором типа пакета, первые альтернативные данные могут обеспечиваться в другом потоке аудиовизуальных данных посредством обеспечения аудиоданных в пакетах с другим идентификатором типа пакета, вторые альтернативные данные могут обеспечиваться в другом потоке аудиовизуальных данных посредством обеспечения аудиоданных в пакетах с третьим идентификатором типа пакета и т.д. Формируется таблица состава элемента контента, которая включает в себя идентификаторы типа пакета соответствующих потоков аудиовизуальных данных.

Подход обеспечивает высокую степень гибкости и позволяет источнику формировать потоки данных элементов аудиовизуального контента, которые подходят конкретному сценарию и которые обеспечивают требуемые элементы контента желательным способом. Это может дополнительно, по существу, облегчать извлечение данных приемником. Если говорить конкретнее, то приемник, по существу, должен только отслеживать идентификаторы типа пакета для выбора требуемых данных, и он может просто игнорировать все пакеты данных, которые не содержат требуемые данные.

Например, приемник может изначально отслеживать принимаемые пакеты в отношении идентификатора типа пакета дескриптора элементов контента потока данных, то есть определенным образом, он может осуществлять отслеживание в отношении определенного PID таблицы PAT (PID 0 в случае MPEG).

Когда он обнаруживается, приемник извлекает данные и выбирает требуемый элемент контента. Затем идентификатор типа пакета для таблицы состава элемента контента, конкретно PID для PMT для MPEG, извлекается для этого элемента контента.

Приемник затем осуществляет сканирование в отношении пакетов данных с этим идентификатором типа пакета. Данные для этих пакетов данных извлекаются, тем самым, обеспечивая идентификаторы типа пакета для потоков аудиовизуальных данных, которые содержат данные для элемента контента. Приемник затем может осуществлять сканирование в отношении пакетов данных, содержащих эти идентификаторы, при игнорировании всех других пакетов данных. Такой подход позволяет, в частности, практическое и низкой сложности мультиплексирование и демультиплексирование аудиовизуальных данных.

Таким образом, подход обеспечивает подход низкой сложности и малых ресурсов для извлечения релевантных данных из потоков данных элементов аудиовизуального контента.

Однако в некоторых вариантах осуществления, может формироваться поток данных элементов аудиовизуального контента, который позволяет трактовать некоторое количество потоков аудиовизуальных данных как единый поток аудиовизуальных данных. Если говорить конкретнее, то скорее чем использовать стандартные идентификаторы типа пакета, подход может использовать подход комбинированной или каскадной идентификации. Если говорить конкретнее, то поток аудиовизуальных данных может быть ассоциирован как с первичным идентификатором, так и со вторичным идентификатором, где первичный идентификатор может быть общим идентификатором для по меньшей мере двух из потоков аудиовизуальных данных.

Первичный идентификатор может конкретно быть общим идентификатором типа пакета потоков данных, то есть он может быть идентификатором типа пакета, который идентифицирует (комбинированный) поток данных. Так как первичный идентификатор является общим для множества потоков аудиовизуальных данных, первичный идентификатор может рассматриваться как определяющий общий или комбинированный поток аудиовизуальных данных, который является комбинацией всех потоков аудиовизуальных данных, которые совместно используют первичный идентификатор.

Первичный идентификатор во многих вариантах осуществления включен в таблицу состава элемента контента. Таким образом, формируется таблица состава элемента контента, которая включает в себя первичный идентификатор, и, таким образом, таблица состава элемента контента, тем самым, обеспечивает указатель на единый поток данных, который является комбинированным потоком данных из множества отдельных потоков аудиовизуальных данных.

В действительности, во многих вариантах осуществления, устройство из фиг. 3 может быть выполнено с возможностью формирования таблицы состава элемента контента, которая включает в себя только одиночный первичный идентификатор для всех потоков аудиовизуальных данных, содержащих аудио, или, в действительности, для всех потоков аудиовизуальных данных, для элемента контента, представленного посредством таблицы состава элемента контента.

В действительности, в некоторых вариантах осуществления, таблица состава элемента контента может формироваться таким образом, что только один идентификатор типа пакета потоков аудиовизуальных данных для элемента контента включается в таблицу состава элемента контента, или таким образом, что только один идентификатор типа пакета потоков аудиовизуальных данных для аудиоданных для элемента контента включается в таблицу состава элемента контента. Таким образом, для определенного элемента контента, общий идентификатор типа пакета представляет все аудио или аудиовизуальный контент для элемента контента, и, в действительности, элемент контента может обрабатываться на основании первичного идентификатора, как если бы он содержал только единый поток аудиовизуальных данных (или единый поток аудиовизуальных данных для аудио).

В качестве конкретного примера, для транспортного потока типа MPEG, может формироваться PMT для элемента контента, которая включает в себя только один PID для всех элементарных потоков аудио, или, в действительности, для всех элементарных потоков аудио или видео, для элемента контента. Таким образом, элемент контента будет связан только с единым PID для всех аудио или для всех аудио и видео.

Соответственно, в некоторых вариантах осуществления, поток аудиовизуальных данных может для устройств обработки, таких как приемники, мультиплексоры, демультиплексоры и т.д., проявляться как имеющий меньшее количество потоков аудиовизуальных данных, нежели в действительности. Если говорить конкретнее, то поток аудиовизуальных данных может проявляться как имеющий только единое аудио или единый аудиовизуальный элементарный поток для элемента контента. Например, для примера типа MPEG, транспортный поток может проявляться для схемы обработки как включающий в себя только единый элементарный поток для всех аудио (или аудиовизуальных) компонент для элемента контента.

Однако поток данных элементов аудиовизуального контента может дополнительно содержать вторичный идентификатор для каждого отдельного потока аудиовизуальных данных, который был комбинирован в общий поток аудиовизуальных данных. Вторичный идентификатор является уникальным внутри общего потока аудиовизуальных данных, то есть никакие два потока аудиовизуальных данных из общего потока аудиовизуальных данных не имеют вторичный идентификатор. Вторичный идентификатор, таким образом, позволяет идентифицировать отдельный поток аудиовизуальных данных.

Вторичный идентификатор может во многих вариантах осуществления быть идентификатором типа пакета. Таким образом, во многих вариантах осуществления, отдельные пакеты могут представляться посредством общего первичного идентификатора типа пакета и посредством вторичного идентификатора типа пакета. Каждый пакет может включать в себя поле, в котором содержится общий первичный идентификатор типа пакета, и второе поле, в котором содержится отдельный вторичный идентификатор.

Таким образом, пакеты могут обрабатываться посредством схемы, как, например, демультиплексорами, маршрутизаторами и т.д., как если бы пакеты представляли единый поток аудиовизуальных данных. Если говорить конкретнее, то посредством включения общего PID в PMT и поля PID пакетов данных для транспортного потока типа MPEG, транспортный поток может обрабатываться, как если бы он содержал только единое аудио или аудиовизуальный элементарный поток. Функциональные возможности могут просто обрабатывать, например, все пакеты аудиоданных для элемента контента одинаковым образом, и как если бы имелся только единый элементарный поток. Однако в то же время, подходящим образом оборудованные функциональные возможности способны осуществлять доступ к отдельным потокам аудиовизуальных данных и обрабатывать их как отдельные потоки аудиовизуальных данных. Если говорить конкретнее, то такие функциональные возможности могут дополнительно оценивать поле, содержащее вторичный идентификатор, и могут соответствующим образом выбирать то, как обрабатывать пакет данных. Если говорить конкретнее, то они могут принимать решение в отношении того, игнорировать ли или обрабатывать пакеты данных в зависимости от того, какой требуется поток аудиовизуальных данных для обеспечения требуемого воспроизведения элемента контента.

Таким образом, при обработке потока данных элементов аудиовизуального контента, приемник может обнаруживать корректные пакеты данных для определенного элемента контента на основании первичного/общего идентификатора типа пакета. Он может определенным образом, на основании информации в принятой таблице состава элемента контента, идентифицировать все пакеты данных, принадлежащие к общему потоку аудиовизуальных данных, и, таким образом, к отдельным потокам аудиовизуальных данных, формирующим общий поток аудиовизуальных данных. Таким образом, извлечение аудиоданных основывается на первичном идентификаторе.

В вариантах осуществления, использующих такой подход идентификаторов типа пакета с двумя частями, транспортный поток может содержать дополнительные данные, которые обеспечивают информацию отдельных потоков аудиовизуальных данных, включая в себя информацию соответствующих вторичных идентификаторов, и, как правило, характеристики аудио отдельных потоков аудиовизуальных данных, ассоциированных с отдельными потоками аудиовизуальных данных.

Например, могут обеспечиваться данные, которые для определенного первичного идентификатора перечисляют все вторичные идентификаторы потоков аудиовизуальных данных, которые совместно используют тот же первичный идентификатор. Данные могут дополнительно указывать характеристики отдельного потока аудиовизуальных данных, такие, как, например, содержит ли он обязательные аудиоданные, заменяемые аудиоданные, дополнительные аудиоданные, альтернативные аудиоданные и т.д.

В некоторых вариантах осуществления, такая информация может обеспечиваться внутри пакетов данных общего потока аудиовизуальных данных. Например, с регулярными интервалами, может обеспечиваться пакет данных, который включает в себя всю информацию, относящуюся к вторичному идентификатору. Приемник может сначала обнаруживать и извлекать данные из всех пакетов данных, содержащих первичный идентификатор. Когда принимается пакет данных с информацией, относящейся к использованию вторичного идентификатора, эта информация может извлекаться и использоваться приемником для идентификации отдельных потоков аудиовизуальных данных. Приемник затем может переключаться, чтобы также учитывать вторичные идентификаторы пакетов данных, содержащих первичный идентификатор типа пакета, и конкретно, чтобы извлекать данные только из пакетов данных, имеющих требуемые вторичные идентификаторы.

В других вариантах осуществления, данные могут обеспечиваться вне общего потока аудиовизуальных данных, и, в действительности, во многих вариантах осуществления, информация может обеспечиваться в таблице состава элемента контента.

Если говорить конкретнее, то для каждого общего или первичного идентификатора, может формироваться таблица состава элемента контента, которая включает в себя множество вторичных идентификаторов типа пакета, где каждый вторичный идентификатор типа пакета идентифицирует отдельный поток аудиовизуальных данных потоков аудиовизуальных данных из общего потока аудиовизуальных данных.

Например, следующее за перечислением первичного идентификатора, некоторое количество дополнительных полей может включаться в таблицу состава элемента контента, где каждое дополнительное поле обеспечивает вторичный идентификатор для отдельного потока аудиовизуальных данных с общим первичным идентификатором. Если первичный идентификатор представляет единый поток аудиовизуальных данных, который не является комбинацией потоков аудиовизуальных данных, то никакие дополнительные поля не могут быть включены. Каждое дополнительное поле может в дополнение к вторичному идентификатору типа пакета для отдельного потока аудиовизуальных данных также содержать метаданные для потока аудиовизуальных данных, как, например, конкретно данные, определяющие характеристики аудиовизуальных данных потока аудиовизуальных данных (такие, как, например, содержит ли он альтернативные аудиоданные, обязательные аудиоданные, заменяемые аудиоданные или дополнительные аудиоданные).

Если говорить конкретнее, то может модифицироваться или формироваться таблица состава элемента контента, которая, для каждого первичного идентификатора, включает в себя набор полей, при этом каждое поле представляет один отдельный поток аудиовизуальных данных из комбинированного потока аудиовизуальных данных. Каждое поле может, например, содержать данные, представляющие:

- Вторичный идентификатор для отдельного потока аудиовизуальных данных, и

- Дескрипторы для этого отдельного потока аудиовизуальных данных.

Например, для подхода типа MPEG, PMT может содержать единый PID для всех аудио для элемента контента. Следуя за PID в PMT может быть набор полей, который для каждого отдельного потока аудиовизуальных данных обеспечивает вторичный идентификатор и метаданные, характеризующие содержимое этого отдельного потока аудиовизуальных данных.

В некоторых вариантах осуществления, первичные/общие идентификаторы и вторичные идентификаторы типа пакета могут обеспечиваться в иерархической компоновке. Например, первичный идентификатор типа пакета может обеспечиваться в таблице состава элемента контента на первом уровне, который будет сканироваться посредством приемника, ищущим элементарные потоки. Вторичные идентификаторы типа пакета могут обеспечиваться в дополнительных полях, которые связаны с первичным идентификатором типа пакета, как, например, посредством включения списка вторичных идентификаторов типа пакета для каждого первичного идентификатора типа пакета. В таких вариантах осуществления, приемник будет соответствующим образом сначала сканировать стандартный список первичных идентификаторов типа пакета. Когда требуемый комбинированный элементарный поток был идентифицирован, приемник может осуществлять проход по списку вторичных идентификаторов типа пакета, которые сохранены для идентифицированного первичного идентификатора типа пакета. Таким образом, вторичные идентификаторы типа пакета идентифицируются в зависимости от соответствующего первичного идентификатора типа пакета.

Таким образом, в некоторых вариантах осуществления, может использоваться вложенная структура первичных и вторичных идентификаторов типа пакета. Например, PMT может включать в себя список идентификаторов PID в наборе выделенных полей и список может, например, включать в себя только единый первичный PID для комбинированного элементарного потока. Однако PMT может, кроме того, содержать второй список вторичных идентификаторов PID для отдельных элементарных потоков из комбинированного элементарного потока. Эти вторичные идентификаторы PID обеспечиваются в выделенных полях данных для вторичных идентификаторов PID и связаны с первичным PID. Таким образом, приемник будет осуществлять доступ к вторичным идентификаторам PID только на основании первичного PID, и, в действительности, приемник будет проводить различие между первичными идентификаторами PID и вторичными идентификаторами PID.

Однако в других вариантах осуществления, может использоваться плоская структура первичных и вторичных идентификаторов типа пакета. В действительности, таблица состава элемента контента может содержать список идентификаторов, которые могут содержать как первичные, так и вторичные идентификаторы. В действительности, таблица состава элемента контента может включать в себя простой список всех возможных потоков аудиовизуальных данных, включающих в себя как комбинированные потоки аудиовизуальных данных, так и отдельный поток аудиовизуальных данных. Кроме того, определенный отдельный поток аудиовизуальных данных может представляться посредством вторичного идентификатора типа пакета для отдельного потока аудиовизуальных данных и также может представляться посредством первичного идентификатора типа пакета (то есть выбор какого-либо из этих идентификаторов типа пакета будет приводить к выбору потока аудиовизуальных данных). В действительности, для каждого отдельного потока аудиовизуальных данных, таблица состава элемента контента может включать в себя запись для первичного идентификатора типа пакета любого комбинированного потока аудиовизуальных данных, которому отдельный поток аудиовизуальных данных принадлежит, также как для вторичного идентификатора типа пакета для отдельного потока. Таким образом, в этом примере, список может, например, содержать запись с идентификатором типа пакета для всех потоков аудиовизуальных данных, включающих в себя как комбинированные, так и отдельные потоки аудиовизуальных данных.

Соответственно, в некоторых вариантах осуществления, вторичные идентификаторы типа пакета могут инкапсулироваться в данные, связанные с первичным идентификатором типа пакета, тогда как в других вариантах осуществления вторичный идентификатор типа пакета может обеспечиваться параллельно с первичными идентификаторами типа пакета. Первичный идентификатор типа пакета может соответственно быть любым идентификатором, обеспечивающим идентификатор типа пакета для комбинированного потока аудиовизуальных данных, содержащего множество потоков аудиовизуальных данных. Вторичный идентификатор типа пакета может быть любым идентификатором типа пакета для отдельного потока аудиовизуальных данных и не должен инкапсулироваться, внедряться или зависеть от первичного идентификатора типа пакета.

Например, скорее, чем внедрять информацию вторичных идентификаторов типа пакета в данные для одиночного первичного идентификатора типа пакета, может формироваться таблица состава элемента контента, которая включает в себя все возможные идентификаторы типа пакета в цикле/последовательности. В таких вариантах осуществления, приемник может просто выбирать идентификатор типа пакета, который соответствует конкретным данным, которые требуются, и может делать выбор, чтобы, например, выбирать единый комбинированный поток аудиовизуальных данных или отдельный поток аудиовизуальных данных просто посредством выбора соответствующего идентификатора типа пакета из списка.

В таких вариантах осуществления, приемник 1401 может определенным образом быть выполнен с возможностью выбора требуемого аудио посредством выбора требуемых идентификаторов типа пакета, нежели просто передачей всей информации аудио в едином комбинированном потоке.

Подход может комбинировать свойства и характеристики, имеющие единый поток аудиовизуальных данных с теми, которые имеют множество потоков аудиовизуальных данных в транспортном потоке.

Это может обеспечивать значительное преимущество, так как множество оборудования в данной области техники неспособно надежно обрабатывать множество потоков аудиовизуальных данных.

Фиг. 14 иллюстрирует пример принимающего устройства, которое содержит приемник 1401, соединенный с аудиодекодером 1403. В примере, приемник 1401 принимает поток данных элементов аудиовизуального контента и способен обрабатывать его для, например, извлечения различных потоков аудиовизуальных данных. Таким образом, приемник 1401 может принимать транспортный поток и может быть выполнен с возможностью его обработки для, например, формирования отдельных элементарных потоков данных аудио и видео. Приемник 1401 может конкретно соответствовать непосредственно приемнику 401 из фиг. 4.

Аудиодекодер 1403 выполнен с возможностью приема одного или более потоков данных, содержащих аудиоданные, и формирования выходного аудиосигнала из этих аудиоданных. Аудиодекодер 1403 может конкретно содержать функциональные возможности для приема аудиоданных из потоков аудиовизуальных данных из потока данных элементов аудиовизуального контента. Таким образом, аудиодекодер 1403 может конкретно содержать функциональные возможности извлечения обязательных аудиоданных из элементарного потока, для получения альтернативных аудиоданных из того же или из другого элементарного потока, для замены принятых заменяемых аудиоданных на альтернативные данные, и для формирования аудиосигнала из результирующих аудиоданных.

Если говорить конкретнее, то аудиодекодер 1403 может содержать оставшиеся функциональные блоки из фиг. 4, и может конкретно содержать модули 403, 405, 407 извлечения данных, блоки 409, 411, 413 декодирования и модуль замены/модуль 415 комбинирования.

В примере из фиг. 14, аудиодекодер 1403 может обеспечиваться разными потоками аудиовизуальных данных/элементарными потоками данных, где каждый поток является аудиопотоком, содержащим разные аудиоданные. Однако во многих вариантах осуществления, приемник 1401 может быть выполнен с возможностью формирования единого потока данных, который содержит все аудиоданные, и обеспечения этого потока данных в аудиодекодер 1403. Приемник 1401 может, например, комбинировать элементарные потоки аудио в единый комбинированный аудиопоток, содержащий разные элементарные потоки. В некоторых сценариях, единый комбинированный аудиопоток может все еще содержать отдельные потоки аудиовизуальных данных, например, отдельные потоки аудиовизуальных данных могут инкапсулироваться в единый поток данных. В других сценариях, приемник 1401 может, например, извлекать релевантные аудиоданные и комбинировать их в поток аудиоданных без включения всех аспектов входных потоков аудиовизуальных данных. Например, приемник 1401 может формировать новый поток данных, содержащий другие данные управления, синтаксиса и/или структуры для потока данных. В некоторых случаях, аудиоданные могут комбинироваться в новый поток аудиовизуальных данных, то есть новый элементарный поток. Этот комбинированный поток аудиовизуальных данных/элементарный поток может содержать исходный элементарный поток принятого транспортного потока или может включать в себя некоторые или все из аудиоданных в независимом элементарном потоке. Для краткости, последующее описание будет главным образом ссылаться на транспортные потоки и элементарные потоки, нежели на потоки данных элементов аудиовизуального контента и потоки аудиовизуальных данных. Кроме того, оно будет ссылаться на сценарий, где приемник 1401 формирует единый элементарный поток для аудиодекодера 1403.

Таким образом, аудиодекодер 1403 будет принимать одни элементарные потоки аудио и будет формировать выходной аудиопоток.

Во многих практических вариантах осуществления, приемник и декодер являются относительно независимыми и отдельными функциональными блоками, нежели тесно интегрированными функциями. В действительности, во многих сценариях упомянутые два объекта могут конструироваться и разрабатываться независимо и отдельно. Например, для многих устройств воспроизведения контента, аудиодекодеры являются общими декодерами, которые повторно используются для многих разных устройств. Например, многие производители устройств воспроизведения контента могут покупать стандартные функции аудиодекодеров, нежели разрабатывать их самостоятельно.

Соответственно, интерфейс между приемником 1401 и аудиодекодером 1403 имеет критическую важность во многих сценариях, и при этом желательно использовать простой и стандартизированный, или по меньшей мере общий подход, нежели полагаться, например, на выделенный и проприетарный интерфейс и управление.

Традиционно, аудиодекодер рассматривался в инфраструктуре относительно простого устройства, в которое обеспечивается битовый поток, который декодируется согласно стандарту декодирования, осуществленному посредством аудиодекодера, и без каких-либо дополнительных модификаций или взаимодействия с внешней схемой. Такой подход может, например, использоваться в варианте осуществления из фиг. 4, где в каждый из блоков 409-413 декодирования обеспечивается простой элементарный поток, из которого он формирует аудиосигнал, который может впоследствии комбинироваться посредством модуля 415 комбинирования в соответствии с конкретными предпочтениями аудио для конкретного воспроизведения, и конкретно выходной сигнал может формироваться на основании заменяемых аудиоданных или альтернативных данных, как требуется, например, конкретным пользователем.

В некоторых вариантах осуществления, устройство может использовать более сложный аудиодекодер 1403, который может определенным образом принимать один или более элементарных потоков аудио и из этого формировать выходное аудио посредством, например, обработки данных перед декодированием аудиосигнала. Например, аудиодекодер 1403 может в таких вариантах осуществления выбирать соответствующие данные для использования перед выполнением фактического декодирования. Таким образом, аудиоданные, которые не используются, могут не декодироваться и, в действительности, могут даже не извлекаться из потока (потоков) данных, обеспечиваемого в аудиодекодер 1403. Например, заменяемые аудиоданные, которые заменяются на альтернативные данные, могут не декодироваться или даже извлекаться. Аналогично, альтернативные аудиоданные, которые не используются, или альтернативные аудиоданные, которые не используются, чтобы заменять заменяемые аудиоданные, могут не декодироваться или извлекаться.

Таким образом, в некоторых вариантах осуществления, замена заменяемых аудиоданных на альтернативные аудиоданные может не выполняться посредством использования комбинации декодированных аудиосигналов, но может вместо этого выполняться посредством выбора альтернативных аудиоданных для декодирования, нежели выбора заменяемых аудиоданных. Выходной сигнал может в этом случае, например, формироваться посредством декодирования только обязательных аудиоданных и альтернативных аудиоданных, и сложения результирующих аудиосигналов вместе.

Такой подход может во многих сценариях обеспечивать более эффективную работу. Однако в таком случае необходимо, чтобы декодер имел возможность адаптироваться к конкретным требованиям и предпочтениям отдельного сценария. Кроме того, в таком случае необходимо, чтобы декодер имел возможность обрабатывать множество разных аудиокомпонент и адаптироваться к ним гибким образом. Если говорить конкретнее, то нежели аудиодекодер просто воспроизводит все принятые аудиоданные, он должен быть способен гибко комбинировать разные аудиообъекты и определенным образом заменять некоторые аудиообъекты на другие объекты.

Однако для достижения этого, для приемника необходимо инструктировать аудиодекодер 1403 в отношении того, как обрабатывать аудиоданные, обеспечиваемые в него. Одним из возможных вариантов является осуществление проприетарного интерфейса, где приемник 1401 выполнен с возможностью формирования различных сигналов управления, которые управляют аудиодекодером 1403для выполнения требуемых операций. Однако такой подход, как правило, приводит к сложным вариантам осуществления и требует, чтобы использовался выделенный и проприетарный декодер.

В системе из фиг. 14, аудиодекодер 1403 выполнен с возможностью управления приемником 1401, формирующим поток аудиовизуальных данных, который включает в себя аудиоданные, и который дополнительно включает в себя дескриптор обработки аудиоданных, который указывает то, как разные аудиоданные должны обрабатываться аудиодекодером 1403. В примере, приемник 1401 определенным образом формирует единый поток аудиовизуальных данных, который содержит все аудиоданные, которые могут потенциально использоваться аудиодекодером 1403, и возможно все аудиоданные, содержащиеся во входном транспортном потоке для определенного элемента контента. Кроме того, один и тот же поток аудиовизуальных данных содержит данные управления декодированием/обработкой, которые позволяют аудиодекодеру 1403 адаптировать декодирование/обработку и конкретно комбинацию аудиообъектов для конкретных предпочтений для этого воспроизведения. Таким образом, в системе из фиг. 14, приемник 1401 добавляет дескриптор управления в форме дескриптора обработки аудиоданных к элементарному потоку аудио, обеспечиваемому в поток аудиовизуальных данных, и аудиодекодер 1403 интерпретирует этот дескриптор обработки аудиоданных для управления его задачей декодирования.

Более подробно, в примере из фиг. 14, приемник 1401 принимает транспортный поток, содержащий множество элементарных потоков, включающих в себя некоторое количество элементарных потоков аудио для определенного элемента контента. Приемник 1401 извлекает один или более из элементарных потоков аудио и формирует один или более выходных элементарных потоков из этого. Если говорить конкретнее, то на основании первого потока аудиовизуальных данных, который определенным образом может быть первым элементарным потоком, содержащим обязательные аудиоданные и заменяемые аудиоданные для первого элемента контента, приемник 1401 может формировать второй поток аудиовизуальных данных, который определенным образом может быть вторым элементарным потоком, содержащим обязательные аудиоданные и заменяемые аудиоданные из первого потока аудиовизуальных данных. Кроме того, второй поток аудиовизуальных данных/элементарный поток может содержать аудиоданные из другого входного элементарного потока, как, например, из элементарного потока, содержащего альтернативные аудиоданные.

Кроме того, приемник 1401 формирует дескриптор обработки аудиоданных, который указывает то, каким образом аудиодекодер 1403 должен формировать выходной аудиосигнал из аудиоданных второго элементарного потока. Дескриптор обработки аудиоданных включается во второй элементарный поток. Например, может формироваться второй элементарный поток, который содержит одно или более полей, содержащих данные, описывающие то, каким образом отдельные аудиокомпоненты должны обрабатываться, и конкретно то, каким образом (верно ли, что) они должны декодироваться и комбинироваться с другими аудиокомпонентами.

Приемник 1401 затем обеспечивает второй элементарный поток в аудиодекодер 1403. Аудиодекодер 1403 осуществляет извлечение дескриптора обработки аудиоданных из второго потока аудиовизуальных данных и формирование аудиосигнала в ответ на дескриптор обработки аудиоданных.

Дескриптор обработки аудиоданных может определять то, какие аудиокомпоненты должны комбинироваться вместе для формирования выходного сигнала, и соответственно аудиодекодер 1403 может определенным образом получать (только) указанные аудиокомпоненты, декодировать их, и в заключение складывать их вместе.

В некоторых вариантах осуществления, приемник 1401 может включать в себя множество дескрипторов обработки аудиоданных, при этом каждый из дескрипторов обработки аудиоданных обеспечивает указания обработки для поднабора аудиокомпонент из второго элементарного потока. В некоторых вариантах осуществления, для каждой аудиокомпоненты может обеспечиваться один дескриптор обработки аудиоданных, при этом дескриптор обработки аудиоданных конкретно описывает то, является ли соответствующая аудиокомпонента обязательными аудиоданными, заменяемыми аудиоданными, или альтернативными аудиоданными. Дескрипторы обработки аудиоданных могут дополнительно описывать, должна ли фактически альтернативная аудиокомпонента заменять определенную заменяемую аудиокомпоненту или нет.

В качестве конкретного примера, дескриптор обработки аудиоданных может обеспечиваться для определенной аудиокомпоненты для указания того, должна ли она трактоваться как альтернативные аудиоданные или как дополнительные данные. Альтернативные аудиоданные являются данными, которые заменяют некоторые заменяемые аудиоданные, тогда как дополнительные данные являются данными, которые добавляются к заменяемым аудиоданным.

Например, входной поток в приемник 1401 может содержать элементарный поток, содержащий первые аудиоданные для определенной первой аудиокомпоненты. В некоторых ситуациях воспроизведения, может быть желательным, чтобы первая аудиокомпонента заменяла вторую аудиокомпоненту из входного транспортного потока. Таким образом, в этом случае, первые аудиоданные представляют альтернативные аудиоданные для альтернативной аудиокомпоненты, которая воспроизводится вместо второй аудиокомпоненты, которая является заменяемой аудиокомпонентой. Однако в других сценариях может быть желательным, чтобы первая аудиокомпонента воспроизводилась вместе со второй аудиокомпонентой, то есть чтобы обе аудиокомпоненты воспроизводились вместе.

В первом случае, дескриптор обработки аудиоданных может включаться во второй элементарный поток посредством приемника 1401 для указания того, что первые аудиоданные являются, в действительности, альтернативными аудиоданными, которые должны заменять вторые аудиоданные. Однако в последнем случае, дескриптор обработки аудиоданных может включаться посредством приемника 1401 для указания того, что первые аудиоданные являются вместо этого дополнительными аудиоданными, которые должны добавляться ко вторым аудиоданным, то есть что обе аудиокомпоненты должны извлекаться и воспроизводиться. Таким образом, в данном случае дескриптор обработки аудиоданных внедряется для первых аудиоданных, указывая, являются ли они назначенными альтернативными аудиоданными или дополнительными аудиоданными.

Аудиодекодер 1403 будет обрабатывать данные в соответствии с принятыми дескрипторами обработки аудиоданных. В конкретном примере, если дескриптор обработки аудиоданных указывает, что первые аудиоданные назначены как альтернативные аудиоданные, аудиодекодер 1403 осуществляет извлечение первых аудиоданных и трактовку их как альтернативных аудиоданных. Кроме того, он заменяет заменяемые аудиоданные в форме вторых аудиоданных на эти извлеченные первые аудиоданные. Замена может определенным образом достигаться посредством декодирования только первых аудиоданных, тогда как вторые аудиоданные не извлекаются и не декодируются. Соответственно, первая аудиокомпонента формируется и включается в выходной аудиосигнал.

Однако если дескриптор обработки аудиоданных указывает, что первые аудиоданные назначены как дополнительные аудиоданные, аудиодекодер 1403 осуществляет извлечение как первых аудиоданных, так и вторых аудиоданных. Кроме того, как первые аудиоданные, так и вторые аудиоданные декодируются для формирования первой аудиокомпоненты и второй аудиокомпоненты. Обе из них затем комбинируются в выходном сигнале.

В таких вариантах осуществления, приемник 1401 может соответственно управлять работой аудиодекодера 1403, и определенным образом может управлять тем, какие аудиоданные вносят вклад в выходной сигнал и какие игнорируются. Подход позволяет управление низкой сложности и может позволять аудиодекодеру 1403 требовать только то, чтобы входной поток данных формировал требуемый вывод аудио.

Подход может дополнительно позволять, например, чтобы все аудиоданные транспортного потока (для определенного элемента контента) включались во второй поток аудиовизуальных данных, обеспечиваемый в аудиодекодер 1403, в то же время, позволяя этим данным гибко использоваться, и определенным образом все еще позволяя формировать выходной сигнал, который включает в себя только поднабор аудиокомпонент. Аудиокомпоненты могут гибко выбираться приемником 1401 посредством данных, включенных в сам второй поток аудиовизуальных данных.

Приемник 1401 может, например, формировать дескриптор обработки аудиоданных, который указывает, являются ли заданные аудиоданные аудиоданными из группы из:

обязательных аудиоданных;

заменяемых аудиоданных;

альтернативных аудиоданных; и

дополнительных аудиоданных.

В некоторых вариантах осуществления, может использоваться поднабор или расширенный набор из этой группы.

Дескриптор обработки аудиоданных для определенного элемента контента может, например, формироваться в ответ на предпочтение воспроизведения для конкретного устройства, или, например, в ответ на пользовательский ввод.

В качестве примера, принятый транспортный поток может содержать обязательную фоновую аудиокомпоненту, аудиокомпоненту на английском языке, фоновую аудиокомпоненту на немецком языке, и вторичную фоновую компоненту. Пользователь может выбирать какие аудиокомпоненты требуются, и какие дескрипторы обработки аудиоданных могут формироваться для отражения выбранных аудиокомпонент, таким образом, что они извлекаются и декодируются аудиодекодером 1403.

В некоторых вариантах осуществления, дескрипторы обработки аудиоданных могут формироваться приемником 1401 не полагаясь на какие-либо определенные дескрипторы обработки аудиоданных, и конкретно не полагаясь на какой-либо дескриптор обработки аудиоданных из принятого транспортного потока.

Однако в других вариантах осуществления, дескрипторы обработки аудиоданных второго элементарного потока формируются из дескрипторов обработки аудиоданных, которые являются частью принятого потока данных элементов аудиовизуального контента, то есть как часть принятого транспортного потока.

Если говорить конкретнее, то приемник 1401 может быть выполнен с возможностью формирования первого дескриптора обработки аудиоданных из второго дескриптора обработки аудиоданных, принятого в транспортном потоке. Таким образом, для определенного элементарного потока аудио из входного транспортного потока, транспортный поток может включать в себя один или более дескрипторов обработки аудиоданных, которые указывают то, каким образом аудиоданные этого элементарного потока аудио должны декодироваться аудиодекодером 1403.

Например, определенный элементарный поток аудио может содержать альтернативные аудиоданные, которые предназначены для замены заменяемых аудиоданных. Например, элементарный поток может содержать диалог на немецком языке, который должен заменять установленную по умолчанию аудиокомпоненту диалога, такую, как, например, аудиокомпоненту диалога на английском языке. Входной транспортный поток может соответственно включать в себя дескриптор обработки аудиоданных, который определяет, что эти аудиоданные должны трактоваться как заменяемые аудиоданные, и что они должны заменять другие аудиоданные диалога. Транспортный поток может включать в себя другие элементарные потоки аудио диалога и для каждого из них, транспортный поток также может включать в себя дескриптор обработки аудиоданных.

Таким образом, в этом примере устройство, формирующее транспортный поток, такое, как, например, устройство из фиг. 3, может дополнительно быть выполнено с возможностью формирования дескрипторов обработки аудиоданных, которые указывают то, каким образом соответствующие аудиоданные должны, или могут, обрабатываться. Например, дескриптор обработки аудиоданных может быть включен для каждой аудиокомпоненты диалога, указывая, что эта дорожка может быть выбрана и что, если это так, она должна заменять все другие аудиокомпоненты диалога.

Дескрипторы обработки аудиоданных включаются в транспортный поток, например, в составе программы для элемента контента, или возможно в отдельных пакетах данных для отдельного элементарного потока.

В частности, во многих вариантах осуществления, дескриптор обработки аудиоданных может на стороне формирования транспортного потока включаться в таблицу состава программы для элемента контента. В качестве конкретного примера, для каждого элементарного потока аудио, таблица состава программы может включать в себя не только идентификатор типа пакета для элементарного потока, но также один или более дескрипторов обработки аудиоданных, указывающих то, каким образом аудиоданные должны декодироваться. Это может позволять источнику управлять и описывать то, каким образом контент может, имеет возможность, и/или должен декодироваться и воспроизводиться.

Приемник 1401 может при приеме такого транспортного потока формировать второй элементарный поток и обеспечивать его в аудиодекодер 1403 со вторым элементарным потоком, содержащим дескрипторы обработки аудиоданных, которые формируются из дескрипторов обработки аудиоданных входного транспортного потока и которые описывают то, каким образом конкретные аудиоданные должны декодироваться и воспроизводиться в конкретной ситуации.

Дескрипторы обработки аудиоданных второго элементарного потока формируются из принятых дескрипторов обработки аудиоданных. Эта обработка может в некоторых вариантах осуществления быть сложной обработкой, которая оценивает принятые дескрипторы обработки аудиоданных и из этого формирует новые дескрипторы обработки аудиоданных, которые отражают конкретную обработку.

Однако во многих вариантах осуществления, приемник 1401 может быть выполнен с возможностью простого копирования соответствующих дескрипторов обработки аудиоданных из транспортного потока во второй элементарный поток.

Если говорить конкретнее, то дескрипторы обработки аудиоданных из входного потока, которые описывают обработку или конкретно то, какие аудиоданные, которые требуются для текущего воспроизведения, могут копироваться из входного транспортного потока во второй элементарный поток.

Например, если требуется воспроизводить аудиоданные для определенной аудиокомпоненты или элементарного потока аудио, приемник 1401 может просто копировать дескриптор обработки аудиоданных для этой аудиокомпоненты или элементарного потока аудио во второй элементарный поток. Например, если требуется воспроизводить аудиодорожку диалога на немецком языке, приемник 1401 может копировать дескриптор обработки аудиоданных для элементарного потока диалога на немецком языке (вместе с аудиоданными) во второй элементарный поток. Соответственно, второй элементарный поток будет содержать дескриптор обработки аудиоданных, который предписывает аудиодекодеру 1403 заменять заменяемые аудиоданные диалога на английском языке на аудиоданные диалога на немецком языке.

Если не требуется, чтобы аудиоданные воспроизводились, например, если пользователь предпочитает диалог на английском языке, приемник 1401 может не копировать дескриптор обработки аудиоданных для элементарного потока диалога на немецком языке во второй элементарный поток. В таких вариантах осуществления, аудиодекодер 1403 может, например, быть выполнен с возможностью игнорирования или отбрасывания аудиоданных, для которых никакой дескриптор обработки аудиоданных не включается в элементарный поток, вводимый в аудиодекодер 1403.

В некоторых вариантах осуществления, источник может быть выполнен с возможностью формирования транспортного потока, содержащего множество возможных дескрипторов обработки аудиоданных для определенного элементарного потока аудио. Множество возможных дескрипторов обработки аудиоданных может, например, описывать разные возможные способы, которые могут быть использованы аудиоданными элементарного потока. Например, если аудиокомпонента может воспроизводиться как совместно, так и вместо, другой аудиокомпоненты, транспортный поток может содержать дескриптор обработки аудиоданных, указывающий, что данные являются альтернативными аудиоданными, и один дескриптор обработки аудиоданных, указывающий, что данные являются дополнительными аудиоданными. Таким образом, каждый из возможных дескрипторов обработки аудиоданных может описывать допустимую обработку соответствующих аудиоданных.

В таких вариантах осуществления, приемник 1401 может, например, извлекать множество возможных дескрипторов обработки аудиоданных для аудиоданных. На основании требуемого воспроизведения (например, на основании выборов языка пользователем), приемник 1401 может осуществлять выбор одного из дескрипторов обработки аудиоданных, который соответствует требуемому воспроизведению. Этот дескриптор обработки аудиоданных затем может копироваться во второй элементарный поток, тогда как другие дескрипторы обработки аудиоданных могут игнорироваться.

В описанном примере, дескриптор обработки аудиоданных может рассматриваться для соответствующего использования маркера, находящегося во входном транспортном потоке, для внедрения в поток данных для аудиодекодера 1403, и использоваться в качестве команды для этого. Дескриптор обработки аудиоданных может содержать индикацию требуемой обработки аудиоданных аудиодекодером 1403.

Этот подход может приводить к более общему и открытому способу осуществления интерфейса для аудиодекодера 1403. Он также может позволять обработку низкой сложности. В качестве конкретного значительного преимущества, приемник 1401 просто должен выбирать то, какое воспроизведение требуется, и затем копировать соответствующий дескриптор обработки аудиоданных из входного транспортного потока во второй элементарный поток. Он не должен учитывать, или, в действительности, иметь какую-либо информацию, в отношении того, как выполняется фактическая обработка аудиодекодером 1403. Скорее, аудиодекодер 1403 интерпретирует и исполняет обработку, определенную посредством дескриптора обработки аудиоданных.

Это является весьма выгодным, так как альтернатива созданию проприетарного интерфейса для аудиодекодера 1403 требует, чтобы приемник 1401 понимал не только выбор, но также концепцию «замены», а именно, что объекты в этом потоке должны заменять объекты в основном потоке. Приемник 1401, который только пересылает копии дескрипторов обработки аудиоданных, должен понимать только то, что делается выбор. Отсюда следует, что действие, описанное посредством дескрипторов обработки аудиоданных, может быть произвольно сложным и постоянно изменяться и улучшаться во времени, так как все, что приемник 1401 должен делать - это копировать релевантные дескрипторы обработки аудиоданных. Приемник 1401 не должен понимать то, какие проприетарные команды ему будут нужны для реализации сложного действия, связанного с включением определенного потока в полный поток.

Конкретные примеры работы с использованием дескрипторов обработки аудиоданных обеспечиваются на фиг. 15 и 16 для (модифицированного) транспортного потока MPEG. В примерах, дескрипторы обработки аудиоданных указываются как «3D AD» и «дескриптор аудио 3D». В примерах, второй поток аудиовизуальных данных/элементарный поток формируется как аудиопоток MPEG-H (MHAS).

Предшествующее описание обеспечивает некоторое количество примеров подходов, относящихся к эффективному распространению аудио в потоках данных элементов аудиовизуального контента, и конкретно к распределению аудиоконтента в таких потоках данных.

При принятии решения в отношении подхода для распределения аудиовизуального контента, проектировщик сталкивается с многими разными и часто конфликтующими техническими проблемами. Если говорить конкретнее, то требуется, чтобы скорость передачи данных была настолько низкой, насколько возможно при поддержании настолько высокого качества, насколько возможно. Другое компромиссное соотношение осуществляется между желанием обеспечить представление данных, которое является очень простым для обработки и воспроизведения посредством приемника, и все еще обеспечивает высокую степень гибкости для приемника для настройки воспроизведения данных. Для поддержания такой гибкости, могут требоваться все более сложная структура и организация потока данных, но это также, как правило, требует более сложную обработку со стороны приемника.

Таким образом, вопрос в отношении того, как разделять, структурировать и организовывать данные в потоках аудиовизуальных данных, является критической и трудной технической проблемой, которая требует некоторого количества технических компромиссных соотношений.

Ранее описанные подходы обращаются к этой проблеме и пытаются обеспечить улучшенное компромиссное соотношение между различными характеристиками, требованиями и предпочтениями для различных применений.

Подходы используют более гибкий подход, чем традиционные потоки данных MPEG, в которых все аудио для аудиопредставления, как правило, обеспечивается в едином элементарном потоке. В действительности, стандартный поток данных MPEG организовывается как транспортный поток, который содержит множество элементарных потоков, в которых каждый элементарный поток данных содержит видео или аудиокомпоненту. Данные в транспортных потоках MPEG, таким образом, структурируются в элементарных потоках и определяются два возможных элементарных потока аудио. Один из них является элементарным потоком данных, который обеспечивает полное аудиопредставление для элемента контента, то есть аудиокомпонента, соответствующая всему звуковому эпизоду, обеспечивается в едином элементарном потоке. Другой вариант выбора состоит в том, что элементарный поток аудио включает в себя аудиоданные для дополнительной звуковой компоненты, которая может комбинироваться с/добавляться к полной (полному представлению) аудиокомпоненте.

Подход MPEG имеет значительное преимущество в том, что он имеет низкую сложность и что контент может воспроизводиться на основании обработки низкой сложности. В действительности, идентификация и извлечение требуемых аудиоданных для определенного элемента контента, как правило, требует, чтобы идентифицировался в и извлекался из транспортного потока только один элементарный поток данных, и, как правило, требует, чтобы декодировалась только одна аудиокомпонента.

MPEG обеспечивает некоторую гибкость посредством позволения дополнять аудио посредством дополнительных аудиокомпонент. Эти дополнительные аудиокомпоненты являются дополнительными аудиокомпонентами, которые могут игнорироваться или могут комбинироваться с/добавляться к полной аудиокомпоненте. Однако никакие другие варианты выбора не являются возможными, то есть аудиокомпоненты являются дополнительными компонентами, которые не могут заменять аудиоданные для полного представления.

Таким образом, для стандартного транспортного потока MPEG, аудиоданные либо назначаются как полные аудиоданные, которые обеспечиваются отдельно и отдельно в едином элементарном потоке данных, или являются назначенными дополнительными аудиоданными, которые также обеспечиваются сами в отдельном элементарном потоке. Соответственно, каждый элементарный поток обеспечивает один тип аудиоданных, который может либо воспроизводиться напрямую, либо добавляться к полной аудиокомпоненте.

Подход MPEG обеспечивает поток данных с компактным представлением данных и малым количеством служебной информации данных, что позволяет обработку низкой сложности посредством приемника. В действительности, приемник должен учитывать только PID (идентификатор типа пакета) пакетов данных, чтобы находить и извлекать только аудиоданные, которые требуются, то есть имеется прямое соответствие между типом аудиоданных и идентификацией элементарного потока. Однако недостаток подхода состоит в том, что гибкость воспроизведения аудио низка, и, по существу, ограничена возможностью добавления при необходимости дополнительного аудио к иному полному аудиопредставлению.

За последние годы, было предложено ввести аудиообъекты. Вместо обеспечения аудиокомпоненты, которая соответствует всему звуковому эпизоду/сцене, подход вместо этого основывается на обеспечении большого количества отдельных аудиообъектов, которые, каждый, соответствуют одному источнику звука в аудиосцене. Конечный модуль воспроизведения может соответствующим образом создавать определенную звуковую сцену посредством отдельного декодирования каждого аудиообъекта, позиционирования объекта в звуковой сцене, формирования соответствующих пространственных аудиосигналов, комбинирования аудиообъектов, и в заключение воспроизведения комбинированных сигналов.

Такой подход обеспечивает высокую степень гибкости для воспроизводимого аудио и обеспечивает приемник с высокой степенью свободы. Однако он требует очень сложной обработки в приемнике. В действительности, обработка, требуемая для воспроизведения аудиоданных, является сложной, и кроме того, сложность и обработка, требуемая для идентификации и извлечения, требуемых и желаемых аудиоданных, также как определение того, каким образом аудиоданные могут использоваться в воспроизведении, являются весьма сложными. Подход также приводит к большому количеству служебной информации данных для обеспечения необходимой информации, требуемой для идентификации распределения данных в потоке данных.

Ранее описанные подходы направлены на обеспечение другого, и для многих сценариев улучшенного компромиссного соотношения между сложностью, служебной информацией данных, и гибкостью, при распределении элементов контента, чем те, что обеспечиваются посредством стандартного транспортного потока MPEG или транспортного потока аудиообъектов.

Подходы основываются на новом потоке данных, содержащем разные типы аудиоданных, нежели в стандартном транспортном потоке, и на наличии другой организации этих данных в потоке данных.

Аналогично традиционным подходам MPEG, подходы основываются на потоке данных элементов аудиовизуального контента (транспортном потоке), который содержит множество отдельных потоков аудиовизуальных данных, содержащих аудиовизуальные компоненты (упоминаемые как элементарные потоки) для элемента аудиовизуального контента.

Однако подходы основываются на элементарных потоках данных, которые могут, каждый, обеспечивать аудиоданные, достаточные для аудиопредставления для контента, но которые содержат разные типы аудиоданных. Таким образом, транспортный поток выполнен с возможностью включения в себя элементарного потока, который содержит разные типы аудиоданных. В действительности, некоторые из аудиоданных из этого элементарного потока назначаются как обязательные аудиоданные для аудиопредставления. Обязательные аудиоданные должны воспроизводиться во время представления аудиопредставления. Другие данные из элементарного потока данных назначаются как заменяемые аудиоданные. Эти заменяемые аудиоданные являются аудиоданными для аудиопредставления, но являются аудиоданными, которые приемнику позволяется замещать посредством других (альтернативных) данных.

Таким образом, в подходах, единый элементарный поток обеспечивается разными типами данных для определенного аудиопредставления, а именно некоторыми данными, которые назначаются как обязательные аудиоданные, которые должны воспроизводиться во время представления аудиопредставления, и другими данными, которые назначаются как заменяемые аудиоданные, которые могут заменяться/или замещаться посредством других данных.

Соответственно, в подходах, транспортный поток обеспечивает аудиопредставление, в котором разные типы аудиоданных для аудиопредставления обеспечиваются внутри одиночного элементарного потока данных. Кроме того, данные определенным образом назначаются как данные, которые должны представляться/воспроизводиться (во время представления/воспроизведения соответствующего аудиопредставления), или данные, которые могут замещаться/заменяться посредством других данных. Заменяемые аудиоданные являются данными, которые назначаются как замещаемые посредством других данных, но которые не могут удаляться без замены.

Этот конкретный подход обеспечивает структуру потока данных, которая является, по существу, более эффективной и обеспечивает более хорошее компромиссное соотношение между скоростью передачи данных, сложностью, и гибкостью во многих сценариях и применениях. Он может дополнительно обеспечивать эти преимущества при обеспечении увеличенной обратной совместимости с подходами из уровня техники, такими как транспортные потоки MPEG.

Если говорить конкретнее, то подходы могут обеспечивать битовый поток, который не требует большого количества служебной информации, при том, что он обеспечивает гибкий подход. Приемник низкой сложности может идентифицировать и извлекать данные на основании того, как данные структурированы в элементарные потоки. Однако он может дополнительно повышать гибкость посредством того, что разные аудиоданные из одного элементарного потока назначаются как, имеющие разные характеристики по отношению к аудиопредставлению.

Подходы могут, например, позволять устаревшему приемнику с низкой сложностью все еще быть способным воспроизводить аудиопредставление нового потока данных сугубо на основании идентификации элементарного потока. Например, во многих вариантах осуществления, устаревший декодер MPEG может просто извлекать первый элементарный поток и трактовать его в качестве стандартного элементарного потока MPEG. Это может приводить к формированию номинального аудиопредставления. Однако в дополнение к такой обратной совместимости, не устаревший приемник может обрабатывать принятый поток данных и замещать заменяемые аудиоданные посредством альтернативных данных, тем самым, формируя альтернативное аудиопредставление. Это может все еще достигаться с низкой сложностью и не требовать сложной обработки и служебной информации, связанной, например, с аудиообъектами.

Подходы обеспечивают предпочтительное решение для технической проблемы в отношении того, как наилучшим образом распределять аудиоконтент для элементов аудиовизуального контента, и конкретно обеспечивают структуру (транспортного) потока данных, и контент данных, что обеспечивает улучшенное компромиссное соотношение между скоростью передачи данных, сложностью и гибкостью, и что также может обеспечивать улучшенную обратную совместимость.

Обязательные аудиоданные являются данными, которые назначаются (и во многих вариантах осуществления указываются) как данные, которые должны включаться в воспроизведение аудиопредставления/аудиосцены. Таким образом, обязательные аудиоданные для аудиопредставления являются данными, которые включаются в элементарный поток данных и которые должны воспроизводиться, если выбирается аудиопредставление/аудиосцена элементарного потока данных. Таким образом, обязательные аудиоданные являются данными, которые назначаются как обязательные, требуемые, необходимые и т.д., для воспроизведения аудиопредставления/аудиосцены, ассоциированной с элементарным потоком данных. Во многих вариантах осуществления, обязательные аудиоданные и заменяемые аудиоданные могут содержаться в элементарном потоке данных, ассоциированном только с одним аудиопредставлением/аудиосценой.

Обязательные аудиоданные могут назначаться/указываться как обязательные аудиоданные, например, посредством положения в элементарном потоке и/или посредством данных управления, описывающих данные как обязательные. Таким образом, в некоторых вариантах осуществления, транспортный поток данных, и возможно определенным образом элементарный поток данных, может включать в себя данные, указывающие то, какие аудиоданные из элементарного потока данных являются обязательными аудиоданными.

Заменяемыми являются данные, которые назначаются (и во многих вариантах осуществления указываются) как данные, которые могут включаться в воспроизведение аудиопредставления/аудиосцены или которые могут заменяться на другие аудиоданные в воспроизведении аудиопредставления/аудиосцены. Таким образом, заменяемые аудиоданные для аудиопредставления являются данными, которые включаются в элементарный поток данных и которые должны воспроизводиться, если выбирается аудиопредставление/аудиосцена элементарного потока данных, если они не заменяются на другие аудиоданные. Заменяемые аудиоданные являются данными, которые могут либо воспроизводиться, либо которые могут замещаться/заменяться/обмениваться/сменяться посредством альтернативных данных при воспроизведении/представлении аудиопредставления/аудиосцены, ассоциированной с элементарным потоком данных.

В описанных подходах, распределение контента соответствующим образом основывается на (транспортном) потоке, который включает в себя множество под- (элементарных) потоков данных, при этом аудиопредставление может описываться посредством единого элементарного потока данных, содержащего как данные, назначенные как обязательные аудиоданные, так и данные, назначенные как заменяемые аудиоданные, то есть единый элементарный поток данных включает в себя как аудиоданные, которые приемник должен представлять при представлении аудиопредставления, также как аудиоданные, которые приемник может замещать посредством других данных.

Таким образом, приемник принимает аудиоданные, которые он знает, что должны воспроизводиться, также как данные, которые он знает, что он может замещать посредством других данных. Кроме того, он принимает эти данные в едином элементарном потоке, тем самым, делая представление аудиопредставления возможным просто посредством извлечения аудиоданных из одного элементарного потока данных и их воспроизведения (таким образом, обеспечивая обратную совместимость).

Таким образом, транспортный поток содержит данные, которые ассоциированы с конкретными ограничениями в отношении того, как они должны использоваться приемником/модулем воспроизведения. Эта конкретная структура разных типов данных, которые назначаются для использования различным образом, и которые ассоциируются с различными ограничениями для их использования, может обеспечивать формирование эффективного транспортного потока с улучшенными компромиссными соотношениями, и конкретно, которая все еще позволяет обработку низкой сложности и обратную совместимость, и в то же время повышенную гибкость.

В действительности, назначение аудиоданных для одного аудиопредставления внутри одного элементарного потока данных в качестве обязательных или заменяемых аудиоданных обеспечивает существенные преимущества. Описанные структура, содержание, и организация потока данных элементов аудиовизуального контента обеспечивают транспортный поток, который может обрабатываться с низкой сложностью, может быть обратно совместимым, при этом который может обеспечивать повышенную гибкость.

Подход соответствующим образом не сосредоточен на выводе, определении, или выборе какой-либо конкретной политики микширования или аудио, но вместо этого относится к техническому решению, которое может поддерживать эффективное распределение аудиоданных, таким образом, что такие политики могут находиться с ним в соответствии. Подход позволяет использование потоков данных, которые позволяют распределения гибких (но не полностью свободных) политик при поддержании малого количества служебной информации данных и уменьшении сложности. Подходы не фокусируются на том, как выбирать стратегию микширования, но как технически содействовать распределению аудиоданных. Подход позволяет некоторым аспектам политики воспроизведения определяться посредством источника (например, обязательные аудиоданные), тогда как другие аспекты могут адаптироваться на стороне приема/воспроизведения (например, приемник может выбирать между разными альтернативными аудиокомпонентами).

Также следует отметить, что это не является фактической обработкой в приемнике, которая определяет данные. Скорее, это данные в потоке данных назначаются как обязательные или заменяемые аудиоданные для аудиопредставления. Данные соответствующим образом определяются посредством предполагаемого использования, то есть обязательные аудиоданные являются данными, которые должны представляться, если выбирается аудиопредставление, тогда как заменяемые аудиоданные могут замещаться посредством других альтернативных данных (но не могут просто удаляться).

Следует понимать, что вышеизложенное описание для ясности описывало варианты осуществления изобретения со ссылкой на разные функциональные схемы, блоки и процессоры. Однако должно быть очевидно, что любое подходящее распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами может использоваться без отступления от изобретения. Например, функциональные возможности, проиллюстрированные как выполняемые посредством отдельных процессоров или контроллеров, могут выполняться посредством одного и того же процессора или контроллера. Следовательно, ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, нежели указывающие строгую логическую или физическую структуру или организацию.

Изобретение может осуществляться в любой подходящей форме, включающей в себя аппаратное обеспечение, программное обеспечение, встроенное программное обеспечение или любую комбинацию перечисленного. Изобретение может дополнительно осуществляться по меньшей мере частично как компьютерное программное обеспечение, исполняющееся на одном или более процессорах данных и/или цифровых сигнальных процессорах. Элементы и компоненты одного варианта осуществления изобретения могут физически, функционально и логически осуществляться любым подходящим способом. В действительности, функциональные возможности могут осуществляться в одиночном блоке, в множестве блоков или как часть других функциональных блоков. Само по себе, изобретение может осуществляться в одиночном блоке или может быть физически и функционально распределенным между разными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано совместно с некоторыми вариантами осуществления, не предполагается, что оно ограничено конкретной формой, изложенной в материалах настоящей заявки. Скорее, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Кроме того, хотя признак может казаться описанным совместно с конкретными вариантами осуществления, специалист в данной области техники должен понимать, что различные признаки описанных вариантов осуществления могут комбинироваться в соответствии с изобретением. В формуле изобретения термин «содержащий» не исключает наличие других элементов или этапов.

Кроме того, хотя перечислены отдельно, множество средств, элементов, схем или этапов способа могут осуществляться посредством, например, одиночной схемы, блока или процессора. Кроме того, хотя отдельные признаки могут быть включены в разные пункты формулы, они могут, возможно, быть предпочтительно комбинированы, а включение в разные пункты формулы не подразумевает, что комбинация признаков является не реализуемой и/или предпочтительной. Также включение признака в одну категорию пунктов формулы не подразумевает ограничение этой категорией, но скорее указывает на то, что признак в равной степени применим к другим категориям пунктов формулы в соответствующих случаях. Кроме того, порядок признаков в формуле изобретения не подразумевает какой-либо конкретный порядок, в котором признаки должны выполняться, и, в частности, порядок отдельных этапов в пункте формулы не подразумевает, что этапы должны выполняться в указанном порядке. Скорее, этапы могут выполняться в любом подходящем порядке. Кроме того, указания в форме единственного числа не исключают множественного числа. Таким образом, указания на формы единственного числа, «первый», «второй» и т.д. не исключают множественного числа. Ссылочные позиции в формуле изобретения обеспечены только в качестве разъясняющего примера и не должны толковаться каким-либо образом как ограничивающие объем формулы изобретения.

Изобретение относится к обработке потока данных элементов аудиовизуального контента и, в частности, аудиовизуального контента транспортного потока MPEG-2. Техническим результатом является обеспечение улучшенного и более гибкого потока данных для аудиовизуального контента. Предложено передающее устройство, которое формирует поток данных элементов аудиовизуального контента (например, транспортный поток), содержащий множество отдельных потоков аудиовизуальных данных с аудиовизуальными компонентами для элемента контента. Генератор (301-307) формирует первый поток, содержащий как обязательные аудиоданные, так и заменяемые аудиоданные для аудиопредставления, где заменяемые аудиоданные являются данными, которые могут заменяться на альтернативные аудиоданные, а модуль (309) комбинирования включает результирующий поток в поток данных элементов контента. Принимающее устройство включает в себя модуль (403) извлечения, который извлекает обязательные аудиоданные из принятого потока. Модуль (415) замены может заменять заменяемые аудиоданные на альтернативные аудиоданные и модуль (415) вывода может формировать аудиосигнал из обязательных и альтернативных аудиоданных. 3 н. и 10 з.п. ф-лы, 16 ил.

1. Способ формирования аудиосигнала для элемента аудиовизуального контента, при этом способ содержит этапы, на которых:

принимают поток данных элементов аудиовизуального контента, содержащего множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента, при этом каждый поток аудиовизуальных данных содержит

кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации, при этом поток данных элементов аудиовизуального контента содержит

первый поток аудиовизуальных данных, содержащий первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные и заменяемые аудиоданные;

извлекают обязательные аудиоданные из первых аудиоданных;

формируют дескриптор обработки аудиоданных для вторых аудиоданных из по меньшей мере одного из отдельных потоков аудиовизуальных данных, при этом дескриптор обработки аудиоданных указывает, являются ли вторые аудиоданные одним из: альтернативных аудиоданных или дополнительных аудиоданных;

заменяют заменяемые аудиоданные на вторые аудиоданные, когда упомянутый дескриптор обработки аудиоданных указывает, что вторые аудиоданные указаны как альтернативные;

формируют аудиосигнал из обязательных аудиоданных и заменяемых аудиоданных и, когда дескриптор обработки аудиоданных указывает, что вторые аудиоданные являются дополнительными аудиоданными, из дополнительных аудиоданных.

2. Способ по п. 1, в котором этап формирования аудиосигнала содержит этапы, на которых: декодируют обязательные аудиоданные в первом аудиодекодере для формирования первого декодированного аудиосигнала; декодируют альтернативные аудиоданные во втором аудиодекодере для формирования второго декодированного аудиосигнала; и формируют аудиосигнал в ответ на комбинирование по меньшей мере первого декодированного аудиосигнала и второго декодированного аудиосигнала.

3. Способ по п. 1, в котором поток данных элементов аудиовизуального контента содержит таблицу состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных для пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента, при этом таблица состава элемента контента содержит: общий идентификатор типа пакета потоков данных для элемента контента для набора из по меньшей мере двух из множества отдельных потоков аудиовизуальных данных, причём способ дополнительно содержит этап, на котором извлекают аудиоданные для элемента контента в ответ на общий идентификатор типа пакета потоков данных.

4. Способ по п. 3, в котором таблица состава элемента контента содержит множество вторичных идентификаторов типа пакета для общего идентификатора типа пакета потоков данных, при этом каждый вторичный идентификатор типа пакета идентифицирует отдельный поток аудиовизуальных данных из набора из по меньшей мере двух из множества отдельных потоков аудиовизуальных данных, причём этап извлечения аудиоданных для элемента контента содержит этап, на котором извлекают аудиоданные для разных аудиокомпонент в ответ на вторичные идентификаторы типа пакета.

5. Устройство для формирования аудиосигнала для элемента аудиовизуального контента, при этом устройство содержит:

приемник, выполненный с возможностью:

приема потока данных элементов аудиовизуального контента, содержащего:

множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит

аудиовизуальные компоненты для элемента аудиовизуального контента; при этом каждый поток аудиовизуальных данных содержит кодированные данные, представляющие по меньшей мере одну аудиовизуальную компоненту, и данные синхронизации, при этом поток данных элементов аудиовизуального контента содержит первый поток аудиовизуальных данных, содержащий первые аудиоданные, представляющие элемент аудиовизуального контента, при этом первые аудиоданные содержат обязательный компонент аудиоданных, содержащий обязательные данные, и заменяемый компонент аудиоданных, содержащий заменяемые аудиоданные;

формирования дескриптора обработки аудиоданных для вторых аудиоданных из по меньшей мере одного из потоков аудиовизуальных данных, при этом дескриптор обработки аудиоданных указывает, являются ли вторые аудиоданные одним из: альтернативных аудиоданных или дополнительных аудиоданных;

аудиодекодер, содержащий:

модуль извлечения дескриптора обработки аудиоданных, выполненный с возможностью:

извлечения из дескриптора обработки аудиоданных указания, что вторые аудиоданные являются одним из: альтернативных аудиоданных и дополнительных аудиоданных; и

извлечения обязательного компонента аудиоданных из первых аудиоданных;

модуль (407) получения, выполненный с возможностью получения вторых аудиоданных в качестве альтернативных аудиоданных, когда дескриптор обработки аудиоданных указывает, что вторые аудиоданные являются альтернативными аудиоданными; и

модуль (415) замены, выполненный с возможностью замены заменяемых аудиоданных в заменяемом компоненте аудиоданных на вторые аудиоданные, когда вторые аудиоданные обозначены как альтернативные аудиоданные; и

модуль (415) вывода, выполненный с возможностью формирования аудиосигнала путём комбинирования обязательных аудиоданных из обязательного компонента аудиоданных, аудиоданных, содержащихся в заменяемом компоненте аудиоданных, и, когда дескриптор обработки аудиоданных указывает, что вторые аудиоданные являются дополнительными аудиоданными, дополнительных аудиоданных.

6. Устройство по п. 5, в котором дескриптор обработки аудиоданных указывает, заменяют ли вторые аудиоданные заменяемые данные.

7. Устройство по п. 5, в котором приемник (1401) выполнен с возможностью формирования дескриптора обработки аудиоданных из второго дескриптора обработки аудиоданных, принятого в потоке данных элементов аудиовизуального контента.

8. Устройство по п. 7, в котором приемник (1401) выполнен с возможностью копирования второго дескриптора обработки аудиоданных во второй поток аудиовизуальных данных.

9. Устройство по п. 7, в котором дескриптор обработки аудиоданных содержится в таблице состава элемента контента, при этом таблица состава элемента контента для элемента контента содержит список идентификаторов типа пакета потоков аудиовизуальных данных пакетов данных для потоков аудиовизуальных данных, связанных с элементом контента.

10. Устройство по п. 5, в котором поток данных элементов аудиовизуального контента содержит множество возможных дескрипторов обработки аудиоданных для вторых аудиоданных, причём приемник выполнен с возможностью: выбора дескриптора обработки аудиоданных из множества возможных дескрипторов обработки аудиоданных.

11. Устройство для формирования выходных аудиоданных, причём устройство содержит:

средство для приёма потока данных элементов аудиовизуального контента, содержащего множество отдельных потоков аудиовизуальных данных, при этом множество отдельных потоков аудиовизуальных данных содержит аудиовизуальные компоненты для элемента аудиовизуального контента, и

средство для формирования дескриптора обработки аудиоданных для вторых аудиоданных из по меньшей мере одного из отдельных потоков аудиовизуальных данных, при этом дескриптор обработки аудиоданных указывает, являются ли вторые аудиоданные одним из: альтернативных аудиоданных и дополнительных аудиоданных,

средство для кодирования первого потока аудиовизуальных данных, содержащего первые аудиоданные для аудиопредставления для элемента аудиовизуального контента, при этом первые аудиоданные содержат обязательные аудиоданные и заменяемые аудиоданные;

средство для замены заменяемых аудиоданных на вторые аудиоданные, когда вторые аудиоданные обозначены как альтернативные аудиоданные, и

средство для вывода аудиосигнала, содержащего обязательные аудиоданные, заменяемые аудиоданные и, когда дескриптор обработки аудиоданных указывает, что вторые аудиоданные являются дополнительными аудиоданными, дополнительные аудиоданные.

12. Устройство по п. 11, в котором заменяемые аудиоданные являются речевыми данными.

13. Устройство по п. 11, в котором заменяемые аудиоданные и альтернативные аудиоданные являются одним и тем же аудиоконтентом, кодированным с использованием различных схем кодирования.