УСТРОЙСТВО И СПОСОБ ДЛЯ ДОСТАВКИ И ПРИЕМА ДАННЫХ МУЛЬТИМЕДИА В ГИБРИДНОЙ СЕТИ Российский патент 2018 года по МПК H04L29/02 

Область техники, к которой относится изобретение

[1] Настоящее раскрытие относится к устройству и способу для доставки и приема данных мультимедиа в гибридной сети. Более конкретно, настоящее раскрытие относится к устройству и способу для воспроизведения данных транспортировки медиа MPEG (MMT), когда ММТ не является поддерживаемым типом данных.

Предшествующий уровень техники

[2] В последнее время в обслуживании мультимедиа были разработаны гибридная сеть, в которой одновременно соединяются широковещательная сеть и сеть связи, и технология транспортировки медиа MPEG (MMT), которая предоставляет гибридный контент, включающий в себя данные мультимедиа, приложение и файлы.

[3] Поток ММТ разделяется и передается с помощью элемента элементов обработки медиа (MPU), и устройство воспроизведения медиа также принимает и воспроизводит поток ММТ с помощью элемента MPU. Поток ММТ не разделяется безусловно с помощью предварительно определенного времени или предварительно определенного размера, когда ММТ разделяется на MPU, но разделяется на элементы достаточные, чтобы описывалась структура медиа, включенного в соответствующий MPU, и выполнялась операция, которую требует соответствующий поток ММТ.

Раскрытие изобретение

Техническая задача

[4] В противоположность, в конфигурации MPU в соответствии с родственной областью техники, устройство воспроизведения, которое не поддерживает ММТ, не может принимать медиаданные, включенные в MPU. Кроме того, конфигурация MPU в соответствии с родственной областью техники, является эффективной для доставки синхронизированных медиаданных, которые воспроизводятся в предварительно определенный момент времени, но является не эффективной для доставки несинхронизированных медиаданных.

[5] Вышеупомянутая информация представлена только в качестве справочной информации, чтобы помочь с пониманием настоящего раскрытия. Не было сделано определения, и не сделано утверждения относительно того, могло ли быть вышеупомянутое применимым в качестве предшествующего уровня техники относительно настоящего раскрытия.

Решение задачи

[6] Аспекты настоящего раскрытия направлены на решение, по меньшей мере, вышеупомянутых проблем и/или недостатков и обеспечивать, по меньшей мере, преимущества, описанные ниже. Таким образом, аспектом настоящего раскрытия является предоставление структуры элементов обработки медиа (MPU), в которой устройство воспроизведения медиа, которое не поддерживает транспортировку медиа MPEG (ММТ), может принимать и воспроизводить медиаданные ММТ.

[7] Другим аспектом настоящего раскрытия является предоставление устройства и способа для доставки данных мультимедиа, которые могут доставлять несинхронизированные медиаданные.

[8] Еще одним аспектом настоящего раскрытия является предоставление устройства и способа для доставки данных мультимедиа, в которых стороне приема не требуется вновь принимать обновление для MPU, даже если узел сети удаляет или модифицирует элемент фрагмента медиа (MFU), и, которые могут удалять MPU с помощью элемента MFU, принимая во внимание зависимость MFU, охватывающий разные элементы доступа (AU).

[9] В соответствии с аспектом настоящего раскрытия, предоставлен способ доставки медиаданных в гибридной сети, которая может обеспечивать вместе широковещание и связь через интернет. Способ включает в себя генерацию MPU, чтобы обрабатывать медиаданные, и доставку сгенерированного MPU, причем MPU включает в себя блок элемента обработки транспортировки медиа MPEG (ММТ)(MMPU), включающий в себя информацию относительно MPU, блок медиаданных (MDAT), включающий в себя один или более фрагментов медиаданных, которые генерируются из медиаданных, и блок MMFU, включающий в себя информацию относительно каждого фрагмента медиаданных.

[10] В соответствии с аспектом настоящего раскрытия, блок MMPU включает в себя, по меньшей мере, один из первого флага, который указывает то, соответствуют ли медиаданные синхронизированным данным или несинхронизированным данным, второго флага, который указывает то, включает ли в себя MPU MFU, и третьего флага, который указывает то, соответствует ли MPU первоначальному MPU или модифицированному MPU.

[11] В соответствии с аспектом настоящего раскрытия, блок MMPU включает в себя блок структуры AU, имеющий информацию относительно AU, и MPU включает в себя один или более AU, имеющих множество фрагментов медиаданных.

[12] В соответствии с аспектом настоящего раскрытия, блок MMPU включает в себя блок структуры MFU, который включает в себя, по меньшей мере, одно из фрагмента медиаданных и информации относительно блока MMFU, соответствующего фрагменту медиаданных.

[13] В соответствии с аспектом настоящего раскрытия, блок структуры MFU включает в себя информацию относительно зависимости между фрагментом медиаданных и AU, и MPU включает в себя один или более AU, имеющих множество фрагментов медиаданных.

[14] В соответствии с аспектом настоящего раскрытия, блок структуры MFU включает в себя, по меньшей мере, одно из ссылочной информации между фрагментами медиаданных, информации о приоритете и информации о временном и пространственном гибридном уровне, и порции информации определяются, принимая во внимание фрагменты медиаданных, которые принадлежат разным AU.

[15] В соответствии с аспектом настоящего раскрытия, информация относительно фрагментов медиаданных включает в себя, по меньшей мере, одно из порядкового номера, размера и смещения каждого фрагмента медиаданных.

[16] В соответствии с аспектом настоящего раскрытия, третий флаг модифицируется достаточно, чтобы указывать, что фрагмент медиаданных является MPU, модифицированным удаленным объектом, и, по меньшей мере, один из фрагментов, включенных в MPU, удален.

[17] В соответствии с другим аспектом настоящего раскрытия, предоставлено устройство для доставки медиаданных в гибридной сети, которая может обеспечивать вместе широковещание и связь через интернет. Устройство включает в себя элемент генерации, который генерирует MPU, чтобы обрабатывать медиаданные, и элемент доставки, который доставляет сгенерированный MPU, причем MPU включает в себя блок MMPU, который включает в себя информацию относительно MPU, MDAT, который включает в себя один или более фрагментов медиаданных, сгенерированных из медиаданных, и блок MMFU, который включает в себя информацию относительно каждого фрагмента медиаданных.

[18] В соответствии с другим аспектом настоящего раскрытия, предоставлен способ приема медиаданных в гибридной сети, которая может обеспечивать вместе широковещание и связь через интернет. Способ включает в себя прием MPU, чтобы обрабатывать медиаданные, и восстановление медиаданных с помощью использования сгенерированного MPU, причем MPU включает в себя блок MMPU, который включает в себя информацию относительно MPU, MDAT, который включает в себя один или более фрагментов медиаданных, сгенерированных из медиаданных, и блок MMFU, который включает в себя информацию относительно каждого фрагмента медиаданных.

[19] В соответствии с другим аспектом настоящего раскрытия, предоставлено устройство для приема медиаданных в гибридной сети, которая может обеспечивать вместе широковещание и связь через интернет. Устройство включает в себя элемент приема, который принимает MPU, чтобы обрабатывать медиаданные, и элемент восстановления, который восстанавливает медиаданные с помощью использования сгенерированного MPU, причем MPU включает в себя блок MMPU, который включает в себя информацию относительно MPU, MDAT, который включает в себя один или более фрагментов медиаданных, сгенерированных из медиаданных, и блок MMFU, который включает в себя информацию относительно каждого фрагмента медиаданных.

[20] В соответствии с другим аспектом настоящего раскрытия, предоставлено устройство для доставки данных мультимедиа, которое может доставлять данные традиционных форматов медиа с помощью использования MPU. Устройство включает в себя несинхронизированные медиаданные со структурой MPU, которая является совместимой с традиционным устройством воспроизведения. Кроме того, несмотря на то, что MFU удален, нет необходимости выполнять обновление MPU. Также MPU может удаляться с помощью элемента MFU, принимая во внимание зависимость MFU, охватывающего разные AU.

[21] Другие аспекты, преимущества и характерные признаки раскрытия станут понятными специалистам в данной области техники из следующего подробного описания, которое, взятое совместно с прилагаемыми чертежами, раскрывает различные варианты осуществления настоящего раскрытия.

Краткое описание чертежей

[22] Вышеупомянутые и другие аспекты, признаки и преимущества определенных вариантов осуществления настоящего раскрытия станут более понятными из следующего описания, взятого совместно с сопровождающими чертежами, на которых:

[23] фиг. 1 - блок-схема, иллюстрирующая структуру элементов обработки медиа (MPU) в соответствии с предшествующим уровнем техники;

[24] фиг. 2А и фиг. 2В - виды, иллюстрирующие процесс удаления элемента фрагмента медиа (MFU) в узле сети в соответствии с вариантом осуществления настоящего раскрытия;

[25] фиг. 3 - блок-схема, иллюстрирующая структуру MPU в соответствии с вариантом осуществления настоящего раскрытия;

[26] фиг. 4А и фиг. 4В - виды, иллюстрирующие процесс модификации и восстановления MPU, после того, как узел сети или терминал приема принимает MPU, в соответствии с вариантом осуществления настоящего раскрытия; и

[27] фиг. 5 - блок-схема последовательности этапов способа доставки данных мультимедиа в соответствии с вариантом осуществления настоящего раскрытия.

[28] По всем чертежам одинаковые ссылочные номера будут пониматься как относящиеся к одинаковым частям, компонентам и структурам.

Варианты осуществления изобретения

[29] Следующее описание со ссылкой на сопровождающие чертежи предоставлено, чтобы помочь в полном понимании различных вариантов осуществления настоящего раскрытия, как определено формулой изобретения и ее эквивалентами. Оно включает в себя различные специфические детали, чтобы помочь в этом понимании, но они должны рассматриваться только как иллюстративные. Таким образом, обычные специалисты в данной области техники поймут, что различные изменения и модификации различных вариантов осуществления, описанных в настоящем раскрытии, могут быть сделаны, не выходя за рамки объема и сущности настоящего раскрытия. Кроме того, описания широко известных функции и конструкций могут быть пропущены для ясности и краткости.

[30] Термины и слова, использованные в следующем описании и в формуле изобретения, не ограничены библиографическими смыслами, но просто используются изобретателем, чтобы дать возможность ясного и последовательного понимания настоящего раскрытия. Таким образом, специалисты в данной области техники должны понять, что следующее описание различных вариантов осуществления настоящего раскрытия предоставлено только с целью пояснения, а не с целью ограничения настоящего раскрытия, как определено прилагаемой формулой изобретения и ее эквивалентами.

[31] Следует понимать, что формы единственного числа включают в себя множественные определяемые объекты, если контекст ясно не предписывает иначе. Таким образом, например, ссылка на «поверхность компонента» включает в себя ссылку на одну или более таких поверхностей.

[32] Термины, использованные в описании различных вариантов осуществления настоящего раскрытия, будут описаны на основе стандарта транспортировки медиа MPEG (MMT).

[33] Элемент фрагмента медиа (MFU) является общим контейнером, который не зависит от специфического кодека медиа, и, который включает в себя закодированные медиаданные, которые может независимо потреблять декодер медиа. MFU меньше или равен элементу доступа (AU) и включает в себя информацию, которая может использоваться уровнями доставки.

[34] AU является наименьшим объектом данных, которому может быть присвоен атрибут информации синхронизации. Относительно закодированных медиаданных, не имеющих назначенной информации синхронизации для декодирования и презентации, ассоциированной с декодированием, AU не определен.

[35] Элемент обработки медиа (MPU) является общим контейнером, который не зависит от специфического кодека медиа, и содержит один или более AU и дополнительную доставку и потребление, связанные с информацией. Для несинхронизированных данных MPU включает в себя часть данных без границ AU. MPU является элементом закодированных медиаданных, который может полностью и независимо обрабатываться. В этом контексте обработка означает инкапсуляцию в пакет ММТ или в пакет для доставки.

[36] Несинхронизированные данные являются компонентом данных, который потребляется в неконкретный момент времени. Несинхронизированные данные могут иметь доступный диапазон синхронизации, в котором выполняются данные.

[37] Синхронизированные данные определены как компонент данных, который ассоциируется со специфическим моментом временем для декодирования и презентации.

[38] Далее в настоящем раскрытии различные варианты осуществления настоящего раскрытия будут описаны подробно.

[39] Фиг. 1 - блок-схема, иллюстрирующая структуру MPU в соответствии с родственной областью техники.

[40] Ссылаясь на фиг. 1, MPU 100 включает в себя элемент обработки ММТ (MMPU) 105 или один или более MFU 130, 140 и 150. MMPU включает в себя информацию относительно структуры MPU, а также включает в себя блоки, такие как заголовок фрагмента дорожки (TFHD)107, выполнение фрагмента дорожки (TRUN) 110 и информация о подвыборке (SUBS) 120, изображенные на фиг. 1. Описание деталей соответствующих блоков будет пропущено. Каждый из соответственных MFU 130, 140 и 150 включает в себя MMFU и блок медиаданных. Каждый MMFU включает в себя информацию относительно структуры соответствующего MFU, а MDAT включает в себя фактические медиаданные. В противоположность, медиаданные, включенные в MFU, являются синхронизированными медиаданными в описании. В случае несинхронизированных медиаданных, поскольку разделение и доставка несинхронизированных медиаданных является необязательной, несинхронизированные медиаданные доставляются в MPU, но не разделяются и не доставляются в виде MFU.

[41] Кроме того, несмотря на то, что не изображено на чертежах, AU может включать в себя множество MFU. Например, если пять MFU присутствуют в MPU, первые два MFU из пяти MFU включены в первый один AU, а три остальных MFU могут быть включены во второй AU. В этом случае MMPU включает в себя структуру AU, имеющую информацию относительно структуры AU. В частности, структура AU включена в блок TRUN 110 в MMPU.

[42] Таблица 1 указывает структуру AU для синхронизированных медиаданных фиг. 1.

[43]

Таблица 1

[44] Информация относительно AU, как указано в таблице 1, включена в блок 110 TRUN. Блок 110 TRUN включает в себя основную длину и номер соответствующей выборки синхронизированных медиаданных, длины выборок, когда соответственные выборки имеют разную длину, время воспроизведения и последовательность декодирования выборок, определение того, является ли соответствующая выборка точкой произвольного доступа (RAP), и информацию относительно номера начала и окончания соответствующего MFU.

[45] Однако в случае несинхронизированных данных, поскольку MPU 100 может не включать в себя MFU, может требоваться, чтобы MPU включал в себя информацию относительно индекса начала и индекса окончания MFU. Например, в случае, в котором MFU включает в себя несинхронизированные медиаданные, не требуется, чтобы MPU 100 имел структуру AU и временную информацию. Следовательно, ненужная информация становится непроизводительными затратами. В соответствии с различными вариантами осуществления настоящего раскрытия, не требуется, чтобы AU включал в себя структуру AU и временную информацию, однако, может требоваться, чтобы MFU включал в себя такую информацию. В соответствии с различными вариантами осуществления настоящего раскрытия, должно быть предоставлено указание относительно того, включает ли в себя MPU MFU.

[46] В противоположность, синхронизированные медиаданные в соответствии с родственной областью техники, которые не поддерживают формат ММТ, не могут быть инкапсулированы с помощью MFU формата ММТ. Таким образом, в случае, в котором MPU 100 включает в себя традиционные медиаданные, не требуется, чтобы MPU включал в себя информацию относительно MFU. Кроме того, поскольку устройство воспроизведения медиа в соответствии с родственной областью техники не поддерживает формат ММТ, таким образом, чтобы не распознавать блок в MPU, который предоставляется с помощью ММТ, из принятых медиаданных, устройство воспроизведения медиа в соответствии с родственной областью техники пропускает блок MMPU или блок MMFU. Таким образом, устройство воспроизведения медиа в соответствии с родственной областью техники не может осуществлять доступ ни к какому блоку. В результате, устройство воспроизведения медиа в соответствии с родственной областью техники не распознает медиаданные, включенные в MMFU. Таким образом, структура MPU в соответствии с родственной областью техники является несовместимой с устройством воспроизведения медиа в соответствии с родственной областью техники, которое не поддерживает ММТ.

[47] В соответствии с различными вариантами осуществления настоящего раскрытия, структура MPU предоставлена таким образом, что структура MPU делается совместимой с устройством воспроизведения медиа, которое не поддерживает ММТ. В соответствии с различными вариантами осуществления настоящего раскрытия, MMFU включает в себя порядковый номер MFU и информацию о размере, и смещение медиаданных.

[48] Как описано выше, с другой стороны, синхронизированные медиаданные ММТ доставляются и принимаются с помощью элемента MFU. Несмотря на то, что некоторые MFU могут быть потеряны во время доставки множества MFU, определенный узел сети может не доставлять MFU, принимая во внимание состояние канала. Например, в случае, в котором состояние канала было внезапно ухудшено, если подразумевается, что скорость передачи данных была снижена на половину, половина всех передаваемых MFU не доставляются. В этом случае сторона приема вновь принимает информацию относительно всех MPU, когда любой MFU потерян. Например, все медиаданные могут быть восстановлены с помощью обновления MPU, в котором отражена или указана потеря MFU. В соответствии с различными вариантами осуществления настоящего раскрытия, когда некоторые MFU потеряны, структура MPU допускает, чтобы все медиаданные были восстановлены, несмотря на то, что все MPU не принимаются вновь. Чтобы выполнить это, в соответствии с различными вариантами осуществления настоящего раскрытия, соответствующему MPU разрешается включать в себя информацию, указывающую то, имеет ли первоначальный MPU модифицированную часть, таким образом, что сторона приема может распознать, какая часть модифицирована и удалена, посредством соответствующей информации.

[49] Структура MPU в соответствии с различными вариантами осуществления настоящего раскрытия будет описана более подробно.

[50] В соответствии с различными вариантами осуществления настоящего раскрытия, MMPU включает в себя, по меньшей мере, одно из поля «флаг», поля «таблица информации о медиа», поля «структура AU» и поля «структура MPU».

[51] Во-первых, будет описано поле «флаг». В соответствии с различными вариантами осуществления настоящего раскрытия, поле «флаг» включает в себя три флага. «Флаг 1» указывает то, являются ли данные, включенные в соответственный MPU, синхронизированными данными или несинхронизированными данными. «Флаг 2» указывает то, включает ли в себя соответствующий MPU MFU. «Флаг 3» указывает то, является ли соответствующий MPU первоначальным MPU или модифицированным MPU.

[52] Флаг 1 будет описан подробно. Если флаг 1 равен «1 (истина)», тогда флаг 1 указывает, что MPU 100 имеет синхронизированные медиаданные. Если флаг 1 равен «0 (ложь)», тогда флаг 1 указывает, что MPU 100 имеет несинхронизированные медиаданные. Различные варианты осуществления настоящего раскрытия не ограничены этим. Например, возможна инверсия этого. Кроме того, если флаг 1 равен «1 (истина)», тогда флаг 1 указывает, что предоставлена временная информация относительно синхронизированных медиаданных. Если флаг 1 равен «0 (ложь)», тогда флаг 1 указывает, что временная информация не предоставлена. Временная информация относительно синхронизированных медиаданных означает момент времени, когда синхронизированные медиаданные воспроизводятся.

[53] «Флаг 2» будет описан подробно. Если флаг 2 равен «1 (истина)», тогда флаг 2 указывает, что MPU имеет медиаданные, инкапсулированные с MFU. Если флаг 2 равен «0 (ложь)», тогда флаг 2 указывает, что MPU имеет медиаданные, которые не инкапсулированы с MFU. Различные варианты осуществления настоящего раскрытия не ограничены этим. Например, возможна инверсия этого. Для ссылки, медиаданные, имеющие формат медиа, который не инкапсулирован с MFU, могут быть медиаданными, выраженными с помощью, например, MPEG-транспортного потока (TS) или ISOFF. Кроме того, если флаг 2 равен «истина», тогда флаг 2 указывает, что информация относительно структуры MFU предоставлена. Если флаг 2 равен «ложь», тогда флаг 2 указывает, что информация относительно структуры MFU не предоставлена. Вышеупомянутый флаг 2 указывает то, включает ли в себя MPU медиаданные, инкапсулированные с MFU. Иначе говоря, флаг 2 указывает то, включает ли в себя MPU медиаданные, которые поддерживают ММТ.

[54] «Флаг 3» будет описан подробно позже.

[55] Далее в настоящем раскрытии будет описана структура MFU.

[56] Допускается, что структура MFU независимо присутствует, независимо от отсутствия или присутствия AU. В случае, в котором AU пристутсвует и включает в себя MFU, структура MFU включает в себя информацию относительно зависимости между AU и MFU. В противоположность, в случае, в котором AU не присутствует и не включает в себя MFU, структура MFU не включает в себя информацию относительно зависимости между AU и MFU. Фраза «информация относительно зависимости между AU и MFU» относится к информации относительно числа MFU, которые принадлежат каждому AU. Таким образом, возможно использование информации соответствия, чтобы устанавливать соответствие таблицы AU с таблицей MFU.

[57] Кроме того, в случае, в котором MFU включает в себя синхронизированные медиаданные, поскольку MFU включает в себя тип «синхронизированные медиаданные», возможно указывание типа медиаданных, включенных в MFU, как предварительно определенного основного значения, и возможно описание типа медиаданных, включенных в MFU. Следовательно, тип медиа может быть выбран из типов медиа, установленных в таблице информации о медиа. В противоположность, в случае, в котором MFU включает в себя несинхронизированные медиаданные, один MFU может иметь типы медиа, которые отличаются один от другого. Следовательно, возможно указывание, какой тип медиа таблицы информации о медиа ставится в соответствие каждому MFU.

[58] Кроме того структура MFU предоставляет информацию относительно зависимости ассоциации между различными MFU в MPU. MFU, включенный в традиционную структуру MPU, изображенную на фиг. 1, имеет поле «зависимость_счетчик», изображающее частоту, с которой разные MFU ссылаются друг на друга, поле «приоритет», изображающее приоритет между MFU, и поле «многоуровневая информация», изображающее информацию относительно пространственных и временных гибридных уровней. Диапазон ссылки информации ограничен разными MFU, принадлежащими одному AU. Например, допуская, что AU 1 включает в себя MFU 1, MFU 2 и MFU 3, и AU 2 включает в себя MFU 3 и MFU 4, в MFU в соответствии с родственной областью техники, каждое из «зависимость_счетчик», «приоритет» и «многоуровневая информация» изображает только ссылочную зависимость между MFU 1, MFU 2 и MFU 3, которые принадлежат AU 1. Также каждое из «зависимость_счетчик», «приоритет» и «многоуровневая информация» изображает только ссылочную зависимость между MFU 3 и MFU 4, которые принадлежат AU 2. Однако может присутствовать ссылочная зависимость между MFU, которые принадлежат AU 1 и AU 2, которые отличаются друг от друга. В соответствии с родственной областью техники, поскольку информация относительно MFU, включенных в AU, ограничена MFU, включенными в тот же AU, если ссылочная зависимость между MFU, принадлежащими разным AU, существует, тогда узел сети не может быть в состоянии эффективно удалять или модифицировать MFU, когда информация изображается, принимая во внимание только зависимость между MFU, которые включены в AU.

[59] В соответствии с различными вариантами осуществления настоящего раскрытия, «зависимость_счетчик», «приоритет» и «многоуровневая информация» изображены, принимая во внимание зависимость между MFU, которые присутствуют в разных AU. В результате, узел сети имеет состояние канала в усложненном состоянии. Эффективность удаления MFU может увеличиваться, когда предполагается удалить определенный MFU. Удаление MFU будет описано в соответствии с вариантами осуществления настоящего раскрытия.

[60] фиг. 2А и фиг. 2В - виды, иллюстрирующие процесс удаления MFU в узле сети в соответствии с вариантом осуществления настоящего раскрытия.

[61] Например, фиг. 2А и фиг. 2В иллюстрируют процесс удаления MFU в узле сети, когда MFU принадлежат разным AU, в соответствии с вариантом осуществления настоящего раскрытия.

[62] Ссылаясь на фиг. 2А, взаимная ссылка поддерживается между MFU, расположенными в разных AU, в которых взаимная ссылка изображена сплошной линией. Ссылаясь на фиг. 2В, взаимная ссылка не поддерживается между MFU, расположенными в разных AU, в которых взаимная ссылка изображена пунктирной линией.

[63] Как проиллюстрировано на фиг. 2А, разные MFU 211, 213 и 215 ссылаются друг на друга из разных AU 201, 203 и 205. Допуская, что второй MFU 213 второго AU 203 удален в узле сети, первый MFU 211 в первом AU 201 и третий MFU 215 в третьем AU 205, на которые ссылается удаленный второй MFU 213, могут быть удалены.

[64] В противоположность, как проиллюстрировано на фиг. 2В, поскольку второй MFU 233 в первом AU 223 не ссылается на первый MFU 231 в первом AU 221 и третий MFU 235 в третьем AU 225, несмотря на то, что второй MFU 235 удален, первый MFU 231 и третий MFU 235 могут быть не удалены.

[65] В состоянии, в котором взаимная ссылка между MFU в разных AU поддерживается, как проиллюстрировано на фиг. 2А, если «зависимость_счетчик», «приоритет» и «многоуровневая информация» в MFU изображены, принимая во внимание информацию относительно зависимости между MFU в одном AU, узел сети выбирает удаляемый MFU, не принимая во внимание соответствующий MFU, ссылающийся на MFU в другом AU. Таким образом, поскольку приоритет и тому подобное MFU, включенных в один AU, учитывается, когда узел сети удаляет MFU, эффективное удаление MFU является трудным.

[66] Например, если пять MFU присутствуют в одном AU, и узел сети определяет MFU как удаляемый, принимая во внимание зависимость между пятью MFU, MFU, имеющий самый низкий приоритет, будет удален из пяти MFU. Однако, если удаленный MFU ссылается на MFU, включенные в другой AU, приоритет соответствующего MFU может быть изменен. Следовательно, для того, чтобы указать приоритет MFU, должна приниматься во внимание зависимость соответствующего MFU с разными AU, а также с AU, к которому принадлежит соответствующий MFU. С разными порциями информации, если соответствующая информация указана, принимая во внимание разные AU, эффективное удаление MFU возможно с использованием этих порций информации, когда MFU удаляется в узле сети.

[67] Различные варианты осуществления настоящего раскрытия предлагают структуру AU, указанную в таблице 2, и структуру MFU, указанную в таблице 3, принимая во внимание вышеприведенное описание.

[68]

Таблица 2

[69] Структура AU таблицы 2 включена в MPU в соответствии с различными вариантами осуществления настоящего раскрытия.

[70] фиг. 3 - блок-схема, иллюстрирующая структуру MPU в соответствии с вариантом осуществления настоящего раскрытия.

[71] Ссылаясь на фиг. 3, структура AU, включенная в MPU, обозначена ссылочным номером 310.

[72]

Таблица 3

[73] Структура MFU таблицы 3 включена в MPU в соответствии с различными вариантами осуществления настоящего раскрытия. Структура MFU, включенная в MPU, обозначена ссылочным номером 320 на фиг. 3. В частности, как предоставлено в таблице 3, диапазон MFU, к которым относятся «зависимость_счетчик», «приоритет» и «многоуровневая информация», распространяется в MFU, принадлежащие разным AU, а также текущий AU, к которому принадлежит соответствующий MFU. Кроме того, структура MFU таблицы 3 включает в себя порядковый номер (number_mfu_in_au) в AU MFU, и информацию относительно фактического размера медиаданных, расположенных в MDAT. Кроме того, несмотря на то, что не указано в таблице 3, медиаданные могут включать в себя смещение, для того чтобы информировать узел сети об их местоположении в MDAT, если необходимо. В соответствии с различными вариантами осуществления настоящего раскрытия, медиаданные фактически расположены в MDAT, отлично от структуры MPU в соответствии с родственной областью техники.

[74] Далее в настоящем раскрытии будет описана схема поддержания совместимости с устройством воспроизведения формата медиа в соответствии с родственной областью техники, которое не поддерживает ММТ.

[75] Относительно традиционной структуры MPU, MMFU включает в себя синхронизированные медиаданные в нем. Однако, поскольку устройство воспроизведения формата медиа в соответствии с родственной областью техники, которое не поддерживает MMT, не может распознавать MMFU, как описано выше, нет блока, к которому синхронизированные медиаданные являются доступными в MPU. В противоположность, в связи с форматом медиа в соответствии с родственной областью техники, использующим адресацию на основе порции данных или выборки, имеется проблема в том, что синхронизированные медиаданные расположены в неоднородном пространстве. Таким образом, устройство воспроизведения формата медиа в соответствии с родственной областью техники, является несовместимым с ММТ.

[76] В соответствии с различными вариантами осуществления настоящего раскрытия, порядковый номер MFU и размер блока медиаданных, и смещение, если необходимо, дополнительно описываются, и фрагменты фактических медиаданных последовательно расположены в MDAT. В результате, устройство сети или устройство памяти считывает MPU, а затем удаляет медиаданные, которые включены в MPU, с помощью элемента MFU, таким образом, эффективно доставляя или сохраняя MPU. Например, если допускается, что узел сети, который принимает MPU, первоначально сгенерированный провайдером услуг, удаляет специфический фрагмент медиаданных, и доставляет MPU в плохом состоянии сети. В соответствии с различными вариантами осуществления настоящего раскрытия, узел сети удаляет определенный блок MMFU из множества блоков MMFU, включенных в MPU, и удаляет соответствующие медиаданные в MDAT с помощью использования информации о смещении и размере MPU.

[77] Даже если некоторые медиаданные удалены в узле сети, как описано выше, сторона приема не принимает MPU вновь, в котором отражены удаленные медиаданные. Вместо этого, стороне приема может требоваться распознавать, что специфические медиаданные удалены из соответствующего MPU. Далее в настоящем раскрытии будет описана схема, в которой сторона приема распознает, что медиаданные удалены.

[78] В результате того, что специфический узел сети, включающий в себя устройство воспроизведения медиа стороны приема, принимает и считывает MPU, если специфический узел сети ищет MMFU в MPU и обнаруживает, что некоторые MMFU являются отсутствующими, устройство воспроизведения формата медиа, может распознать, что принятый MPU не является первоначальным MPU, который доставляет сторона доставки, а модифицированным MPU. Однако, поскольку устройство воспроизведения медиа определяет, что принятый MPU не является первоначальным MPU, после того, как устройство воспроизведения медиа считывает все MMFU, для определения необходимо время. В соответствии с различными вариантами осуществления настоящего раскрытия, для того чтобы быстро идентифицировать то, является ли MPU, которые принимают объекты сети, первоначальным MPU, поле «флаг 3» включено в MPU.

[79] Если «флаг 3» равен «1 (истина)», тогда флаг 3 указывает, что соответствующий MPU является полностью первоначальным MPU и включает в себя все первоначально сгенерированные MFU. Если «флаг 3» равен «0 (ложь)», тогда флаг 3 указывает, что соответствующий MPU является «модифицированным MPU», в котором некоторые MFU удалены или модифицированы. Различные варианты осуществления настоящего раскрытия не ограничены этим. Например, возможна инверсия этого. Например, поскольку флаг 3 указывает, что соответствующий MPU является модифицированным MPU, соответствующий MPU может быть заменен первоначальным MPU позже, для того чтобы воспроизвести и сохранить соответствующий MPU.

[80] «Флаг 3» может быть расположен в позиции смещения, которая является фиксированной, перед MPU. Кроме того, после того, как объекты сети удаляют MFU, значение «флага 3» изменяется с «1 (истина)» в «0 (ложь)», для того чтобы указать, что соответствующий MPU модифицирован.

[81] Структура MMFU в соответствии с различными вариантами осуществления настоящего раскрытия, описанная выше, указана в качестве примера в таблице 4.

[82]

Таблица 4

[83] Следует понимать, что MMFU таблицы 4 включен в MPU в соответствии с различными вариантами осуществления настоящего раскрытия, и включает в себя порядковый номер, размер и смещение MFU. Для ссылки, MMFU, включенный в MPU, обозначен ссылочным номером 330 на фиг. 3, как описано позже.

[84] MMPU 301 включает в себя флаг 305, таблицу 307 информации о медиа, структуру 310 AU и структуру 320 MFU и имеет информацию, связанную с MPU при использования их. Кроме того, MPU 300 включает в себя, по меньшей мере, одно из MMFU 330, и каждый MMFU включает в себя информацию относительно каждого фрагмента медиаданных. MDAT 340 включает в себя одну или более порций медиаданных (например, один или более фрагментов медиаданных), и соответственные фрагменты медиаданных расположены последовательно в последовательности порядкового номера, имея смещение и размер, включенные в MMFU.

[85] В соответствии с различными вариантами осуществления настоящего раскрытия, флаг 305 может включать в себя «флаг 1», «флаг 2» и «флаг 3», как описано выше. Содержание флагов может быть идентичным описанию, как упомянуто выше.

[86] Таблица 307 информации о медиа является таблицей, в которой классифицируются типы медиа, которые MFU имеет ранее установленными, и тип медиа, включенный в текущий MFU, может указываться посредством таблицы.

[87] Структура 320 AU может быть идентичной структуре, которая ранее указана в таблице 2. Структура AU имеет структуру, в которой информация относительно AU и MFU исключена из структуры AU, изображенной на фиг. 1.

[88] Структура 320 AU может идентичной структуре, которая ранее указана в таблице 3. Как описано выше, в соответствии с различными вариантами осуществления настоящего раскрытия, диапазон MFU, к которому относятся «зависимость_счетчик», «приоритет» и «многоуровневая информация» структуры 320 MFU, распространяется в MFU, принадлежащие разным AU, а также в текущий AU, включающий в себя соответствующий MFU.

[89] В противоположность, если MPU 300 имеет структуру 310 AU, структура 310 AU включает в себя информацию относительно медиаданных, включенных в соответствующий AU. Кроме того, если MPU 300 имеет структуру 320 MFU, структура 320 MFU предоставляет информацию о зависимости между AU и MFU.

[90] Кроме того, в случае, в котором специфический MMFU удален, объект, такой как устройство воспроизведения медиа, который принимает MPU, может распознать удаленный MMFU и смещение, и размер медиаданных, которые удалены из MDAT 340, с помощью использования структуры 320 MFU. Например, поскольку структура 320 MFU включает в себя идентификатор и размер каждого MMFU, и информацию смещения относительно позиции в MDAT 340 MMFU 330, возможно распознавание удаленного MMFU и смещения, и размера медиаданных, которые удалены из MDAT, с помощью использования информации.

[91] фиг. 4А и фиг. 4В - виды, иллюстрирующие процесс модификации или восстановления MPU, после того, как узел сети или терминал приема принимает MPU, в соответствии с вариантом осуществления настоящего раскрытия.

[92] Ссылаясь на фиг. 4А, три MPU основаны на структуру MPU в соответствии с различными вариантами осуществления настоящего раскрытия, как проиллюстрировано ранее на фиг. 3. Следовательно, поскольку удаленные структуры MPU ранее описаны, описание подробных структур будет пропущено.

[93] Первоначальный MPU 400 указывает первоначальный MPU, которые сгенерирован провайдером контента. Допускается, что первоначальный MPU 400 включает в себя MMPU 411, четыре MMFU 412 и четыре порции медиаданных 413, которые соответствуют четырем MMFU, соответственно. Поскольку первоначальный MPU 400 включает в себя все MMFU, которые требуется доставить сначала, и медиаданные, соответствующие MMFU, соответственно, первоначальный MFU 400 упомянут как «первоначальный MPU», а значение «закончен» становится «1». «Закончен» является флагом, который может быть идентичным ранее описанному «флагу 3», и назван, чтобы наглядно выражать цель или функцию.

[94] Модифицированный MPU 410 означает, что объект сети, такой как узел сети, который может модифицировать MPU, удаляет или модифицирует некоторые MFU из первоначального MPU 400, для того чтобы доставить MPU или эффективно сохранить MPU. Поскольку некоторые MMFU и соответствующее медиа удалены или модифицированы из MPU, удаленный или модифицированный MPU 410 упомянут как «модифицированный MPU», а значение «закончен» устанавливается в «0». «Закончен» является флагом, идентичным «флагу 3», который был описан ранее. В этот момент, объект, который модифицирует первоначальный MPU 400 и удаляет MMFU и медиаданные в соответствии с необходимостью, может модифицировать значение «закончен» из «1» в «0». Например, значение «закончен» равно «1», когда объект сети принимает первоначальный MPU 400. Однако, поскольку соответствующий объект модифицирует MPU, значение «закончен» устанавливается в «0», для того чтобы указать модифицированный MPU.

[95] Восстановленный MPU 420 означает, что устройство воспроизведения формата медиа или терминал, который сохраняет принятый MPU, восстанавливает принятый MPU, таким образом, чтобы сгенерировать «восстановленный MPU». Терминал, который принимает MPU со значением «закончен», равным «0», может определить размер и смещение удаленных медиаданных с помощью использования размера и смещения медиаданных, включенных в MMFU.

[96] Затем позиция, из которой соответствующие медиаданные удалены из MDAT заполняется «фиктивными» данными, имеющими размер, идентичный размеру удаленных медиаданных. Фиктивные данные являются данными без определенного значения и имеют характеристику в том, что ошибка декодирования не имеет места, даже если декодер декодирует фиктивные данные.

[97] Если удаленный MPU восстановлен с помощью использования фиктивных данных, как описано выше, генерируется восстановленный MPU 420. MPU 420 является не полностью идентичным первоначальному MPU, но упомянут как «восстановленный MPU», поскольку данные расположены в позиции, в которой информация, включающая в себя традиционный формат медиа, который не поддерживает MPU и ММТ. Информация, имеющая традиционный формат медиа, может включать в себя блок MOOV, блок MOOF и подобный ISO 14496-12, в качестве примера.

[98] Ссылаясь на фиг. 4В, предоставлен вид, иллюстрирующий позицию данных в MPU, такого как, например, MPU, проиллюстрированного на фиг. 4А, в соответствии с различными вариантами осуществления настоящего раскрытия.

[99] Первоначальный MPU 430 включает в себя MMPU 431, четыре MMFU 432 и четыре порции медиаданных 433, которые соответствуют четырем MMFU, соответственно. Сплошные стрелки 435 в первоначальном MPU 430 указывают позиции первоначальных медиаданных.

[100] В модифицированном MPU 440 MMFU 441 с id=3 удален. Следовательно, медиаданные, соответствующие MMFU 441 с id=3, удалены из MDAT. Медиаданные, соответствующие MMFU, имеющим id=1 и id=2, присутствуют в позициях, идентичных позициям медиаданных в первоначальном MPU 430. Две сплошные стрелки 443 указывают, что нет ошибок в медиаданных, которые присутствуют в соответствующих позициях. Поскольку медиаданные, указанные третьей пунктирной стрелкой 445 с верхней стороны, являются медиаданными, соответствующими фактическому MMFU с id=4, медиа имеют позиции, которые отличаются от позиций медиаданных в первоначальном MPU. Две пунктирные стрелки 447 указывают, что имеется ошибка, поскольку медиаданные присутствуют в позициях, которые отличаются от позиции медиаданных в первоначальном MPU 430.

[101] В соответствии с различными вариантами осуществления настоящего раскрытия, когда устройство воспроизведения медиа и терминал генерирует восстановленный MPU 450 с помощью использования фиктивных данных, как описано выше, сгенерированные данные присутствуют с позициях, которые являются идентичными позициям данных в первоначальном MPU. В результате, поскольку восстановленный MPU защищен, чтобы быть совместимым с первоначальным MPU, возможна защита совместимости восстановленного MPU с традиционным форматом медиа.

[102] Далее в настоящем раскрытии будут описаны типы медиа, используемые в различных вариантах осуществления настоящего раскрытия.

[103] В соответствии с различными вариантами осуществления настоящего раскрытия, используемые типы медиа предоставляют тип MIME, подходящий, как для синхронизированных медиаданных, так и несинхронизированных медиаданных, информацию инициализации медиа и основную информацию.

[104] Синхронизированные медиаданные и несинхронизированные медиаданные предоставлены с помощью одной или более таблиц типов медиа, и предоставляют подходящую информацию, которая требуется, чтобы инициализировать соответствующие медиаданные в соответствии с каждым типом MIME.

[105] Репрезентативная информация инициализации синхронизированных медиаданных включает в себя параметр, установленный таким образом, как установлен параметр последовательности и установлен параметр изображения.

[106] Устройство воспроизведения, которое воспроизводит MPU, начинает воспроизводить специфический один из MPU, которые являются непрерывными в ресурсе ММТ, инициализирует декодер с помощью считывания параметра, установленного в случае синхронизированных медиаданных в соответствии с типом медиа, и подает синхронизированные медиаданные в декодер, таким образом, чтобы закончить воспроизведение MPU. Для ссылки, ресурс ММТ относится к множеству из одного или более MPU.

[107] Файл может быть характерным примером несинхронизированных медиаданных. Информация для инициализации файла может включать в себя информацию, такую как имя, размер, контроль циклическим избыточным кодом, и тому подобную о файле. Поскольку файл предоставляется как отображаемый в одном MFU, а информация о позиции определенного файла описывается в структуре MFU, устройство воспроизведения может извлечь желаемый файл с помощью информации отображения и позиции файла, когда множество файлов присутствуют в MPU.

[108] Пример вышеупомянутой таблицы типов медиа указан в таблице 5, и MMPU в таблице типов медиа указан в таблице 6.

[109]

Таблица 5

[110] Таблица типов медиа в таблице 5 включена в MMPU и обозначена ссылочным номером 307, как изображено на фиг. 3. Соответствующая таблица типов медиа предоставляет информацию относительно типа медиа в MPU. Например, таблица типов медиа предоставляет информацию относительно того, какой кодек и способ сжатия использует соответствующее медиа.

[111]

Таблица 6

[112] В таблице 6 описана информация о ресурсах, информация о id ресурсов и блок MPU в соответствии с вариантом осуществления настоящего раскрытия.

[113] В таблице 6, как описано выше, «имеет синхронизированные медиа» является флагом, идентичным «флагу 1», и указывает, что MPU являются синхронизированными или несинхронизированными медиаданными. Кроме того, «имеет MFU» соответствует «флагу 2» и указывает то, имеет ли MPU структуру MFU. «Закончен» соответствует «флагу 3» и указывает то, равно ли MPU «первоначальному флагу» или «модифицированному флагу», имеющему удаленный MFU.

[114] Фиг. 5 - блок-схема, иллюстрирующая способа доставки данных мультимедиа в соответствии с вариантом осуществления настоящего раскрытия.

[115] Ссылаясь на фиг. 5, в операции 500, устройство доставки медиаданных генерирует MFU для медиаданных.

[116] После этого в операции 510 устройство доставки медиаданных генерирует MPU, включающий в себя информацию, используемую для воспроизведения медиаданных. Затем устройство доставки медиаданных доставляет сгенерированный MPU.

[117] В соответствии с различными вариантами осуществления настоящего раскрытия, MPU имеет структуру MPU, такую как структура, проиллюстрированная на фиг. 3.

[118] Однако, специалист в данной области техники поймет, что устройство и способ для приема медиаданных могут быть осуществлены в соответствии с устройством и способом для доставки медиаданных. Таким образом, описание устройства и способа для приема медиаданных будет пропущено.

[119] Несмотря на то, что настоящее раскрытие было изображено и описано со ссылкой на его различные варианты осуществления, специалисты в данной области техники поймут, что различные изменения по форме и в деталях могут быть сделаны в них, не выходя за рамки сущности и объема настоящего раскрытия, как определено прилагаемой формулой изобретения и ее эквивалентами.

Изобретение относится к доставке и приему данных мультимедиа в гибридной сети. Техническим результатом является обеспечение доставки данных мультимеда, которые могут доставлять несинхронизированные медиаданные. Способ содержит этапы, на которых: генерируют элемент обработки медиа, содержащий часть медиаданных и часть информации, при этом часть медиаданных включает в себя по меньшей мере один фрагмент медиаданных, а часть информации включает в себя информацию об элементе обработки данных и информацию о по меньшей мере одном фрагменте; и передают элемент обработки медиа; причем часть информации включает в себя первую информацию, указывающую, содержит ли элемент обработки медиа все фрагменты, соответствующие структуре фрагментов. 4 з.п. ф-лы, 7 ил., 6 табл.

1. Способ передачи медиаданных в широковещательной сети, содержащий этапы, на которых:

генерируют элемент обработки медиа, содержащий часть медиаданных и часть информации, при этом часть медиаданных включает в себя по меньшей мере один фрагмент медиаданных, а часть информации включает в себя информацию об элементе обработки данных и информацию о по меньшей мере одном фрагменте; и

передают элемент обработки медиа;

причем часть информации включает в себя первую информацию, указывающую, содержит ли элемент обработки медиа все фрагменты, соответствующие структуре фрагментов.

2. Способ по п.1, причем часть информации включает в себя вторую информацию, указывающую, разделен ли элемент обработки медиа на по меньшей мере два фрагмента.

3. Способ по п.1, причем часть информации включает в себя третью информацию, указывающую, является ли по меньшей мере один фрагмент в элементе обработки данных данными, ассоциированными с временем, или нет.

4. Способ по п.1, причем часть информации включает в себя по меньшей мере одно из порядкового номера, информации о смещении и информации о длине, причем порядковый номер указывает порядок упорядочивания по меньшей мере одного фрагмента в элементе обработки медиа, информация о смещении указывает положение по меньшей мере одного фрагмента в элементе обработки медиа и информация длины указывает длину по меньшей мере одного фрагмента.

5. Способ по п.4, причем по меньшей мере один фрагмент расположен согласно по меньшей мере одному из порядкового номера, информации смещения и информации о длине.