МЕДИАДАННЫЕ С МНОЖЕСТВОМ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N19/597 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение, в целом, относится к медиаданным с множеством изображений и, в частности, к генерированию и обработке таких медиаданных с множеством изображений.

УРОВЕНЬ ТЕХНИКИ

Продолжающаяся стандартизация видео-кодирования с множеством изображений (Multi-View Video Coding) группой экспертов по движущимся изображениям MPEG (Moving Picture Experts Group) [1] и отделом стандартизации телекоммуникаций ITU-T (Telecommunication Standardization Sector) исследовательской группы SG 16 (Study Group 16) представляет собой технологию видео-кодирования, которая кодирует видеопоследовательности, произведенные несколькими камерами или системой камер. Видео-кодирование MVC эффективным образом использует избыточность между множественными видеоизображениями для предоставления компактного закодированного видео-потока. Видео-кодирование MVC основывается на стандарте усовершенствованного видео-кодирования AVC (Advanced Video Coding), известном также как ITU-T H.264, и, следовательно, синтаксис и семантика потока битов при видео-кодировании MVC были сохранены по аналогии с синтаксисом и семантикой потока битов при видео-кодировании AVC.

Стандарт ISO/IEC 14496-15 [2] представляет собой международный стандарт, разработанный для того, чтобы поместить информацию о потоке битов при видео-кодировании AVC в гибкий и расширяемый формат, который облегчает управление потоком битов при видео-кодировании AVC. Этот стандарт совместим с форматом файлов MP4 [3] и форматом файлов 3GPP [4]. Все эти стандарты происходят из базового формата медиа файлов ISO [5], определенного группой MPEG. Система сохранения видео-потоков при видео-кодировании MVC называется как формат файлов видео-кодирования MVC.

В формате файлов видео-кодирования MVC видео-поток с множеством изображений представляется посредством одного или большего количества видеодорожек в некотором файле. Каждая дорожка представляет одно или большее количество изображений из вышеупомянутого потока. Формат файла видео-кодирования MVC содержит, в дополнение к непосредственно самим закодированным видеоданным с множеством изображений, метаданные, которые используются при обработке видеоданных. Например, каждое изображение имеет связанный с ним идентификатор изображения, подразумевающий, что блоки сетевого абстрактного укладчика NAL (Network Abstraction Layer) при видео-кодировании MVC в пределах одного изображения имеют один и тот же идентификатор изображения, то есть одну и ту же величину полей view_id в расширениях заголовков блоков NAL при видео-кодировании MVC.

Расширение заголовка блока NAL при видео-кодировании MVC содержит также поле priority_id, устанавливающее идентификатор приоритета для блока NAL. В предложенных стандартах [6], меньшая величина priority_id устанавливает более высокий приоритет. Идентификатор priority_id используется для определения приоритета блока NAL и является зависимым от потока битов, поскольку он отражает соотношения взаимного кодирования видеоданных с различных изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Идентификаторы приоритета, используемые в настоящее время, просто устанавливают соотношения взаимного кодирования видеоданных с изображений камер, предоставленных в файле видео-кодирования MVC. Такие приоритеты, относящиеся к кодированию, имеют, однако, ограниченное применение для успешного исполнения обработки, основанной на контенте, видеоданных от другого изображения камеры.

Настоящие осуществления изобретения преодолевают эти и другие недостатки технических установок предшествующего уровня техники.

Общей целью является предоставление медиаданных с множеством изображений, которые могут быть обработаны более эффективным образом.

Эта и другие цели достигаются посредством осуществлений изобретения, как это определено посредством сопровождающих пунктов формулы изобретения.

Кратко, настоящее осуществление изобретения предусматривает генерирование медиаданных с множеством изображений посредством предоставления закодированных медиаданных, представляющих множественные медиа изображения эпизода. Каждое из медиа изображений связывается с соответствующим структурным идентификатором приоритета. Идентификатор структурного приоритета представляет взаимоотношения кодирования медиаданных связанного медиа изображения относительно медиаданных, по меньшей мере, одного из других медиа изображений. Таким образом, идентификаторы структурного приоритета зависят от потока битов таким образом, что они относятся к кодированию медиаданных и предоставляют инструкции иерархического уровня для предсказаний между изображениями, используемых при кодировании медиаданных.

Определяется идентификатор приоритета контента для каждого медиа изображения, по меньшей мере, из части множественных медиа изображений. Ясное отличие с идентификаторами структурного приоритета состоит в том, что идентификатор приоритета контента является представлением об уровне значимости рендеринга медиаданных связанного медиа изображения. Определенный идентификатор приоритета контента связывается с соответствующим медиа изображением, например, посредством его включения в состав одного или большего числа пакетов данных, переносящих медиаданные медиа изображения, или посредством его присоединения к идентификатору изображения, указывающему на медиа изображение.

Необязательно, закодированные медиаданные могут быть включены в качестве одной или большего количества медиа дорожек в состав файла медиа контейнера. Тогда идентификаторы структурного приоритета и идентификаторы приоритета контента включаются в качестве метаданных, применимых к медиа дорожке или дорожкам в процессе обработки медиаданных.

Идентификаторы приоритета контента позволяют осуществить выборочную и дифференцированную обработку, основанную на контенте, медиаданных с множеством изображений в устройстве обработки данных. В таком случае выбирается подмножество медиаданных из закодированных медиаданных на основе идентификаторов приоритета контента и, предпочтительно, также на основе идентификаторов структурного приоритета. Обработка медиаданных тогда применяется исключительно к выбранному подмножеству медиаданных, или для вышеупомянутого выбранного подмножества медиаданных используется другой тип обработки медиаданных, по сравнению с оставшимися медиаданными.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Осуществления изобретения вместе с дополнительными объектами и преимуществами этого, лучше всего могут быть поняты посредством ссылки на следующее описание, предпринятое вместе с сопровождающими чертежами, в которых:

Фиг. 1 представляет собой структурную схему технологических этапов, демонстрирующую способ генерирования медиаданных с множеством изображений, согласно некоторому осуществлению изобретения;

Фиг. 2 представляет собой схематическую демонстрацию системы камер, которые могут использоваться для записи видеоданных с множеством изображений;

Фиг. 3 представляет собой структурную схему технологических этапов, демонстрирующую дополнительные этапы способа генерирования медиаданных на Фиг. 1;

Фиг. 4 представляет собой схематическую демонстрацию файла аудиовизуального контейнера, согласно некоторому осуществлению изобретения;

Фиг. 5 представляет собой схематическую блок-схему устройства, генерирующего медиаданные, согласно некоторому осуществлению изобретения;

Фиг. 6 представляет собой структурную схему технологических этапов, демонстрирующую способ обработки медиаданных со множеством изображений, согласно некоторому осуществлению изобретения;

Фиг. 7-11 представляют собой структурные схемы технологических этапов, демонстрирующих технологические этапы обработки в различных осуществлениях изобретения способа обработки медиаданных на Фиг. 6;

Фиг. 12 представляет собой схематическую блок-схему устройства обработки данных, согласно некоторому осуществлению изобретения;

Фиг. 13 представляет собой схематическую блок-схему устройства обработки данных, согласно другому осуществлению изобретения; и

Фиг. 14 представляет собой краткий обзор примера системы связи, в которой могут быть реализованы осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Всюду на чертежах одни и те же ссылочные символы будут использоваться для соответствующих или подобных элементов.

Настоящие осуществления изобретения, вообще говоря, относятся к генерированию и обработке так называемых медиаданных со множеством изображений и, более конкретно, к предоставлению информации о приоритете и использованию такой информации о приоритете в связи с обработкой медиаданных.

Медиаданные с множеством изображений подразумевают, что в наличии имеются множественные медиа изображения медиа контента, где каждое такое медиа изображение съемки генерирует медиаданные, представляющие медиа контент, но с одного из имеющихся в наличии множественных медиа изображений. Типичным примером таких медиаданных с множеством изображений является видеоданные с множественных изображений. В таком случае предоставляются множественные камеры или другое медиа записывающее/создающее оборудование, или предоставляется система таких множественных камер, относящихся к эпизоду, который следует записать. Так как камеры имеют различные позиции относительно контента и/или различные направления съемки и/или различные фокусные расстояния, они, таким образом, предоставляют альтернативные изображения для контента. Фиг. 2 схематично демонстрирует эту конфигурацию посредством системы 10 из множественных камер 12-18, расположенных рядом с эпизодом 30, например, футбольным полем, на котором должен быть записан футбольный матч посредством различных камер 12-18. На чертеже также указаны соответствующие изображения камер 22-28 от камер 12-18. Камеры 12-18, в этом демонстрационном примере, располагаются на различных позициях вдоль футбольного поля, и поэтому записывают различные части поля. Это означает, что камеры 12-18 захватывают различные версии медиа контента, видимого с их соответствующих изображений камер 22-28.

Как хорошо известно в данной области техники, кодирование видеоданных обычно основывается на относительных предсказаниях пикселей, таких как в H.261, H.263, MPEG 4 и H.264. В H.264 есть три способа используемых предсказаниях пикселей, а именно, внутренние, взаимные и двунаправленные предсказания. Внутреннее предсказание предоставляет пространственное предсказание текущего блока пикселей, исходя из ранее декодированных пикселей текущего кадра. Взаимное предсказание дает временное предсказание текущего блока пикселей с использованием соответствующего, но перемещенного, блока пикселей в ранее декодированном кадре. Двунаправленное предсказание дает взвешенное среднее двух взаимных предсказаний. Таким образом, внутренние кадры не зависят ни от какого предыдущего кадра в видео-потоке, тогда как промежуточные (взаимные) кадры, включая в себя такие промежуточные кадры с двунаправленным предсказанием, используют компенсацию движения от одного или большего количества других эталонных кадров в видео-потоке.

Видео-кодирование со множеством изображений приняло в обращение это кодирование, основанное на предсказании, с одним дополнительным этапом, не только позволяя осуществлять предсказания между кадрами с единственного изображения камеры, но также и предварительное предсказание между изображениями. Таким образом, эталонный кадр может быть кадром того же самого относительного момента времени, но принадлежащим другому изображению камер, по сравнению с текущим кадром, подлежащим кодированию. Также может иметь место и комбинация предсказаний между изображениями и внутри изображений, имея, таким образом, множественные эталонные кадры с различных изображений камер.

Эта концепция наличия множественных медиа изображений и интер-кодирования медиаданных с медиа изображений не обязательно ограничивается видеоданными. Ясное отличие состоит в том, что концепция медиаданных со множеством изображений может также быть применена к другим типам медиаданных, включая, например, графику, к примеру, такую как масштабируемая векторная графика SVG (Scalable Vector Graphics). Фактически, осуществления изобретения могут применяться к любому типу медиаданных, которые могут представляться в виде множественных медиа изображений, и где может осуществляться медиа кодирование, по меньшей мере, частично, между медиа изображениями.

На предшествующем уровне техники и как это раскрыто в проекте [6] стандарта видео-кодирования MVC, приоритет в виде так называемого поля priority_id включается в состав заголовка блока NAL. В частном случае, все блоки NAL, принадлежащие конкретному изображению, могут иметь один и тот же priority_id, давая, таким образом, единственный идентификатор приоритета из предшествующего уровня техники для каждого изображения. Эти идентификаторы приоритета из предшествующего уровня техники могут рассматриваться как так называемые идентификаторы структурного приоритета, так как идентификаторы приоритета указывают взаимоотношения кодирования медиаданных с различных медиа изображений. Например, со ссылкой на Фиг. 2, предположим, что изображение 26 камеры рассматривается в качестве основного изображения. Это означает, что изображение 26 камеры представляет собой независимое изображение, которое кодируется и может декодироваться, исходя из своих собственных видеоданных, без каких-либо предсказаний с других изображений 22, 24, 28 камер. Два смежных изображения 24, 28 камеры могут тогда зависеть от основного изображения 26, подразумевая, что видеоданные с этих изображений 24, 28 камеры могут предсказываться исходя из видеоданных с основного изображения 26. Наконец, последнее изображение 22 камеры может зависеть от соседнего изображения 24 камеры. Эти аспекты зависимости определяют структурный приоритет следующим образом:

Таблица I
Идентификаторы структурного приоритета Изображение камеры* 22 24 26 28 Идентификатор структурного приоритета 3 2 1 2 *Номер ссылки на изображение камеры согласно Фиг. 2

В Таблице I, как и в предложенном стандарте [6], более низкое значение структурного идентификатора приоритета устанавливает более высокий приоритет. Таким образом, основному изображению 26 придается самый низкий идентификатор структурного приоритета, а два изображения 22, 28 камеры кодируются в зависимости от основного изображения 26, имея следующий самый низкий идентификатор структурного приоритета. Изображение 22 камеры, которое кодируется в зависимости от одного из изображений 24, 28 камеры со вторым самым низким структурным идентификатором приоритета, таким образом, имеет самый высокий идентификатор структурного приоритета из четырех изображений камеры в этом примере.

Идентификаторы структурного приоритета являются, таким образом, зависимыми от потока битов, поскольку они отражают взаимоотношения кодирования видеоданных с различных изображений камеры. Осуществления изобретения предоставляют и используют альтернативную форму идентификаторов приоритета, которые применимы к медиаданным со множеством изображений и являются, вместо этого, зависимыми от медиа контента.

Фиг. 1 представляет собой блок-схему, демонстрирующую способ генерирования медиаданных со множеством изображений согласно некоторому осуществлению изобретения. Способ начинается на этапе S1, на котором предоставляются закодированные данные, представляющие множественные медиа изображения медиа контента. Каждое из этих множественных медиа изображений связывается с соответствующим структурным идентификатором приоритета, как это описано выше. Таким образом, идентификатор структурного приоритета указывает взаимоотношения кодирования медиаданных медиа изображения относительно медиаданных, по меньшей мере, с одного другого медиа изображения из множественных медиа изображений.

Это введение в действие медиаданных съемок со множеством изображений на этапе S1 может быть реализовано посредством извлечения медиаданных из доступной медиа памяти, в которую заранее были введены медиаданные. В качестве альтернативы, медиаданные принимаются от некоторого другого внешнего блока, где вышеупомянутые медиаданные были сохранены, записаны или сгенерированы. Дополнительной возможностью является фактическое создание и кодирование медиаданных, а именно запись видеопоследовательности или искусственное генерирование медиаданных.

На следующем этапе S2 определяется так называемый идентификатор приоритета контента для медиа изображения из имеющихся в наличии множественных медиа изображений. Ясное отличие от идентификаторов структурного приоритета, которые зависят от взаимоотношений кодирования медиа изображений, состоит в том, что идентификатор приоритета контента, определенный на этапе S2, указывает уровень значимости рендеринга медиаданных медиа изображения. Таким образом, идентификаторы приоритета контента в большей степени относятся к фактическому медиа контенту и предоставляют приоритеты медиа изображениям, относящиеся к тому, насколько значимыми являются медиаданные, исходящие с одного из медиа изображений, относительно медиаданных с других медиа изображений.

Посредством еще одного обращения к Фиг. 2, вообще говоря, принято считать, что более ценным для зрителя является просмотр видеоданных, относящихся к области на футбольном поле вокруг одних из футбольных ворот. Соответственно, изображение 22 камеры будет, поэтому, обычно считаться как имеющий самый высокий приоритет с точки зрения контента и рендеринга. В соответствии с тем, как организуются идентификаторы структурного приоритета, идентификатор приоритета контента изображения 22, поэтому, должен иметь самую низкую величину приоритета, соответствующую самому высокому приоритету, см. Таблицу II.

Таблица II
Идентификаторы приоритета контента Изображение камеры* 22 24 26 28 Идентификатор приоритета контента 1 2 3 4 *Номер ссылки на изображение камеры согласно Фиг. 2

Таким образом, с точки зрения рендеринга, чем ближе находится изображение камер к самой интересной части футбольного поля, то есть к футбольным воротам, тем выше приоритет у контента и ниже идентификатор приоритета контента изображения камеры.

В некотором альтернативном подходе, чем выше структурный приоритет/приоритет контента медиа изображения, тем выше и величина структурного идентификатора приоритета/идентификатора приоритета контента.

Затем на этапе S3 идентификатор приоритета контента, определенный на этапе S2, связывается с подходящим медиа изображением и назначается тому же подходящему медиа изображению из множественных медиа изображений. Это связывание может быть реализовано посредством сохранения идентификатора приоритета контента вместе с идентификатором изображения медиа изображения. Альтернативно, идентификатор приоритета контента сохраняется вместе с медиаданными с подходящего медиа изображения.

Определяется идентификатор приоритета контента, по меньшей мере, для части множественных медиа изображений, которая схематично демонстрируется линией Ll. Это означает, что цикл, образованный этапами S2 и S3, может производиться один раз, с тем, чтобы только одно из медиа изображений имело идентификатор приоритета контента. Предпочтительно, этапы S2 и S3 определяются многократно, а еще более предпочтительно один раз для каждого медиа изображения из множественных медиа изображений. Таким образом, если медиаданные со множеством изображений были записаны с $$M$$ медиа изображений, этапы S2 и S3 могут производиться $$N$$ раз, где $$1\le N\le M$$ и $$M\ge 2$$ .

Способ на этом заканчивается.

Идентификатор приоритета контента указывает уровень значимости рендеринга или проигрывания медиаданных с медиа изображения, с которым связывается идентификатор приоритета контента. Поэтому, как это было обсуждено выше, в связи с Фиг. 2, величина идентификатора приоритета контента может определяться на основе позиций записи с множественных медиа изображений, относящихся к записанному эпизоду. Таким образом, позиции, фокальные направления и/или фокусные расстояния камер 12-18 медиа изображений 22-28 могут использоваться для определения соответствующих идентификаторов приоритета контента изображений 22-28 камеры. Дополнительным или альтернативным параметром, который может использоваться для определения идентификаторов приоритета контента, является разрешение, с которым различные камеры 12-18 записывают эпизод 30. Вообще говоря, для целей рендеринга гораздо более значимым является наличие видеоданных эпизода 30 с высоким разрешением по сравнению с более низкой версией разрешения видеоданных.

Идентификаторы приоритета контента осуществлений изобретения могут определяться провайдером контента посредством записи и/или обработки, такой как кодирование, медиаданных с множеством изображений. Например, оператор может вручную, при просмотре записанных медиаданных с различных медиа изображений, определить и сопоставить идентификаторы приоритета контента на основе его/ее мнения о том, какое медиа изображение или изображения представляют собой более значимые или расцениваются как являющиеся более значимыми для просмотра пользователем во время медиа рендеринга, по сравнению с другими медиа изображениями.

Определение идентификаторов приоритета контента может также определяться автоматически, то есть без каких-либо действий со стороны человека. В таком случае, любой из вышеупомянутых параметров, таких как позиция камеры, фокальное направление, фокусное расстояние, разрешение камеры, может использоваться процессором или алгоритмом для того, чтобы классифицировать изображения камеры согласно различным уровням приоритета контента.

Определенные идентификаторы приоритета контента, будучи структурными идентификаторами приоритета, обычно являются статичными, под этим подразумевается, что единственный идентификатор приоритета контента связывается с изображением камеры с целью записи контента. Однако иногда бывает так, что уровень значимости рендеринга медиаданных с различных медиа изображений может фактически меняться с течением времени. В таком случае идентификаторы приоритета контента могут связываться с так называемой величиной времени жизни или разрабатываться для применения в течение ограниченного промежутка времени или для ограниченного количества медиа кадров. Например, медиа изображение может иметь первый идентификатор приоритета контента для первых f медиа кадров или первых m минут медиа контента, в то время как второй, отличный от него идентификатор приоритета контента используется для последующих медиа кадров или оставшейся части медиаданных с этого медиа изображения. Это может, конечно, быть распространено и на ситуацию с больше чем одним изменением между идентификаторами приоритета контента для медиа изображения.

Фиг. 3 представляет собой блок-схему, демонстрирующую дополнительные, согласно выбору, этапы способа генерирования медиаданных с множеством изображений. Способ продолжается с момента этапа S3 на Фиг. 1. Следующий этап S10 организует закодированные медиаданные множественных медиа изображений в качестве, по меньшей мере, одной медиа дорожки в файле медиа контейнера. Файл медиа контейнера может, например, представлять собой, так называемый, файл видео-кодирования MVC или использовать некоторый другой формат файла, который, предпочтительно, основывается на основном формате медиа файлов ISO.

Файл медиа контейнера может рассматриваться как полный входной пакет, который используется медиа сервером во время медиа сеанса для предоставления медиа контента и формирования медиаданных внутри передаваемых пакетов данных. Таким образом, файл медиа контейнера, предпочтительно, содержит, в дополнение к непосредственно самому медиа контенту, информацию и инструкции, которые требуются медиа серверу, чтобы осуществлять обработку и позволить ему осуществить передачу медиа контента во время медиа сеанса.

В некотором осуществлении изобретения каждое медиа изображение имеет отдельную назначенную ему медиа дорожку файла контейнера, предоставляя, таким образом, взаимно-однозначное соотношение между количеством медиа изображений и количеством медиа дорожек. Альтернативно, медиаданные, по меньшей мере, с двух, а возможно и со всех, медиа изображений могут быть помещены в единственной медиа дорожке файла медиа контейнера. Фиг. 4 схематично демонстрирует пример файла медиа контейнера 30, который имеет одну или большее количество медиа дорожек 32, несущих в себе закодированные медиаданные со множеством изображений.

Соответствующие медиаданные множественных медиа изображений, независимо от того, организованы ли они в виде одной или большего количества медиа дорожек, предпочтительно, назначаются соответствующим идентификаторам изображений, связанным с медиа изображениями.

Следующий этап S11 на Фиг. 3 организует с возможностью связывания идентификаторы структурного приоритета в файле медиа контейнера относительно, по меньшей мере, одной медиа дорожки из этапа S10. Организация с возможностью связывания подразумевает, что идентификатор структурного приоритета включается в файл медиа контейнера таким образом, чтобы предоставить связывание между структурным идентификатором приоритета и медиа изображением, к которому применяется идентификатор структурного приоритета. Соответственно, такое связывание может, вместо этого, осуществляться между структурным идентификатором приоритета и медиаданными, исходящими с медиа изображения, к которому применяется идентификатор структурного приоритета.

Связывание может иметь вид указателя от места сохранения медиаданных медиа изображения в пределах файла медиа контейнера к месту сохранения структурного идентификатора приоритета, или в обратном направлении. Таким образом, этот указатель, или метаданные, дают возможность, исходя из определенных конкретных медиаданных или их расположения в пределах файла медиа контейнера, идентифицировать связанный с ними идентификатор структурного приоритета или место хранения структурного идентификатора приоритета в пределах файла. Вместо того чтобы использовать указатель, метаданные могут включать в себя идентификатор ракурса медиаданных/медиа изображение. В таком случае, метаданные используются для идентификации тех данных из медиаданных, к которым применяется идентификатор структурного приоритета.

Фиг. 4 схематично демонстрирует осуществление изобретения организации с возможностью связывания идентификаторов структурного приоритета 36 в файле медиа контейнера 30. В этом осуществлении изобретения каждый идентификатор структурного приоритета 36 связывается с идентификатором 34 изображения, указывающем на медиаданные и медиа изображение, к которым применяется идентификатор структурного приоритета 36.

Следующий этап S12 на Фиг. 3, соответственно, организовывает с возможностью связывания идентификаторы приоритета или идентификаторы приоритета контента в файле медиа контейнера относительно, по меньшей мере, одной медиа дорожки. Подобно структурным идентификаторам приоритета, связывание может быть реализовано посредством метаданных, таких как идентификаторы изображения, предоставляющие взаимосвязи между медиаданными/медиа изображением и идентификатором приоритета контента в файле медиа контейнера. Это также демонстрируется на Фиг. 4, где каждый идентификатор приоритета контента 38 связывается с идентификатором 34 изображения, указывающим на медиаданные и медиа изображение, к которым применяется идентификатор приоритета контента 36.

Не ограничивающий общности пример предоставления идентификаторов приоритета контента для файла медиа контейнера представляет собой включение в его состав поля "vipr" в поле описания группы выборки (Sample Group Description Box) файла медиа контейнера [6].

Типы поля: Vipr

Контейнер: Поле Описания группы выборки ('sgpd')

Метод выбора: Никакого

Количество: Нуль или больше

class ViewPriorityBox extends VisualSampleGroupEntry 'vipr'{

unsigned int(l6) view_count

for (i=0; i<view count; i++){

unsigned int(6) reserved = 0;

unsigned int(10) view_id;

unsigned int(32) content_priority_id;

}

}

где поле view_count представляет собой общее количество медиа изображений, поле view_id представляет собой идентификатор изображения медиа изображения, как это указано в ViewPriorityBox в документе [6], а поле content_priority_id представляет собой идентификатор приоритета контента.

В качестве альтернативы, поле "vipr" могло предоставляться в поле Sample Entry файла медиа контейнера.

Типы поля: vipr

Контейнер: Sample entry ('avc1', 'avc2', 'mvc1')

Метод выбора: Нет

Количество: Точно один

class ViewPriorityBox extends Box('vwsc'){

unsigned int(l6) view_count

for (i=0; i<view count; i++){

unsigned int(6) reserved = 0;

unsigned int(10) view_id;

unsigned int(32) content_priority_id;

}

}

Дополнительные этапы S10-S12 на Фиг. 3 могут быть произведены в порядке, раскрытом на этом чертеже. В качестве альтернативы, может использоваться любой другой последовательный порядок этапов функционирования С10-С12. Этапы С10-С12 могут также осуществляться параллельным образом или, по меньшей мере, частично параллельным образом.

Идентификаторы структурного приоритета и идентификаторы приоритета контента, включенные в состав файла медиа контейнера в дополнение к медиа дорожкам, могут рассматриваться как метаданные, которые могут использоваться во время обработки медиаданных со множеством изображений в медиа дорожках. Таким образом, идентификаторы приоритета применимы и полезны в качестве дополнительных данных для облегчения обработки сформированного файла медиа контейнера, как дополнительно описывается в данном документе.

Фиг. 5 представляет собой медиа генерирующее устройство 100 для генерирования медиаданных со множеством изображений согласно некоторому осуществлению изобретения. Медиа генерирующее устройство 100 содержит медиа провайдер 120, реализованный для того, чтобы предоставить закодированные медиаданные, представляющие множественные медиа изображения медиа контента. Каждое медиа изображение связывается со структурным идентификатором приоритета, указывающим взаимоотношения кодирования медиаданных с медиа изображения относительно медиаданных, по меньшей мере, с одного другого медиа изображения. Медиа провайдер 120 может присоединяться к внутреннему или внешнему медиа механизму, содержащему оборудование 12-18 для записи или генерирования медиаданных с множественных медиа изображений и кодировщик 180 для кодировки записанных или сгенерированных медиаданных. В качестве альтернативы, медиа провайдер 120 принимает медиаданные, обычно в закодированном виде, или как незакодированные медиаданные, от присоединенного приемника 110 медиа генерирующего устройства 100. Приемник 110 затем принимает медиаданные от внешнего терминала в системе связи через проводное или беспроводное соединение. В качестве дополнительной альтернативы, медиа провайдер 120 может извлекать медиаданные со множеством изображений из присоединенного блока 140 медиа памяти медиа генерирующего устройства 100.

Блок 130 назначения приоритетов реализуется в медиа генерирующем устройстве 100 для того, чтобы назначить идентификаторы приоритета контента одному или большему числу множественных медиа изображений. Идентификаторы приоритета контента указывают уровень значимости рендеринга медиаданных множественных медиа изображений. Блок 130 назначения приоритетов может принять идентификаторы приоритета контента от внешнего источника, например через приемник 110. В качестве альтернативы, идентификаторы приоритета контента могут быть введены вручную создателем контента, и в таком случае блок 130 назначения приоритетов включает в себя пользовательское устройство ввода данных или он присоединяется к пользовательскому устройству ввода данных и извлекает идентификаторы приоритета контента из вводимых пользователем данных.

В дополнительном осуществлении изобретения медиа генерирующее устройство 100 содержит блок 150 определения приоритетов, присоединенный к блоку 130 назначения приоритетов. Блок 150 определения приоритетов устанавливается для того, чтобы определить идентификатор приоритета контента, по меньшей мере, для одного медиа изображения из множественных медиа изображений. Блок 150 определения приоритетов, предпочтительно, использует входные параметры, например, от медиа механизма, медиа провайдера 120, приемника 110 или из данных, введенных пользователем, относящихся к камерам 12-18 или оборудованию, используемому для записи или генерирования медиаданных со множеством изображений. Эти входные параметры включают в себя, по меньшей мере, одну из позиций камер относительно записанного эпизода, фокальное направление, фокусное расстояние и разрешение съемки камер.

Определенные идентификаторы приоритета контента направляются от блока 150 определения приоритетов к блоку 130 назначения приоритетов, который назначает их соответствующим медиа изображениям. Итак, таким образом, каждое медиа изображение съемки, предпочтительно, получает идентификатор приоритета контента, назначенный ему блоком 130 определения приоритетов, хотя другие осуществления изобретения просто назначают идентификаторы приоритета контента подмножеству, по меньшей мере, из одного медиа изображения из множественных медиа изображений. Дополнительный блок 160 организации дорожек предоставляется в медиа генерирующем устройстве 100 и начинает функционировать, если медиаданные с множеством изображений от медиа провайдера 120 должны быть организованы внутри файла медиа контейнера. В таком случае блок организации дорожек организует закодированные медиаданные от медиа провайдера 120 в виде, по меньшей мере, одной медиа дорожки в файле медиа контейнера.

Блок 170 организации приоритетов, предпочтительно, реализуется в медиа генерирующем устройстве 100 для того, чтобы организовать идентификаторы приоритета в файле медиа контейнера. Таким образом, блок 170 организации приоритетов организует с возможностью связывания идентификаторы структурного приоритета и идентификаторы приоритета контента в файле медиа контейнера относительно одной или большего количества медиа дорожек. В таком случае, блок 170 организации приоритетов, предпочтительно, сохраняет каждый из структурных идентификаторов и идентификаторов приоритета контента вместе с соответствующим идентификатором изображения, представляющим медиа изображение съемки и медиаданными, к которым применяются структурный идентификатор или идентификатор приоритета контента. Медиа кадр контейнера, сгенерированный согласно осуществлению изобретения медиа генерирующего устройства 100, может войти в медиа память 140 для последующей передачи на внешний блок, который предназначен для направления или обработки файла медиа контейнера. В качестве альтернативы, файл медиа контейнера может непосредственно передаваться на этот внешний блок, например, медиа сервер, транскодер или пользовательский терминал с медиа техническими средствами рендеринга или проигрывания.

Блоки 110-130 и 150-170 медиа генерирующего устройства 100 могут предоставляться в виде аппаратных средств, программного обеспечения или комбинации аппаратного и программного обеспечения.

Медиа генерирующее устройство 100 с пользой может устанавливаться в сетевом узле проводной или, предпочтительно, беспроводной, основанной на радио, системы связи. Медиа генерирующее устройство 100 может представлять собой составную часть провайдера контента или сервера или может присоединяться к ним.

Идентификаторы приоритета контента, определенные и назначенные медиаданным с множеством изображений, как обсуждено выше, предоставляют улучшенную, основанную на контенте, обработку медиаданных с множеством изображений, по сравнению с соответствующими медиаданными с множеством изображений, к которым просто назначены идентификаторы структурного приоритета.

Например, предположим, что имеется конфигурация видеозаписи, как это продемонстрировано на Фиг. 2, с четырьмя камерами видеозаписи. Назначаются идентификаторы структурного приоритета, как это обсуждено выше, и продемонстрировано в Таблице I, и назначаются идентификаторы приоритета контента, как это продемонстрировано в Таблице II. Таблица III представляет собой, в основном, слияние между Таблицей I и Таблицей II и в ней перечислены как идентификаторы структурного приоритета, так и идентификаторы приоритета контента для примера, продемонстрированного на Фиг. 2.

Таблица III
Идентификаторы приоритета Изображение камеры* 22 24 26 28 Идентификатор структурного приоритета 3 2 1 2 Идентификатор приоритета контента 1 2 3 4 *Номер ссылки на изображение камеры согласно Фиг. 2

Предположим ситуацию, в которой медиаданные съемки, соответствующие одному из медиа изображений, должны быть удалены и отброшены, например, из-за ограниченных возможностей хранения и/или ограничений на пропускные возможности при передаче закодированных медиаданных с множеством изображений.

Согласно техническим приемам предшествующего уровня техники, медиаданные отбрасываются исключительно на основе идентификаторов структурного приоритета. Это означает, что медиаданные с медиа изображения 22 и камеры 12, расположенной наиболее близко к одним из ворот футбольного поля, будут отброшены, так как они имеют самый высокий назначенный идентификатор структурного приоритета и поэтому самый низкий структурный приоритет. Однако, в действительности, это изображение 22 камеры обычно рассматривается как являющееся самым значимым, поскольку она ближе к футбольным воротам, и представляет собой единственное изображение камер, из четырех продемонстрированных изображений 22-28 камер, которые захватят любой гол, забитый во время футбольного матча.

Однако, используя в медиа обработке также идентификаторы приоритета контента, то есть при медиа удалении в данном примере, достигается более корректная медиа обработка, с точки зрения медиа рендеринга. Тем самым, при использовании только идентификаторов приоритета контента или, действительно, как идентификаторов приоритета контента, так и идентификаторов структурного приоритета в медиа удалении, медиаданные, исходящие от медиа изображения 28, будут отброшены, поскольку они имеют самый высокий идентификатор приоритета контента, а также самый высокий общий идентификатор приоритета, то есть идентификатор приоритета контента плюс идентификатор структурного приоритета. Удаление медиаданных медиа изображения 28 вместо медиа изображения 22, самого близкого к футбольным воротам, намного более предпочтительно с точки зрения просмотра пользователями, которыми забитый гол рассматривается как наиболее интересная часть при просмотре футбольного матча.

Фиг. 6 представляет собой структурную схему технологических этапов, демонстрирующую способ обработки медиаданных со множеством изображений согласно некоторому осуществлению изобретения. Способ начинается на этапе S20, где принимаются закодированные медиаданные, представляющие множество медиа изображений медиа контента. Этот прием данных может иметь вид приема пакетов данных с закодированными медиаданными от медиа сервера или провайдера контента.

В качестве альтернативы, медиаданные могут быть включены в состав файла медиа контейнера, который принимается в виде некоторого количества пакетов данных. Каждое из медиа изображений, относящихся к медиаданным, имеет соответствующий идентификатор структурного приоритета, и дополнительно, по меньшей мере, часть медиа изображений имеет соответствующий идентификатор приоритета контента, как это было описано ранее.

На следующем этапе S21 выбирается подмножество медиаданных из принятых медиаданных с множеством изображений. Таким образом, на этом этапе S21 выбираются медиаданные, соответствующие подмножеству множественных медиа изображений. Как следствие, на этапе S21 выбираются медиаданные из $$P$$ медиа изображений, где $$1\le P<M$$ , а величина $$M$$ представляет собой общее количество медиа изображений для настоящих медиаданных с множеством изображений.

Выбор подмножества, кроме того, осуществляется, по меньшей мере, частично, на основе, по меньшей мере, одного идентификатора приоритета контента, связанного с медиа изображениями. Этап S21 может быть произведен исключительно на основе идентификаторов приоритета контента, но, предпочтительно, также основывается на идентификаторах структурного приоритета. Это особенно выгодно при удалении или при отбрасывании медиаданных, так как, в противном случае, медиаданные от основного изображения могли бы быть отброшены в случае, когда рассматриваются только идентификаторы приоритета контента, таким образом, делая оставшиеся медиаданные съемки не подлежащими декодированию.

На этапе S22 дополнительно обрабатывается выбранное на этапе S21 подмножество медиаданных. Таким образом, используется идентификатор приоритета контента осуществлений изобретения, чтобы классифицировать медиаданные съемки других изображений, и таким образом достигается дифференциальная обработка медиаданных, посредством обработки только подмножества медиаданных или, дополнительно по выбору, посредством применения, по меньшей мере, одной другой формы обработки к оставшимся медиаданным из медиаданных с множеством изображений.

Способ после этого завершается.

На чертежах 7-11 продемонстрированы различные осуществления изобретения разнообразных процессов обработки, которые могут быть произведены в ответ на выбор медиаданных на основе приоритетов.

На Фиг. 7 некоторые из медиаданных из медиаданных со множеством изображений должны быть удалены или отброшены, например, из файла медиа контейнера. Это может необходимо потребоваться в приложениях с ограниченными возможностями сохранения информации с тем, чтобы уменьшить общий объем информации в терминах битов закодированных медиаданных с множеством изображений. Альтернативная, но связанная с этим ситуация, - это, когда необходимо или, по меньшей мере, желательно, удалить некоторые из медиаданных с целью удаления объема данных, который передается на приемник. Такие приложения с ограниченными возможностями пропускной способности часто возникают в беспроводных, основанных на радио, системах связи, где имеются ограничения на имеющееся в наличии количество ресурсов для обмена информацией, таких как временные слоты, частоты канала или коды распространения спектра и т.д.

На этапе S30 на Фиг. 7 осуществляется удаление и отбрасывание подмножества медиаданных, выбранного на этапе S21 на Фиг. 6. Таким образом, медиаданные из закодированных данных с множеством изображений подлежат отбрасыванию на основе, по меньшей мере, частично идентификаторов приоритета контента и, предпочтительно, на основе этих идентификаторов и идентификаторов структурного приоритета. Вместо того чтобы также использовать идентификаторы структурного приоритета, в дополнение к идентификаторам приоритета контента, при выборе медиаданных, подлежащих удалению, могла бы использоваться и другая информация, описывающая зависимость кодирования медиаданных от другого использования, вместе с идентификаторами приоритета контента.

Фиг. 8 представляет собой альтернативное осуществление изобретения этапа обработки данных. Это осуществление изобретения также применимо в применениях с ограниченными возможностями пропускной способности. Однако, в отличие от Фиг. 7, медиаданные не обязательно отбрасываются. Ясное отличие состоит в том, что подмножество медиаданных, выбранных на Фиг. 6 на основе идентификаторов приоритета контента на этапе S40, передается, по проводам или с помощью беспроводных технологий, на другой терминал, сетевой узел или блок, имеющий возможности приема. Остающиеся медиаданные затем не отправляются на вышеупомянутый блок или, возможно, отправляются при более позднее.

Если терминал имеет возможности рендеринга, например, медиа проигрыватель, но он не может, или делает выбор не декодировать и осуществлять рендеринг все медиаданные со множеством изображений, идентификаторы приоритета контента могут использоваться для того, чтобы на этапе S50 на Фиг. 9 выбрать подмножество медиаданных для декодирования и рендеринга. Этап S50 может использоваться, например, когда медиа проигрыватель может осуществить рендеринг только медиаданных от единственного медиа изображения или от множества из медиа изображений. В таком случае важно, чтобы декодированные и проигрываемые медиаданные имели настолько высокий уровень значимости для просмотра пользователем, насколько это возможно. Все же отметим, что несмотря на то, что на этапе S50 декодируются и предоставляются медиаданные с подмножества медиа изображений, медиаданные могут потребовать декодирования, но не обязательно рендеринга, медиаданных с другого медиа изображения, не включенного в подмножество, из-за предсказаний между изображениями при медиа кодировании и декодировании. Например, основное изображение, не выбранное для того, чтобы быть включенным в состав подмножества медиаданных, может оказаться необходимым для декодирования одного из медиа изображений, которое необходимо как декодировать, так и осуществить рендеринг.

Защита данных часто применяется к медиаданным и пакетам данных, переданным по сетям, основанным на радио, чтобы оказывать противодействие вредным эффектам постепенного затухания силы сигнала и помех. Вообще говоря, чем выше уровень защиты данных, тем больше требуется дополнительных или чрезмерно перегружающих данных. Поэтому необходим баланс между уровнем защиты и дополнительными непроизводительными издержками. Идентификаторы приоритета контента могут с пользой использоваться в качестве основы для того, чтобы идентифицировать медиаданные в конфигурации со множеством изображений, у которой должен быть высший уровень защиты данных. Таким образом, медиаданные, которые имеют низкие идентификаторы приоритета контента и поэтому рассматриваются как имеющие высокую значимость для рендеринга, могут иметь первый уровень защиты данных на этапе S60 на Фиг. 10, в то время как менее значимые медиаданные с других медиа изображений могут иметь второй, более низкий, уровень защиты данных. Это может, конечно, быть распространено и на ситуацию, предоставляющую больше чем два различных уровня защиты данных.

Примерами такой защиты данных, которая может использоваться в связи с этим осуществлением изобретения, являются упреждающая коррекция ошибок FEC (Forward Error Correction), контрольная сумма, код Хемминга, контроль с использованием циклического избыточного кода CRC (Cyclic Redundancy Check), и т.д., которые подходят для передач в реальном времени, поскольку любое отклонение может быть исправлено мгновенно.

В случае применений не в реальном времени, для того, чтобы обеспечить защиту данных, может также использоваться автоматический запрос на повтор ARQ (Automatic Repeat Request), такой как в управляющем протоколе передачи/протоколе интернета TCP/IP (Transmission Control Protocol/ Internet Protocol), где требуются повторные передачи, когда происходит отклонение.

Шифрование является другим типом высокоуровневой защиты данных, который может быть рассмотрен в данном документе. В таком случае, идентификаторы приоритета контента могут использоваться, чтобы определить, до какой степени силы должна быть применена защита шифрованием.

Приоритет контента может также использоваться для того, чтобы предоставить дифференцированную оплату предоставленного медиа контента. Таким образом, медиаданные с медиа изображений, которые рассматриваются как обладающие более высокой актуальностью и значимостью для рендеринга покупающими пользователями, могут оплачиваться по другой цене, то есть по более высокой цене, чем менее значимые медиаданные, которые имеют сравнительно более высокие идентификаторы приоритета контента. Эта концепция демонстрируется на Фиг. 11, где этап S70 предоставляет информацию об оплате для медиаданных с множеством изображений, на основе, по меньшей мере, частично, идентификаторов приоритета контента.

Фиг. 12 представляет собой схематическую демонстрацию осуществления изобретения устройства 200 обработки данных для обработки медиаданных со множеством изображений. На чертеже, без ограничения общности, устройство 200 обработки данных демонстрируется в виде пользовательского терминала, имеющего функциональные возможности медиа плеера. Такой пользовательский терминал 200 может, например, быть портативным пользовательским терминалом системы беспроводной связи, таким как мобильный телефон, персональный цифровой помощник, ноутбук с оборудованием для обмена информацией и т.д. Другие примеры пользовательских терминалов, для которых может оказаться полезным настоящее изобретения, включают в себя компьютеры, игровые приставки, телевизионные декодеры и другое оборудование, адаптированное для обработки и рендеринга медиаданных со множеством изображений. Более того, устройство 200 обработки данных не обязательно должно представлять собой устройство медиа рендеринга. Ясное отличие в том, что устройство 200 обработки данных могло бы использовать идентификаторы приоритета контента, как это раскрыто в данном документе, в целях другой обработки.

Устройство 200 обработки данных содержит приемник 210 для того, чтобы принимать закодированные медиаданные, представляющие множество медиа изображений медиа контента. Медиаданные, которые переносятся в некотором количестве пакетов данных, могут быть представлены в виде файла медиа контейнера, содержащего, в дополнение к закодированным медиаданным, по меньшей мере, в одной медиа дорожке, метаданные, применимые во время обработки медиаданных. Эти метаданные содержат, кроме прочего, идентификаторы структурного приоритета и идентификаторы приоритета контента, описанные в данном документе. Если медиаданные со множеством изображений не предоставляются в виде файла медиа контейнера, медиаданные с каждого медиа изображения содержат (по меньшей мере, в одном из его пакетов данных, а именно, в заголовке вышеупомянутого пакета) идентификатор структурного приоритета и идентификатор приоритета контента, применимые к этому медиа изображению.

Устройство 200 обработки данных также содержит медиа селектор 220, установленный для выбора подмножества медиаданных из принятых медиаданных со множеством изображений. Медиа селектор 220 восстанавливает идентификаторы приоритета контента для различных медиа изображений, связанных с медиаданными съемки, и, предпочтительно, также восстанавливает идентификаторы структурного приоритета. Медиа селектор 220 использует восстановленные идентификаторы приоритета контента и, предпочтительно, идентификаторы структурного приоритета для идентификации и выбора конкретного подмножества медиаданных, подлежащих дополнительной обработке.

Дополнительная обработка медиаданных выбранного подмножества медиаданных может быть проведена непосредственно пользовательским устройством 200 обработки данных или дополнительным устройством, присоединенным для этой цели. Например, устройство 200 обработки данных может содержать блок 250 удаления медиаданных для удаления и отбрасывания медиаданных съемки, соответствующих одному медиа изображению съемки или подмножеству из всех медиа изображений медиаданных со множеством изображений. Блок удаления 250 медиаданных затем удаляет подмножество медиаданных, выбранное медиа селектором 220 на основе, по меньшей мере, частично, идентификаторов приоритета контента.

Удаление медиаданных может быть востребовано для удаления полного объема битов медиаданных с множеством изображений в процессе сохранения их в медиа памяти 230 или удаления пропускной способности при передаче их передатчиком 210 от устройства 200 обработки данных.

Устройство 200 обработки данных может быть адаптировано для декодирования принятых медиаданных и последующего рендеринга их на имеющемся, или присоединенном к нему, экране 280 дисплея. В таком случае может функционировать декодер 245, с тем, чтобы только декодировать подмножество медиаданных, выбранное медиа селектором 220. Декодируемые медиаданные подвергаются рендерингу медиа проигрывателем 240, и затем выводятся в виде изображения на экране 280 дисплея. В альтернативном подходе декодер 245 может декодировать большее количество медиаданных, чем выбранное подмножество медиаданных. Однако медиа проигрыватель 240 просто осуществляет рендеринг медиаданных, соответствующих подмножеству медиаданных, выбранному медиа селектором 220. Любые не подвергшиеся рендерингу, но декодированные медиаданные могут потребоваться для декодирования, по меньшей мере, некоторых из медиаданных в выбранном подмножестве медиаданных в процессе получения предсказаний между изображениями при любом кодировании/декодировании.

Блоки 210, 220, 240 и 250 из устройства обработки данных 200 могут предоставляться в виде аппаратных средств, программного обеспечении или комбинации аппаратного и программного обеспечения.

Фиг. 13 представляет собой схематическую блок-схему другого осуществления изобретения устройства 300 обработки данных. Это устройство 300 обработки данных может быть реализовано в сетевом узле, таком как базовая станция, системы беспроводной связи или сети. Подобно осуществлению изобретения, продемонстрированному на Фиг. 12, устройство 300 обработки данных на Фиг. 13 содержит передатчик/приемник (TX/RX) 310 для передачи и приема данных. Устройство 300 обработки данных дополнительно содержит медиа селектор 320, блок 330 медиа памяти и блок 350 удаления медиаданных. Функционирование этих блоков аналогичное, как у соответствующих блоков в устройстве 200 обработки данных на Фиг. 12, и поэтому эти блоки дополнительно не обсуждаются в данном документе.

Дополнительно по выбору, предоставляется блок 360 применения защиты в устройстве обработки данных для того, чтобы применить различные уровни защиты данных к пакетам данных, переносящим медиаданные со множеством изображений. Эта дифференцированная защита данных дает возможности блоку применения защиты осуществить применение первого уровня защиты данных к пакетам данных, переносящим медиаданные подмножества медиаданных, выбранного медиа селектором 320. Соответственно, второй уровень защиты или множественные различные уровни защиты данных затем применяются к пакетам данных, переносящим оставшиеся медиаданные.

Дополнительно по выбору, может устанавливаться блок 370 взимания оплаты в устройстве 300 обработки данных для того, чтобы предоставить информацию об оплате, применимой к медиаданным со множеством изображений. Дифференцированная стоимость для медиаданных с различных медиа изображений затем, предпочтительно, используется блоком 370 взимания оплаты, используя идентификаторы приоритета контента. Таким образом, блок 370 взимания платы определяет первую стоимость оплаты для медиаданных из подмножества медиаданных, выбранного медиа селектором 320. По меньшей мере, другая, отличная от первой, стоимость оплаты, соответственно, определяется для оставшихся медиаданных.

Блоки 310, 320 и 350-370 устройства 300 обработки данных могут предоставляться в аппаратных средствах, программном обеспечении или комбинации аппаратного и программного обеспечения.

На Фиг. 12 и Фиг. 13 использован комбинированный блок, то есть приемопередатчик, содержащий функциональные возможности, как для приема, так и для передачи. В качестве альтернативы, могут использоваться выделенный приемник и выделенный передатчик, присоединенные дополнительно по выбору, в беспроводных реализациях, к разделенным принимающей антенне и передающей антенне или к комбинированной принимающей и передающей антенне.

Фиг. 14 представляет собой схематический краткий обзор части системы 600 беспроводной связи, в которой могут быть реализованы осуществления изобретения. Система 600 связи содержит один или более сетевых узлов или базовых станций 500, 550, предоставляющих услуги обмена информацией для присоединенных пользовательских терминалов 200. По меньшей мере, одна из базовых станций 500 содержит медиа сервер или провайдер 400 или присоединяется к медиа серверу или провайдеру 400, содержащему медиа генерирующее устройство 100, описанное выше и раскрытое на Фиг. 5. медиаданные со множеством изображений с идентификаторами структурного приоритета и идентификаторами приоритета контента распределяются на пользовательские терминалы 200 и/или другие устройства 300 обработки данных, предоставленные в системе 600 связи. В таком случае данные со множеством изображений могут быть переданы на пользовательские терминалы 200, посредством одноадресной передачи, или в виде многоадресной или широковещательной передачи, как это схематично продемонстрировано на чертеже.

Это будет понято квалифицированными специалистами на данном уровне техники, что могут быть сделаны различные модификации и изменения в настоящем изобретении без отклонения от объема, описанного в данном документе, который определяется добавленными пунктами формулы изобретения.

СПИСОК ЦИТИРОВАННОЙ ЛИТЕРАТУРЫ

[1] ISO/IEC JTC1/sc29/wg11 - Краткий обзор кодирования движущихся изображений и аудио, MPEG 4, июль 2000 (ISO/IEC JTC1/SC29/WG11 - Coding of Moving Pictures and Audio, MPEG-4 Overview, July 2000)

[2] ISO/IEC 14496 - 15:2004 - Информационные технологии, кодирование медиа объектов, Часть 15: Формат файла усовершенствованного видео-кодирования(AVC) (ISO/IEC 14496- 15:2004 - Information Technology, Coding of Audio- Visual Objects, Part 15: Advanced Video Coding (AVC) File Format) [3] ISO/IEC 14496 - 14:2003 - Информационные технологии, кодирование медиа объектов, Часть 14: Формат файла MP4 (ISO/IEC 14496- 14:2003 - Information Technology, Coding of Audio- Visual Objects, Part 14: MP4 File Format) [4] 3GPP ТС 26.244 V7.3.0 - Партнерский проект 3-го поколения; Сервисы группы технических установок и системных аспектов; Явный сквозной пакет коммутируемого сервиса потоковой передачи (PSS); формат файла 3GPP, 2007 (3GPP TS 26.244 V7.3.0 - 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; Transparent end-to-end packet switched streaming service (PSS); 3GPP file format, 2007)

[5] ISO/IEC 14496-12:2005 - Информационные технологии, кодирование медиа объектов, Часть 12: Базовый формат медиа-файла (ISO ISO/IEC 14496-12:2005 - Information Technology, Coding of Audio- Visual Objects, Part 12: ISO Base Media File Format) [6] ISO/IEC 14496-15, Рабочий Проект 2.0 формат файла видео-кодирования MVC, июль 2008, Ганновер, Германия, Документ № 10062 (ISO/IEC 14496-15, Working Draft 2.0 MVC File Format, July 2008, Hannover, Germany, Document No. 10062)

Изобретение относится к медиаданным с множеством изображений и, в частности, к генерированию и обработке таких медиаданных с множеством изображений (Multi-View Video). Техническим результатом является более эффективная обработки медиаданных с множеством изображений, например, в связи с избирательным удалением, рендерингом и/или применением защиты медиаданных с множеством изображений. Указанный технический результат достигается тем, что генерируются медиаданные с множеством изображений посредством предоставления закодированных медиаданных, представляющих множественные медиа изображения медиаконтента. Каждое из медиа изображений связывается со структурным идентификатором приоритета, указывающим взаимоотношения кодирования медиаданных относительно медиаданных, по меньшей мере, одного другого медиа изображения. Определяется идентификатор приоритета контента для, предпочтительно, каждого медиа изображения. Идентификатор приоритета контента, в отличие от структурного идентификатора приоритета, указывает уровень значимости рендеринга медиаданных медиа изображения. 5 н. и 16 з.п. ф-лы, 14 ил., 3 табл.

1. Способ генерирования медиаданных с множеством изображений, содержащий:
предоставление закодированных медиа данных, представляющих множественные медиа изображения медиа контента, при этом каждое медиа изображение связывают с идентификатором структурного приоритета, указывающим взаимосвязь кодирования медиа данных медиа изображения относительно медиа данных, по меньшей мере, одного другого медиа изображения из вышеупомянутых множественных медиа изображений;
определение для каждого медиа изображения из, по меньшей мере, части вышеупомянутых множественных медиа изображений, идентификатора приоритета контента, указывающего уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения; и
связывание вышеупомянутого идентификатора приоритета контента с вышеупомянутым медиа изображением.

2. Способ по п.1, в котором вышеупомянутый этап определения идентификатора содержит определение для каждого медиа изображения из вышеупомянутых множественных медиа изображений, соответствующего идентификатора приоритета контента.

3. Способ по п.1 или 2, в котором вышеупомянутый этап определения идентификатора содержит определение вышеупомянутого идентификатора приоритета контента для каждого медиа изображения из вышеупомянутой, по меньшей мере, части вышеупомянутых множественных медиа изображений, на основе позиций записи вышеупомянутых множественных медиа изображений относительно записанного эпизода.

4. Способ по п.1 или 2, дополнительно содержащий: организацию вышеупомянутых закодированных медиа данных вышеупомянутых множественных медиа изображений в качестве, по меньшей мере, одной медиа дорожки файла медиа контейнера; организацию с возможностью связывания вышеупомянутых идентификаторов структурного приоритета в вышеупомянутом файле медиа контейнера относительно вышеупомянутой, по меньшей мере, одной медиа дорожки; и организацию с возможностью связывания вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента в вышеупомянутом файле медиа контейнера относительно вышеупомянутой, по меньшей мере, одной медиа дорожки.

5. Способ по п.4, в котором вышеупомянутый этап организации с возможностью связывания вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента содержит для каждого идентификатора приоритета контента из вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента организацию вышеупомянутого идентификатора приоритета контента в вышеупомянутом файле медиа контейнера вместе с идентификатором изображения, назначенного вышеупомянутому связанному медиа изображению.

6. Медиа генерирующее устройство для генерирования медиа данных с множеством изображений, содержащее:
медиа провайдер для предоставления закодированных медиа данных, представляющих множественные медиа изображения медиа контента, при этом каждое медиа изображение связывается с идентификатором структурного приоритета, указывающим взаимосвязь кодирования вышеупомянутых медиа данных вышеупомянутого медиа изображения относительно медиа данных, по меньшей мере, одного другого медиа изображения из вышеупомянутых множественных медиа изображений;
блок назначения приоритета для назначения каждому медиа изображению из, по меньшей мере, части вышеупомянутых множественных медиа изображений, идентификатора приоритета контента, указывающий уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения.

7. Устройство по п.6, дополнительно содержащее блок определения приоритета, для того, чтобы определить для каждого медиа изображения из вышеупомянутой, по меньшей мере, части вышеупомянутых множественных медиа изображений вышеупомянутый идентификатор приоритета контента, на основе позиций записи вышеупомянутых множественных медиа изображений относительно записанного эпизода.

8. Устройство по п.6 или 7, дополнительно содержащее: блок организации дорожек для того, чтобы организовать вышеупомянутые закодированные медиа данные вышеупомянутых множественных медиа изображений в качестве, по меньшей мере, одной медиа дорожки файла медиа контейнера; и блок организации приоритетов для того, чтобы организовать с возможностью связывания вышеупомянутые идентификаторы структурного приоритета в вышеупомянутом файле медиа контейнера относительно вышеупомянутой, по меньшей мере, одной медиа дорожки, и организовать с возможностью связывания, по меньшей мере, один вышеупомянутый идентификатор приоритета контента в вышеупомянутом файле медиа контейнера, относительно вышеупомянутой, по меньшей мере, одной медиа дорожки.

9. Устройство по п.8, в котором вышеупомянутый блок организации приоритетов устанавливается для того, чтобы организовать для каждого идентификатора приоритета контента из вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента вышеупомянутый идентификатор приоритета контента в вышеупомянутом файле медиа контейнера вместе с идентификатором изображения, назначенным вышеупомянутому связанному медиа изображению.

10. Медиа сервер для осуществления обработки медиа данных с множеством изображений и формирования медиа данных с множеством изображений внутри передаваемых пакетов данных во время медиа сеанса с использованием файла медиа контейнера, причем файл медиа контейнера содержит:
по меньшей мере, одну медиа дорожку, содержащую закодированные медиа данные, представляющие множественные медиа изображения медиа контента;
множественные идентификаторы структурного приоритета, организованные с возможностью связывания в вышеупомянутом файле медиа контейнера относительно вышеупомянутой, по меньшей мере, одной медиа дорожки, при этом каждое медиа изображение из вышеупомянутых множественных медиа изображений имеет идентификатор структурного приоритета, указывающий взаимосвязь кодирования вышеупомянутых медиа данных вышеупомянутого медиа изображения относительно медиа данных, по меньшей мере, одного
другого медиа изображения из вышеупомянутых множественных медиа изображений; и
по меньшей мере, один идентификатор приоритета контента, организованный с возможностью связывания в вышеупомянутом файле медиа контейнера, относительно вышеупомянутой, по меньшей мере, одной медиа дорожки, при этом у каждого медиа изображения, по меньшей мере, из части вышеупомянутых множественных медиа изображений имеется идентификатор приоритета контента, указывающий уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения.

11. Медиа сервер по п.10, в котором каждое медиа изображение из вышеупомянутых множественных медиа изображений имеет назначенный идентификатор изображения и каждый идентификатор приоритета контента из вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента организуется в вышеупомянутом файле медиа контейнера вместе с идентификатором изображения, назначенным вышеупомянутому связанному медиа изображению.

12. Способ обработки медиа данных с множеством изображений, содержащий:
прием закодированных медиа данных, представляющих множественные медиа изображения медиа контента, при этом каждое медиа изображение связывают с идентификатором структурного приоритета, указывающим взаимосвязь кодирования вышеупомянутых медиа данных вышеупомянутого медиа изображения относительно медиа данных, по меньшей мере, одного другого медиа изображения из вышеупомянутых множественных медиа изображений, и каждое медиа изображение из, по меньшей мере, части вышеупомянутых
множественных медиа изображений связывают с идентификатором приоритета контента, указывающим уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения; и
выбор подмножества медиа данных из вышеупомянутых медиа данных вышеупомянутых множественных медиа изображений для обработки на основе вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента.

13. Способ по п.12, в котором вышеупомянутый этап выбора содержит выбор вышеупомянутого подмножества медиа данных для обработки на основе вышеупомянутых идентификаторов структурного приоритета и вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента.

14. Способ по п.12 или 13, дополнительно содержащий удаление вышеупомянутого выбранного подмножества медиа данных из вышеупомянутых закодированных медиа данных.

15. Способ по п.12 или 13, дополнительно содержащий декодирование и воспроизведение вышеупомянутого выбранного подмножества медиа данных.

16. Способ по п.12 или 13, дополнительно содержащий: применение первого уровня защиты данных к вышеупомянутому выбранному подмножеству медиа данных; и применение второго, другого, уровня защиты данных к оставшимся медиа данным, не содержащимся в вышеупомянутом выбранном подмножестве медиа данных.

17. Устройство обработки данных для обработки медиа данных с множеством изображений, содержащее:
приемник для того, чтобы принимать закодированные медиа данные, представляющие множественные медиа изображения медиа контента, при этом каждое медиа изображение связывается с идентификатором структурного приоритета, указывающим уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения; и указывающим взаимосвязь кодирования вышеупомянутых медиа данных вышеупомянутого медиа изображения относительно медиа данных, по меньшей мере, одного другого медиа изображения из вышеупомянутых множественных медиа изображений и каждого медиа изображения из, по меньшей мере, части вышеупомянутых множественных медиа изображений, связанных с идентификатором приоритета контента, указывающим уровень значимости воспроизведения медиа данных вышеупомянутого медиа изображения; и
медиа селектор, который выбирает подмножество медиа данных из вышеупомянутых медиа данных вышеупомянутых множественных медиа изображений для обработки на основе вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента.

18. Устройство по п.17, в котором устанавливается вышеупомянутый медиа селектор для выбора вышеупомянутого подмножества медиа данных для обработки на основе вышеупомянутых идентификаторов структурного приоритета и вышеупомянутого, по меньшей мере, одного идентификатора приоритета контента.

19. Устройство по п.17 или 18, дополнительно содержащее блок удаления медиа данных для удаления вышеупомянутого выбранного подмножества медиа данных из вышеупомянутых закодированных медиа данных.

20. Устройство по п.17 или 18, дополнительно содержащее декодер для декодирования вышеупомянутого выбранного подмножества медиа данных и медиа проигрыватель для воспроизведения вышеупомянутого декодированного выбранного подмножества медиа данных.

21. Устройство по п.17 или 18, дополнительно содержащее блок применения защиты для применения первого уровня защиты данных к вышеупомянутому выбранному подмножеству медиа данных, и применения второго, другого, уровня защиты данных к оставшимся медиа данным, которые не содержатся в вышеупомянутом выбранном подмножестве медиа данных.