УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ Российский патент 2018 года по МПК H04N21/84 H04N21/235 H04N19/70 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки информации и, более конкретно, к устройству и способу обработки информации, адаптивно подающим данные частичного изображения.

Уровень техники

В последние годы была выполнена стандартизация технологии доставки содержания, используя протокол передачи гипертекста (HTTP), динамическую адаптивную потоковую передачу Группы экспертов движущегося изображения через HTTP (MPEG-DASH) (например, см. Непатентную литературу 1). В MPEG-DASH применяется технология потоковой передачи с адаптивной скоростью битов (ABS), в которой множество частей кодированных данных, в которых выражено одинаковое содержание, представлены с разными скоростями передачи битов, и сохранены в сервере содержания, и клиент выбирает, и воспроизводит одну часть кодированных данных среди множества частей кодированных данных, в соответствии с полосой пропускания сети.

В частности, были рассмотрены выбор частичного изображения, которое представляет собой часть изображения, вместо всего изображения, и его адаптивная доставка. Например, была рассмотрена доставка частичного изображения, которое представляет собой часть, выбранную из всего изображения на стороне терминала, принимающего данные изображения, или управляющего размером частичного изображения, предназначенного для доставки в соответствии с рабочими характеристиками терминала (например, способностью к обработке CPU и т.п. или размером дисплея), путем передачи ситуации с нагрузкой сервера, и т.п.

Список литературы

Непатентная литература

Непатентная литература 1: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1).

Раскрытие изобретения

Техническая задача

Однако стандарт MPEG-DASH предшествующего уровня техники относится только к концепции переключения скоростей передачи битов (Bitrates) и без выбора любого частичного изображения или без подачи данных, выполняемой, используя структуры элемента мозаичного изображения, не описанные выше, то есть не может быть выполнена адаптивная подача данных частичных изображений.

Желательно обеспечить технологию для адаптивной подачи данных частичного изображения.

Решение задачи

В соответствии с аспектом настоящей технологии, предусмотрено устройство обработки информации, включающее в себя: модуль генерирования информации частичного изображения, выполненный с возможностью генерировать информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и модуль генерирования метаданных, выполненный с возможностью генерирования метаданных, предназначенных для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя информацию частичного изображения, генерируемую модулем генерирования информации частичного изображения.

Информация частичного изображения может включать в себя информацию о положении, обозначающую положение частичного изображения во всем изображении.

Информация о положении может обозначать положение верхней левой части частичного изображения.

Модуль генерирования метаданных может сохранять информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных наборах адаптации (AdaptationSet) метаданных, и может назначать потоки битов множества частичных изображений во взаимно разные наборы адаптации.

Модуль генерирования метаданных может сохранять информацию частичного изображения, относящуюся к множеству частичных изображения во взаимно разных наборах адаптации (AdaptationSet) метаданных, и может назначать множество файлов, для которых один поток битов, включающий в себя множество частичных изображений, разделяют для каждого частичного изображения для взаимно разных наборов адаптации.

Модуль генерирования метаданных может сохранять информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных вспомогательных представлениях (Sub-Representation), принадлежащих одному представлению (Representation), принадлежащему одному адаптивному набору, (Adaptationset) метаданных, и может назначать потоки битов множества частичных изображений во множестве разных вспомогательных представлений.

Модуль генерирования информации частичного изображения может дополнительно генерировать информацию, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation).

Каждый из потоков битов множества частичных изображений может быть сохранен в TRACK одного файла МР4.

Модуль генерирования метаданных может дополнительно генерировать информацию, обозначающую местоположение данных одного файла МР4.

Информация частичного изображения может дополнительно включать в себя информацию, относящуюся к размеру всего изображения.

Информация частичного изображения может дополнительно включать в себя информацию идентификации группы, обозначающую группу, которая представляет собой группу, которой принадлежат частичные изображения и которая составляет группу частичных изображений, которые могут быть изображены, как одно изображение.

Устройство обработки информации может дополнительно включать в себя модуль кодирования, выполненный с возможностью кодирования данных изображения для всего изображения и частичных изображений, и генерирования потока битов.

Устройство обработки информации может дополнительно включать в себя модуль обработки разделения экрана, выполненный с возможностью генерирования данных изображения каждого частичного изображения из данных изображения всего изображения.

Информация частичного изображения может включать в себя информацию, обозначающую количество частичных изображений, формирующих все изображение, информацию идентификации, обозначающую, что размеры частичных изображений равны, и информацию, обозначающую положение и размер каждого частичного изображения, когда размеры частичных изображений не равны.

В соответствии с аспектом настоящей технологии, предусмотрен способ обработки информации, включающий в себя: генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и генерируют метаданные, предназначенные для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя информацию сгенерированного частичного изображения.

В соответствии с другим аспектом настоящей технологии, предусмотрено устройство обработки информации, включающее в себя: модуль анализа, выполненный с возможностью анализа метаданных, включающих в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и использования для подачи потока битов всего изображения, и подачи потока битов частичного изображения, и для получения информации частичного изображения; модуль выбора, выполненный с возможностью выбора потока битов требуемого частичного изображения, используя информацию частичного изображения, полученную модулем анализа; и модуль получения потока битов, выполненный с возможностью получения потока битов, выбранного модулем выбора.

Информация частичного изображения может включать в себя информацию о положении, обозначающую положение частичного изображения во всем изображении.

Информация о положении может обозначать положение верхней левой части частичного изображения.

Модуль анализа может анализировать метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений, во взаимно разных наборах адаптации (AdaptationSet), и потоки битов множества частичных изображений назначают для взаимно разных наборов адаптации.

Модуль анализа может анализировать метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений во взаимно разных наборах адаптации (AdaptationSet), и множество файлов, для которых один поток битов, включающий в себя множество частичных изображений, разделен для каждого частичного изображения, назначают для взаимных наборов адаптации.

Модуль анализа может анализировать метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений во взаимно разных вспомогательных представлениях (Sub-Representation), принадлежащих одному представлению (Representation), принадлежащему одному набору адаптации (AdaptationSet), и потоки битов множества частичных изображений назначают для взаимно разных вспомогательных представлений.

Информация частичного изображения может включать в себя информацию, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation).

Каждый из потоков битов множества частичных изображений может быть сохранен в TRACK одного файла МР4.

Метаданные могут включать в себя информацию, обозначающую местоположение данных одного файла МР4.

Информация частичного изображения может дополнительно включать в себя информацию, относящуюся к размеру всего изображения.

Информация частичного изображения может дополнительно включать в себя информацию идентификации группы, идентифицирующую группу, которая представляет собой группу, которой принадлежат частичные изображения, и которая представляет собой группу частичных изображений, которые могут быть отображены, как одно изображение.

Устройство обработки информации может дополнительно включать в себя модуль декодирования, выполненный с возможностью декодирования потока битов, полученного модулем получения потока битов.

Устройство обработки информации может дополнительно включать в себя модуль обработки комбинации экрана, выполненный с возможностью генерирования данных изображения всего изображения из данных изображения частичного изображения, полученного с помощью модуля декодирования, декодирующего поток битов.

Информация частичного изображения может включать в себя информацию, обозначающую количество частичных изображений, формирующих все изображение, информацию идентификации, обозначающую, что размеры частичных изображений равны, и информацию, обозначающую положение и размер каждого частичного изображения, когда размеры частичных изображений не равны между собой.

В соответствии с другим аспектом настоящей технологией, предусмотрен способ обработки информации, включающий в себя: анализируют метаданные, включающие в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и используемую для подачи потока битов всего изображения, и подают поток битов частичного изображения, и получают информацию частичного изображения; выбирают поток битов требуемого частичного изображения, используя полученную информацию частичного изображения; и получают выбранный поток битов.

В соответствии с аспектом настоящей технологии генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и метаданные, предназначенные для использования, для подачи потока битов всего изображения, и генерируют подачу потока битов частичного изображения, используя сгенерированную информацию частичного изображения.

В соответствии с другим аспектом настоящей технологии,

анализируют метаданные, метаданные, включающие в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения и используется для подачи потока битов всего изображения, и подачи потока битов частичного изображения, и получения информации частичного изображения; выбирают поток битов требуемого частичного изображения, используя полученную информацию частичного изображения; и получают выбранный поток битов.

Полезные результаты изобретения

В соответствии с вариантом осуществления настоящего раскрытия, информация может быть обработана. В частности, возможно адаптивно подавать данные частичных изображений.

Краткое описание чертежей

На фиг. 1 показана схема для описания общего обзора MPEG-DASH.

На фиг. 2 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 3 показана схема для описания временного разделения содержания.

На фиг. 4 представлена схема, иллюстрирующая пример многоуровневой структуры ниже периода в MPD.

На фиг. 5 показана схема для описания примера конфигурации файла MPD на оси времени.

На фиг. 6 представлена схема, иллюстрирующая примеры потоков битов элементов мозаичного изображения.

На фиг. 7 показана схема для описания примеров файлов МР4 элементов мозаичного изображения.

На фиг. 8 показана схема для описания других примеров файлов МР4 элементов мозаичного изображения.

На фиг. 9 показана схема для описания примеров размеров деления.

На фиг. 10 показана схема для описания примера расширенных данных.

На фиг. 11 представлена блок-схема, поясняющая пример основной конфигурации системы подачи.

На фиг. 12 представлена блок-схема, поясняющая пример основной конфигурации устройства генерирования данных доставки.

На фиг. 13 представлена блок-схема, поясняющая пример основной конфигурации устройства терминала.

На фиг. 14 представлена блок-схема последовательности операций для описания примера потока обработки генерирования данных доставки.

На фиг. 15 представлена блок-схема последовательности операций для описания примера потока обработки генерирования файла типа MPD элемента мозаичного изображения.

На фиг. 16 представлена блок-схема последовательности операций для описания примера потока подачи обработки воспроизведения данных.

На фиг. 17 представлена схема, иллюстрирующая пример способа удлинения MPD.

На фиг. 18 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 19 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 20 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 21 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 22 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 23 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 24 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 25 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 26 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 27 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 28 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 29 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 30 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 31 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 32 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 33 представлена схема, иллюстрирующая пример расширенного MPD.

На фиг. 34 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 35 представлена схема, иллюстрирующая пример приложения, использующего доставку элемента мозаичного изображения.

На фиг. 36 представлена схема, иллюстрирующая другой пример приложения, использующего доставку элемента мозаичного изображения.

На фиг. 37 представлена схема, иллюстрирующая другой пример приложения, использующего доставку элемента мозаичного изображения.

На фиг. 38 представлена схема, иллюстрирующая пример способа расширения MPD.

На фиг. 39 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 40 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 41 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 42 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 43 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 44 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 45 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 46 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 47 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 48 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 49 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 50 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 51 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 52 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 53 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 54 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 55 показана схема для описания примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 56 представлена схема, иллюстрирующая пример конфигурации MPD.

На фиг. 57 показана блок-схема, поясняющая пример основной конфигурации компьютера.

На фиг. 58 представлена схема, иллюстрирующая пример схемы кодирования многообзорного изображения.

На фиг. 59 представлена схема, иллюстрирующая пример конфигурации устройства кодирования многообзорного изображения.

На фиг. 60 представлена схема, иллюстрирующая пример конфигурации устройства декодирования многообзорного изображения.

На фиг. 61 представлена схема, иллюстрирующая пример многоуровневой схемы кодирования изображения.

На фиг. 62 показана схема для описания примера пространственного масштабируемого кодирования.

На фиг. 63 показана схема для описания примера временного масштабируемого кодирования.

На фиг. 64 показана схема для описания примера масштабируемого кодирования по отношению сигнал-шум.

На фиг. 65 представлена схема, иллюстрирующая пример конфигурации многоуровневого устройства кодирования изображения.

На фиг. 66 представлена схема, иллюстрирующая пример конфигурации многоуровневого устройства декодирования изображения.

На фиг. 67 представлена блок-схема, поясняющая пример схематической конфигурации телевизионного устройства.

На фиг. 68 представлена блок-схема, поясняющая пример схематической конфигурации мобильного телефона.

На фиг. 69 представлена блок-схема, поясняющая пример схематической конфигурации видеонабора.

На фиг. 70 представлена блок-схема, поясняющая пример схематической конфигурации видеопроцессора.

На фиг. 71 представлена блок-схема, поясняющая другой пример схематической конфигурации видеопроцессора.

Осуществление изобретения

Ниже будут описаны режимы (ниже называются вариантами осуществления) для выполнения настоящего раскрытия. Описание будет представлено в следующем порядке,

1. Первый вариант осуществления (расширение MPD)

2. Второй вариант осуществления (система доставки)

3. Третий вариант осуществления (конкретный пример расширения MPD)

4. Четвертый вариант осуществления (другой пример расширения MPD)

5. Пятый вариант осуществления (файл МР4 и другой пример расширения MPD)

6. Шестой вариант осуществления (компьютер)

7. Седьмой вариант осуществления (устройство кодирования многовидового изображения и устройство декодирования многовидового изображения)

8. Восьмой вариант осуществления (устройство кодирования многоуровневого изображения и устройство декодирования многоуровневого изображения)

9. Девятый вариант осуществления (примеры применения)

10. Десятый вариант осуществления (набор, модуль, блок и процессор)

1. Первый вариант осуществления

DASH

Обычно, в качестве технологии доставки содержания, используя Протокол передачи гипертекста (HTTP), используют динамическую адаптивную потоковую передачу Группы экспертов движущегося изображения через HTTP (MPEG-DASH), как описано в Непатентной литературе 1. В MPEG-DASH используется технология потоковой передачи с адаптивной скоростью передачи битов (ABS), в которой множество частей кодированных данных, в которых одинаковое содержание с разными скоростями битов, содержится в сервере содержания, и клиент выбирает и воспроизводит одну часть кодированных данных среди множества частей кодированных данных в соответствии с полосой пропускания сети.

Процедура передачи содержания с использованием DASH будет описана со ссылкой на фиг. 1. Вначале, в терминале воспроизведения движущегося изображения на стороне, получающей содержание, программное обеспечение для управления данными потоковой передачи выбирает файл описания представления среды (MPD) требуемого содержания и получает файл MPD с веб-сервера. MPD представляет собой метаданные для администрирования содержанием, такие как движущееся изображение или звук, для доставки.

Когда получают MPD, программное обеспечение для управления потоковой передачей данных терминала воспроизведения движущегося изображения анализирует MPD и выполняет управление таким образом, что данные (сегмент DASH) требуемого содержания, соответствующего качеству линии передачи данных, рабочим характеристикам терминала воспроизведения движущегося изображения и т.п. получают из веб-сервера. Программное обеспечение - клиент для HTTP обращается к полученному сегменту DASH, используя HTTP из веб-сервера под управлением. Содержание, полученное таким образом, воспроизводят с помощью программного обеспечения воспроизведения движущегося изображения.

MPD имеет, например, конфигурацию, представленную на фиг. 2. При анализе (парсинге) MPD клиент выбирает оптимальное представление из атрибутов представлений (Representation), включенных в периоды (Period) MPD (Представление среды на фиг. 2).

Клиент считывает начальный сегмент (Segment) выбранного представления (Representation) для получения и обработки сегмента инициализации (Initialization Segment). Затем клиент получает и воспроизводит последующие сегменты (Segment).

Взаимосвязь между периодом (Period), представлением (Representation), и сегментом (Segment) в MPD представлена на фиг. 3. Таким образом, одной частью мультимедийного содержания можно администрировать в течение каждого периода (Period), который представляет собой модуль данных в направлении времени, и каждым периодом (Period) можно администрировать для каждого сегмента (Segment), который представляет собой модуль данных в направлении времени. В течение каждого периода (Period) может быть сконфигурировано множество представлений (Representation) с разными атрибутами, такими как скорости передачи битов.

В соответствии с этим, файл MPD (также называемый файлом MPD) имеет многоуровневую структуру, представленную на фиг. 4 ниже периода (Period). Когда структура MPD размещена на оси времени, MPD имеет структуру, представленную в примере на фиг. 5. Для того же сегмента (Segment) присутствует множество представлений (Representation), как можно видеть в примере на фиг. 5. Клиент может получать соответствующие потоковые данные, в соответствии со средой передачи данных, способностью декодирования клиента и т.п. путем адаптивного выбора любого из представлений для воспроизведения потоковых данных.

Мозаичная структура

В DASH предшествующего уровня техники доставкой данных всего изображения управляют адаптивно, но был рассмотрен выбор частичного изображения, которое представляет собой часть изображения, вместо всего изображения, и его адаптивная доставка. Например, была рассмотрена доставка частичного изображения, которое представляет собой часть, выбранную из всего изображения на стороне терминала, принимающего данные изображения, или управление размером частичного изображения, которое должно быть доставлено в соответствии с рабочей характеристикой терминала (например, возможность обработки CPU и т.п. или размеры дисплея), путь передачи, ситуация с нагрузкой сервера и т.п.

Для выполнения адаптивной доставки частичного изображения использовали концепцию элемента мозаичного изображения (Tile). Элемент мозаичного изображения (Tile) представляет собой частичную область, полученную путем разделения всего изображение в заранее определенной компоновке (размер, форма, количество и т.п.). Ниже изображение одного элемента мозаичного изображения называется элементом мозаичного изображения. Когда все изображение заранее разделено на элементы мозаичного изображения, таким образом, адаптивная доставка частичного изображения может быть упрощена просто путем выбора изображения элемента мозаичного изображения, предназначенного для доставки. В таком случае частичное изображение конфигурируют по одному изображению элемента мозаичного изображения или по множеству элементов мозаичного изображения.

Когда частичное изображение поставляют, используя HTTP, как DASH, данные изображения кодируют, и поток битов данных изображения подают для доставки (публикуют, как файл). Когда все изображение имеет описанную выше структуру элемента мозаичного изображения, данные изображения кодируют независимо для каждого изображения элемента мозаичного изображения. В это время, как в примере, представленном на фиг. 6А, каждая часть кодированных данных каждого элемента мозаичного изображения может быть сконфигурирована в одном потоке битов.

В примере на фиг. 6А все изображение с размером 640×480, все изображение с размером 1980×1080, и каждый из элементов мозаичного изображения (четыре частичных изображения) с размером 960×540, полученных путем разделения всего изображения на два в вертикальном и горизонтальном направлениях, подготавливают, как изображения для доставки. Данные всего изображения размером 640×480 кодируют и рассматривают, как один поток битов (bitstream1), и данные всего изображения с размером 1980×1080 также кодируют и рассматривают, как один поток битов (bitstream2). В дополнение к этим данным данные каждого элемента мозаичного изображения с размером 960×540 независимо кодируют и рассматривают, один поток битов (от bitstream3 до bitstream6).

В каждом потоке битов добавляют информацию заголовка, такую как набор видеопараметров (VPS), набор параметра последовательности (SPS), дополнительная информация расширения (SEI) и набор параметров изображения (PPS), и поток битов данных изображения размещают для каждого среза (Slice).

Путем установки такой структуры, элемент мозаичного изображения, предназначенный для доставки, можно выбрать путем выбора потока битов, предназначенного для доставки, выбранного из потока от bitstream3 до bitstream6. В случае примера на фиг. 6А, каждый элемент мозаичного изображения может быть доставлен, как все изображение.

В частности, например, в схеме кодирования, такой как высокоэффективное кодирование видеоданных (HEVC), поддерживается структура, называемая элементом мозаичного изображения (Tile), на которые разделено все изображение, и, таким образом, кодирование может быть независимо выполнено для каждого элемента мозаичного изображения. Например, декодирование может быть выполнено таким образом, что получают только изображение некоторых из элементов мозаичного изображения. Таким образом, декодирование может быть выполнено таким образом, что получают только частичное изображение, которое представляет собой часть всего изображения.

Как и в примере, представленном на фиг. 6В, кодированные данные множества элементов мозаичного изображения также могут быть выполнены, как один поток битов (bitstream7), используя функцию такой схемы кодирования. Таким образом, в этом случае, когда элементы мозаичного изображения (Tile) для доставки, описанные выше, обрабатывают, как элементы мозаичного изображения (Tile), поддерживаемые схемой кодирования, предназначенной для кодирования. В этом случае, в потоке битов, данные элементов мозаичного изображения размещены, как срезы (Slice).

Файл МР4

Как описано выше, поток битов для доставки подают, в соответствии, например, с форматом файла МР4. В этом случае поток битов каждого элемента мозаичного изображения может быть установлен, как отдельный файл, как в случае, представленном на фиг. 7. Потоком битов каждого элемента мозаичного изображения администрируют в модулях, называемых треками (Track). Кроме того, информацию заголовка (Header), относящуюся к каждому элементу мозаичного изображения и основному треку (Base Track), в которой описана ссылка на каждый трек, предусматривают и подают, как файл, отдельный от потока битов каждого элемента мозаичного изображения. Когда декодированы все элементы мозаичного изображения, воспроизводят основной трек. Когда каждый элемент мозаичного изображения декодирован, выполняют ссылку на основной трек в информации заголовка.

Как в примере, представленном на фиг. 8, потоки битов элементов мозаичного изображения также могут быть собраны и сконфигурированы в одном файле. В это время данные элементов мозаичного изображения также могут быть собраны, и ими можно администрировать в одном треке, как на фиг. 8А, и элементами мозаичного изображения также можно администрировать, как взаимно разными треками, как на фиг. 8В. В этом случае, как и в случае на фиг. 7, предусмотрена информация заголовка (Header), относящаяся к каждому элементу мозаичного изображения и основному треку (Base Track), в котором описана ссылка на каждый трек.

Способ разделения

Элементы мозаичного изображения (Tile) могут представлять собой элементы мозаичного изображения, полученные путем, взаимного разделения всего изображения, как в примере на фиг. 9А, или могут представлять собой элементы мозаичного изображения, полученные путем неравноценного разделения всего изображения, как в примере на фиг. 9В. Таким образом, размеры изображения для элементов мозаичного изображения, формирующих все изображение, могут быть одинаковыми или могут отличаться друг от друга.

Приложение

В качестве примера приложения, в котором используется такая структура мозаичного изображения (Tile), например, можно рассмотреть вариант приложения с управлением размером частичного изображения, предназначенного для отображения.

Предполагается, что все изображение 10, представленное на фиг. 9А, должно быть разделено на элементы мозаичного изображения и разделено на множество 11 элементов мозаичного изображения с одинаковым размером. Например, когда изображение отображают в мобильном устройстве 21 с дисплеем малого размера, приложение отображает частичные изображения 12, которые представляют собой изображения из 4 элементов мозаичного изображения размером 2×2. Например, когда изображение отображается в приемнике 22 телевизионного сигнала (TV) с дисплеем большого размера, приложение отображает частичные изображения 13, которые представляют собой изображения 30 элементов мозаичного изображения размером 6×5. Таким образом, рассматривается приложение, управляющее размерами изображения частичных изображений, отображаемых в соответствии с рабочей характеристикой и т.п. терминала, отображающего изображение.

В случае примера на фиг. 9В, размеры изображения для элемента мозаичного изображения являются неодинаковыми. Приложение может отображать изображение с разрешением HD путем отображения изображения элемента 3 (Tile 3) мозаичного изображения, может отображать изображение с разрешением кинофильма, путем отображения изображений от элемента 2 (Tile 2) мозаичного изображения до элемента 4 (Tile 4), и может дополнительно отображать изображение с дополнительно расширенным размером (ЕХТ) путем отображения изображения элемента 1 (Tile 1) мозаичного изображения до элемента 5 (Tile5) мозаичного изображения. Таким образом, рассматривается приложение, управляющее разрешением или соотношением размеров отображаемого изображения, путем управления размерами изображения частичных изображений, предназначенных для отображения.

Поскольку нет необходимости доставлять изображение ненужной части, которая не будет отображаться путем адаптивного управления размерами частичных изображений, предназначенных для доставки (путем управления количеством изображений мозаичного изображения, предназначенного для доставки), как описано выше, в соответствии с размерами изображения частичного изображения, предназначенного для отображения в таком приложении, нагрузкой на сервер, терминалом, путем передачи и т.п. можно адаптивно управлять, и, таким образом, возможно предотвращать увеличение ненужной нагрузки.

Адаптивная подача элементов мозаичного изображения

Однако стандарт MPEG-DASH предшествующего уровня техники относится только к концепции переключения скоростей передачи битов (Bitrates), и не относится к выбору любого частичного изображения или подачи данных, выполняемых, используя структуры мозаичного изображения, описанные выше, то есть может быть выполняться адаптивная подача данных частичных изображений.

В соответствии с этим, генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к частичному изображению, которая представляет собой часть всего изображения, как расширенные данные MPD, и генерируют расширенный MPD, который расширяют так, чтобы он включал в себя метаданные, используемые для подачи потока битов всего изображения и подачи потока битов частичного изображения, то есть информацию частичного изображения генерируют, используя сгенерированную информацию частичного изображения.

Частичное изображение, предназначенное для подачи, может представлять собой любое частичное изображение, если только это частичное изображение представляет собой часть всего изображения, и форма, размер и т.д. являются произвольными. Например, частичное изображение может представлять собой часть, которая может быть кодирована независимо от других частей. Ниже, однако, для улучшения описания, предполагается, что частичное изображение представляет собой изображение в единицах элементов мозаичного изображения, описанных выше. Таким образом, предполагается, что частичное изображение формируется изображением одного элемента мозаичного изображения или множества элементов мозаичного изображения.

MPD имеет многоуровневую структуру, например, уровни набора адаптации (AdaptationSet), представления (Representation), вспомогательного представления (Sub-Representation) и подсегмента (Sub-Segment). Любой из этих уровней может быть расширен.

Например, описание для элемента мозаичного изображения (Tile) определено, используя элемент типа дескриптора (элемент DescriptorType) MPD. Например, описание для элемента мозаичного изображения, называемого точкой обзора (Viewpoint), определено, как показано на фиг. 10А.

Точка обзора представляет собой элемент, который присутствует в наборе адаптации (AdaptationSet). Точка обзора представляет собой описание, которое определяет, каким является обзор. Например, точка обзора определяет, представляет ли обзор правое (R) изображение или левое (L) изображение стереоизображения.

Таким образом, когда набор адаптации расширяют, используется элемент предшествующего уровня техники (расширенный). В результате использования элемента предшествующего уровня техники, возможно предотвращать снижение сходства с MPD предшествующего уровня техники (возможно предотвращать увеличение описания, которое не может быть проанализировано декодером предшествующего уровня техники). С другой стороны, когда расширяют представление (Representation) или вспомогательное представление (Sub-Representation), определяется новый элемент.

В элементе точки обзора, описанном выше, определена схема (schemeIdUri) для сохранения информации частичного изображения. В случае примера на фиг. 10А (urn:mpeg:DASH:tile:2013), определен как схема для элемента мозаичного изображения. Расширение схемы выполняют, когда расширяют любой из набора адаптации, представления и вспомогательного представления.

Кроме того, определяют значения схемы (urn:mpeg:DASH:tile:2013) для нового элемента мозаичного изображения. В значениях определена представленная выше информация частичного изображения. Например, тип обзора ((1) viewtype), обозначающий, что изображение, обозначенное элементом, представляет собой информацию ((2) ширина и высота всего изображения), относящиеся к размеру всего изображения, информацию ((3) координата x и координата у изображения, обозначенного элементом), обозначающие положения частичного изображения во всем изображении, и информацию идентификации группы ((4) TilegroupID), обозначающий группу, которой принадлежит информация частичного изображения, и которая представляет собой группу частичных изображений, которые могут отображаться, как одно изображение, определены как значения.

Тип обзора (viewtype) представляет собой информацию, обозначающую, например, представляет ли собой изображение элемент мозаичного изображения, как представлено на фиг. 10В. Например, значение, когда предполагают, что изображение представляет собой все изображение, должно быть равно "0", значение, когда изображение представляет собой элемент мозаичного изображения, и поток битов разделяют для каждого элемента мозаичного изображения, как в примере на фиг. 6А, предполагается, равно "1", и значение, в котором изображение представляет собой элемент мозаичного изображения, и данные всех элементов мозаичного изображения собраны в одном потоке битов, как в примере на фиг. 6В, предполагается равным "2". Эти значения и состояния (определение значений), обозначенные значениями, определяют заранее. Конечно, способ определения этих значений является произвольным, и можно использовать другой пример, кроме этого примера. При ссылке на эти значения, возможно легко понять, следует ли обращаться к другому элементу (то есть присутствует ли другой элемент мозаичного изображения). В частности, когда изображение представляет собой все изображение, возможно легко понять, что нет необходимости обращаться к другому элементу просто путем ссылки на это значение.

Информация (ширина и высота всего изображения), относящаяся к размеру всего изображения, представляет собой информацию, обозначающую размер (горизонтальная ширина и высота) изображения, в котором все элементы мозаичного изображения, принадлежащие той же группе, что и изображение (элемент мозаичного изображения), объединены, как представлено на фиг. 10В. В случае MPD предшествующего уровня техники предполагается, что размеры изображений потоков битов являются такими же, как и размер отображаемого изображения. Когда подают частичные изображения, как описано выше, размеры изображений потоков битов в некоторых случаях отличаются от размера отображаемого изображения. Например, когда множество элементов мозаичного изображения взаимно разных потоков битов объединяют для отображения, размер отображаемого изображения в некоторых случаях может быть большим, чем размеры изображений потоков битов. Для того, чтобы решать такие проблемы в таких случаях, обозначают размер изображения, в котором объединены все элементы мозаичного изображения, принадлежащие той же группе, что и изображение (элементы мозаичного изображения). Таким образом, путем ссылки на это значение, возможно легко понять максимальную нагрузку при обработке, когда декодируют все элементы мозаичного изображения, принадлежащие той же группе изображений (элементы мозаичного изображения). В случае примера на фиг. 10В, размер (1920×1080) изображения, в котором объединены изображения 4 (2×2) элементов мозаичного изображения с размером 960×540, обозначен, как информация, относящаяся к размеру всего изображения.

Информация (координата x и координата у изображения, обозначенного элементом), обозначающая положения частичного изображения во всем изображении, представляет собой информацию, обозначающую, где расположено изображение, где объединены все элементы мозаичного изображения, принадлежащие одной группе, как изображение (элемент мозаичного изображения), как представлено на фиг. 10В. Выражение положения (каким значением обозначено) является произвольным. Например, положение может быть выражено координатами верхней левой части изображения. Например, положение может быть выражено другой частью информации, такой как идентификационная информация, относящаяся к элементу мозаичного изображения, или координатами другого местоположения, чем верхняя левая часть. Обращаясь к этому значению, становится возможным легко понять положение изображения, когда изображения (элементы мозаичного изображения) объединены (скомбинированы). Таким образом, при ссылке на это значение каждого элемента мозаичного изображения для объединения (комбинирования), возможно легко понять, как каждый элемент мозаичного изображения расположен и объединен (скомбинирован).

Информация идентификации группы (TilegroupID) представляет собой информацию идентификации, обозначающую группу элементов мозаичного изображения, которой принадлежит данное изображение, как представлено на фиг. 10В. То же значение может быть назначено для элементов мозаичных изображений той же группы. В отличие от этого, другие значения могут быть назначены для соответствующих групп. В случае примера, показанного на фиг. 10В, поскольку могут быть объединены элементы мозаичного изображения для элемента мозаичного изображения от элемента 1 мозаичного изображения (Tile 1) до элемента 4 мозаичного изображения (Tile 4), то же значение может быть назначено, как информации идентификации группы для всех элементов мозаичного изображения. Ссылаясь на это значение, становится возможным легко понять, какие изображения мозаичного изображения могут быть объединены (скомбинированы). Другими словами, возможно легко идентифицировать другие элементы мозаичного изображения, которые должны быть объединены (скомбинированы) с изображением во время отображения.

Информация идентификации группы (TilegroupID) может быть определена не как значение точки обзора, но как атрибут другого элемента, например, следующим образом.

<AdaptationSet mimeType="video/mp4" group="1">

В наборе адаптации атрибут, называемый группой, уже присутствует. В представленном выше примере значение может быть назначено, как набор (Tilegroup) элементов мозаичного изображения (Tile) для группы.

<Representation mimeType="video/mp4" group="1">

С другой стороны, атрибут, называемый группой, не присутствует в представлении или вспомогательном представлении. Таким образом, когда представление или вспомогательное представление расширяют, устанавливают новый атрибут, называемый (группой).

Описанный выше способ расширения также может применяться, когда поток битов заполняют (в частности, заполнение МР4), как в примере на фиг. 7 или 8. В этом случае, поскольку информацию заголовка и т.п. потока битов, назначаемую для других треков, назначают для основного трека (Base Track), информация о положении, относящаяся к сегментам, является ненужной. По этой причине, в описании (точке обзора), соответствующем основному треку, значение, которое не является фактическими координатами, может быть определено, как информация, относящаяся к положению изображения. Например, может быть установлено NULL, пустое пространство и т.п. Например, существенно большие значения или отрицательные значения могут быть установлены, как координаты. Конечно, идентификация (флаг и т.п.), обозначающая основной трек, может быть предусмотрена отдельно.

В случае MPD предшествующего уровня техники, сегменты (Segment) не обязательно присутствуют под представлением (Representation). Таким образом, URL файла МР4 описан в сегментах непосредственно под представлением. Вспомогательное представление (Sub-Representation) представляет собой, например, информацию, которая используется только для воспроизведения со спецэффектом или музыки, и обозначает данные части в файле МР4 сегмента, непосредственно под представлением.

Когда MPD расширяют таким образом, что информация частичного изображения может быть включена, MPD может быть расширено таким образом, что сегменты присутствуют под вспомогательным представлением (Sub-Representation). Таким образом, элемент мозаичного изображения может быть назначен для вспомогательного представления таким образом, что можно сделать ссылку на URL файла МР4.

Более конкретно, теги URL основания (<BaseURL>), сегмент основания (<SegmentBase>), список последовательности сегмента (<SegmentList>), шаблон сегмента (<SegmentTemplate>) и т.п. дополнительно определены во вспомогательном представлении.

В этом случае, однако, необходимо сгенерировать информацию сегмента, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation), как информация частичного изображения, и сохранять информацию сегмента в MPD. Например, флаг (@SegmentInSubRepresentation: true или false), обозначающий, присутствует или нет информация, относящаяся к потоку битов под вспомогательным представлением, определена, как информация сегмента.

Таким образом, представление можно сконфигурировать, используя вспомогательные представления множества элементов мозаичного изображения. В результате реализации такой структуры, возможно разделение от представлений предшествующего уровня техники.

В случае MPD предшествующего уровня техники, сегмент (Segment) выражает концепцию времени и, таким образом, сегментам одного и того же времени не разрешено присутствовать в одном представлении (Representation).

Когда MPD расширено так, что информация частичного изображения, включена, MPD может быть расширено таким образом, что множество сегментов одного времени могут присутствовать в одном представлении, путем назначения элементов мозаичных изображений для сегментов.

В этом случае, однако, необходимо сгенерировать многосегментную информацию, обозначающую, что множество сегментов, которым назначают элементы мозаичного изображения одного и того же времени, присутствует, как информация частичного изображения под представлением, и сохранять многосегментную информацию в MPD. Например, флаг (@multiSegmentInRepresentation: true или false), обозначающий, присутствует или нет множество частей информации, относящейся к потокам битов для одного и того же времени под представлением, определен, как информация множества сегментов.

Таким образом, возможно разделение от сегментов предшествующего уровня техники.

Сегмент в предшествующем уровне техники может быть обозначен только в модулях доступа (AU), но подсегмент (Sub-Segment), назначающий блок ssix, растянутый так, что могут быть обозначены данные в модулях элементов мозаичного изображения, может быть определен под сегментом, в котором назначают файл МР4, содержащий поток битов изображения одного элемента мозаичного изображения или множества элементов мозаичного изображения. Таким образом, под сегментом, для которого назначен файл МР4, может присутствовать один подсегмент или множество подсегментов, включающих в себя ssix, обозначающий элемент мозаичного изображения, соответствующий сегменту из файла МР4.

Таким образом, может быть выражен модуль, меньший, чем выборка в подсегменте.

С этой целью, необходимо разрешить, чтобы информация сегмента была false (@SegmentInSubRepresentation = false) и определить точку обзора (Viewpoint) в сегменте для включения. Таким образом, из двух частей информации возможно понять, что элемент мозаичного изображения выражен в соответствии с подсегментом (что файл МР4 расширен).

Специализированная информация флага может быть определена отдельно для разъяснения того, что элемент мозаичного изображения выражен в соответствии с подсегментом (что файл МР4 расширен).

Информация частичного изображения не ограничена описанными выше примерами, но может использоваться любая информация частичного изображения. Например, в значениях, может быть определена другая информация, чем информация (тип обзора ((1) viewtype), информация ((2) ширина и высота всего изображения), относящаяся к размеру всего изображения, информация ((3) координата x и y координата изображения, обозначенного элементом), обозначающая положения частичного изображения всего изображения, и информация идентификации группы ((4) TilegroupID), обозначающая группу, которой принадлежит частичное изображение, и которая представляет собой группу частичных изображений, отображаемую, как одно изображение), обозначенная в описанном выше примере. Кроме того, другая информация о флаге, чем описанная выше информация флага, может быть определена, как частичная информация.

Путем генерирования информации частичного изображения, как описано выше, и расширения MPD (метаданных), используя информацию частичного изображения, возможно реализовать адаптивную подачу данных частичного изображения, используя метаданные.

2. Второй вариант осуществления

Система доставки

Далее будет описано устройство, реализующее описанную выше настоящую технологию, и его способ. На фиг. 11 представлена схема, иллюстрирующая систему доставки, которая представляет собой вид системы, в которой применяется настоящая технология. Система 100 доставки, показанная на фиг. 11, представляет собой систему, которая может адаптивно доставлять данные частичного изображения, которые представляют собой часть всего изображения.

Как показано на фиг. 11, система 100 доставки включает в себя устройство 101 генерирования данных доставки, сервер 102 доставки и устройство 103 терминала.

Устройство 101 генерирования данных доставки генерирует, например, файлы содержания, такие как данные изображения и аудиоданные, подаваемые сервером 102 доставки, и файлы MPD для этих файлов, и подает файлы содержания и файлы MPD в сервер 102 доставки. Сервер 102 доставки публикует файлы содержания и файлы MPD, подаваемые из устройства 101 генерирования данных доставки, в сети 104, и выполняет адаптивную доставку частичных изображений.

Устройство 103 терминала обращается к серверу 102 доставки через сеть 104 и получает файл MPD требуемого содержания, опубликованного сервером 102 доставки.

Устройство 103 терминала обращается к серверу 102 доставки через сеть 104, в соответствии с файлом MPD, адаптивно выбирает соответствующий файл содержания, соответствующий файлу MPD, и получает файл содержания, в соответствии с протоколом HTTP. Устройство 103 терминала воспроизводит полученный файл содержания.

Устройство генерирования данных доставки

На фиг. 12 показана блок-схема, иллюстрирующая пример основной конфигурации устройства 101 генерирования данных доставки. Как представлено на фиг. 12, устройство 101 генерирования данных доставки включает в себя модуль 121 обработки разделения экрана, модуль 122 кодирования изображения, модуль 123 генерирования файла, модуль 124 генерирования информации изображения типа элемента мозаичного изображения, модуль 125 генерирования MPD, и модуль 126 обработки загрузки на сервер.

Модуль 121 обработки разделения экрана редактирует (обрабатывает) данные изображения, подаваемые извне, для разделения всего изображения данных изображения для каждого элемента мозаичного изображения, и генерирует данные элементов мозаичного изображения. Модуль 121 обработки разделения экрана подает данные изображения каждого элемента мозаичного изображения, сгенерированного таким образом, в модуль 122 кодирования изображения. Модуль 121 обработки разделения экрана подает, например, информацию, относящуюся к структуре элемента мозаичного изображения, такую как размер, положение и т.п. каждого элемента мозаичного изображения в модуль 124 генерирования информации изображения типа элемента мозаичного изображения.

Модуль 122 кодирования изображения кодирует данные изображения каждого элемента мозаичного изображения, подаваемого из модуля 121 обработки разделения экрана, для генерирования потока битов. Как представлено на фиг. 12, модуль 122 кодирования изображения включает в себя множество модулей обработки кодирования, таких как модуль 131 обработки кодирования, модуль 132 обработки кодирования, модуль 133 обработки кодирования и т.д., и может параллельно кодировать данные изображения каждого элемента мозаичного изображения из переданных элементов мозаичного изображения. Как описано со ссылкой на фиг. 6 и т.п., модуль 122 кодирования изображения может генерировать любое количество потоков битов из одной части данных изображения. Модуль 122 кодирования изображения также может собирать множество частей данных изображения в один поток битов. Например, модуль 122 кодирования изображения также может генерировать поток битов для каждого изображения элемента мозаичного изображения и также может собирать множество элементов мозаичного изображения в один поток битов. Модуль 122 кодирования изображения подает сгенерированный поток битов в модуль 123 генерирования файла.

Способ кодирования модуля 122 кодирования изображения является произвольным. Модули обработки кодирования выполняют такой же способ кодирования или могут выполнять взаимно другие способы кодирования.

Модуль 123 генерирования файла формирует файлы из подаваемого потока битов, в соответствии с заданным форматом, таким как формат файла МР4, для генерирования файла содержания. Как описано со ссылкой на фиг. 7 и 8 и т.п., модуль 123 генерирования файла может формировать файл из одного потока битов, получая любое количество файлов. Модуль 123 генерирования файла может также собирать множество потоков битов в один файл. Модуль 123 генерирования файла подает сгенерированный файл содержания в модуль 125 генерирования MPD. Модуль 123 генерирования файла подает информацию, относящуюся к формированию файлов, такую как, формировать файл из каждого потока битов, в модуль 124 генерирования информации изображения типа элемента мозаичного изображения.

Модуль 123 генерирования файла может выполнять формирование файла в соответствии с любым форматом.

Модуль 124 генерирования информации изображения типа элемента мозаичного изображения генерирует информацию изображения типа элемента мозаичного изображения (то есть информацию частичного изображения) для соответствия MPD, для структуры элемента мозаичного изображения на основе информации, относящейся к структуре элемента мозаичного изображения, подаваемой из модуля 121 обработки разделения экрана, информации, относящейся к формированию файлов, подаваемых из модуля 123 генерирования файла, и т.п. Информация изображении типа элемента мозаичного изображения (информация частичного изображения) представляет собой информацию, включающую в себя содержание, описанное в первом варианте осуществления, и ее генерируют, как, например, значения точек обзора или информацию флага. Модуль 124 генерирования информации изображения типа элемента мозаичного изображения подает сгенерированную информацию изображения типа элемента мозаичного изображения в модуль 125 генерирования MPD.

Модуль 125 генерирования MPD генерирует MPD в отношении файла содержания, подаваемого из модуля 123 генерирования файла, расширяет MPD, используя информацию типа изображения элемента мозаичного изображения (информация частичного изображения), подаваемую из модуля 124 генерирования информации изображения типа элемента мозаичного изображения, и генерирует MPD типа элемента мозаичного изображения, соответствующее структуре элемента мозаичного изображения. Модуль 125 генерирования MPD подает файл (файл MPD), сгенерированное MPD типа элемента мозаичного изображения, и файл содержания в модуль 126 обработки загрузки на сервер.

Модуль 126 обработки загрузки на сервер загружает подаваемый файл MPD или файл содержания на сервер 102 доставки (фиг. 11) для публикации файла MPD или файла содержания.

Таким образом, устройство 101 генерирования данных доставки генерирует MPD типа элемента мозаичного изображения, соответствующее структуре элемента мозаичного изображения, и, таким образом, сервер 102 доставки может адаптивно доставлять данные частичных изображений, которые основаны на стандарте DASH. Таким образом, система 100 доставки может реализовать адаптивную доставку данных частичных изображений.

Описанные выше модули обработки могут быть сконфигурированы, как независимые устройства. В частности, модуль 124 генерирования информации изображения типа элемента мозаичного изображения или модуль 125 генерирования MPD могут быть сконфигурированы, как независимые устройства. Таким образом, конфигурация, относящаяся к генерированию файла содержания, не является обязательной, и может быть выполнено только генерирование информации изображения типа элемента мозаичного изображения (информация частичного изображения). Например, информация изображения типа элемента мозаичного изображения (информация частичного изображения) также может быть сгенерирована на основе информации, подаваемой из другого устройства. Например, сгенерированная информация изображения типа элемента мозаичного изображения (информация частичного изображения) может быть подана в другое устройство.

Может быть выполнено только генерирование MPD типа элемента мозаичного изображения. Например, MPD типа элемента мозаичного изображения, соответствующее файлу содержания, сгенерированному в другом устройстве, может быть сгенерировано, используя информацию изображения типа элемента мозаичного изображения (информация частичного изображения) поданную из другого устройства. Сгенерированный файл MPD также может быть передан в другое устройство.

Как и в модуле 141 генерирования MPD типа элемента мозаичного изображения, могут быть интегрированы модуль 124 генерирования информации изображения типа мозаичного изображения и модуль 125 генерирования MPD. Например, модуль 141 генерирования MPD типа элемента мозаичного изображения может быть выполнен как одно независимое устройство.

Устройство терминала

На фиг. 13 показана блок-схема, иллюстрирующая пример основной конфигурации устройства 103 терминала. Как представлено на фиг. 13, устройство 103 терминала включает в себя модуль 151 получения MPD, модуль 152 обработки анализа, модуль 153 выбора элемента мозаичного изображения, модуль 154 получения файла, модуль 155 декодирования изображения, модуль 156 комбинации изображения элемента мозаичного изображения и модуль 157 дисплея.

Модуль 151 получения MPD получает файл MPD требуемого содержания из сервера 102 доставки через сеть 104, на основе, например, инструкция программы управления или пользователя устройства 103 терминала. Модуль 151 получения MPD подает полученный MPD в модуль 152 обработки анализа.

Модуль 152 обработки анализа анализирует (выполняет парсинг) переданного файла MPD. Модуль 152 обработки анализа также анализирует (выполняет парсинг) информации изображения типа элемента мозаичного изображения (информация частичного изображения), включенной в файл MPD. Модуль 152 обработки анализа подает результат анализа в модуль 153 выбора изображения элемента мозаичного изображения.

Когда модуль 153 выбора элемента мозаичного изображения получает информацию обозначения элемента мозаичного изображения, которую подают снаружи и используют для обозначения частичного изображения (изображение, формируемое из одного изображения элемента мозаичного изображения или из множества изображений элемента мозаичных изображений) для воспроизведения, модуль 153 выбора элемента мозаичного изображения выбирает элемент мозаичного изображения, обозначенный информацией обозначения элемента мозаичного изображения среди элементов мозаичных изображений, включенных в информацию изображения типа мозаичного изображения на основе результата анализа файла MPD (информация изображения типа элемента мозаичного изображения) в модуле 152 обработки анализа. Модуль 153 выбора изображения элемента мозаичного изображения подает URL (адрес доставки) файла выбранного элемента мозаичного изображения в модуль 154 получения файла.

Модуль 154 получения файла обращается по адресу доставки в сервер 102 доставки, полученному из модуля 153 выбора элемента мозаичного изображения через сеть 104 для получения требуемого файла содержания. Модуль 154 получения файла получает поток битов из полученного файла содержания и подает этот поток битов в модуль 155 декодирования изображения.

Модуль 155 декодирования изображения декодирует поток битов, подаваемый из модуля 154 получения файла, для получения данных изображения элемента мозаичного изображения. Как представлено на фиг. 13, модуль 155 декодирования изображения включает в себя множество модулей обработки декодирования, таких как модуль 161 обработки декодирования, модуль 162 обработки декодирования, модуль 163 обработки декодирования и т.д., и может параллельно декодировать множество подаваемых потоков битов. Модуль 155 декодирования изображения подает данные изображения элемента мозаичного изображения, полученного путем декодирования потока битов, в модуль 156 комбинации изображения элемента мозаичного изображения.

Модуль 155 декодирования изображения может выполнять декодирование, в соответствии с любым способом декодирования, который соответствует способу кодирования модуля 122 кодирования изображения. В соответствии с этим, каждый модуль обработки декодирования также может выполнять декодирование в соответствии с тем же способом или может также выполнять декодирование, в соответствии с взаимно разными способами.

Когда данные изображения множества элементов мозаичного изображения, принадлежащих одной и той же группе, подают из модуля 155 декодирования изображения, модуль 156 комбинации элемента мозаичного изображения комбинирует (объединяет) элементы мозаичного изображения и комбинирует данные изображения таким образом, что формируется одно изображение. Таким образом, модуль 156 комбинирования изображения элемента мозаичного изображения генерирует данные изображения для изображения для отображения. Когда изображения не комбинируют (например, когда отображается один элемент мозаичного изображения или когда множество элемента мозаичного изображения уже сформировано, как один поток битов во время доставки), подаваемые изображения рассматриваются, как изображения для отображения. Модуль 156 комбинирования изображения элемента мозаичного изображения подает данные изображения для отображения в модуль 157 дисплея.

Модуль 157 дисплея воспроизводит переданные данные изображения для отображения и отображает изображение для отображения на дисплее.

Как описано выше, устройство 103 терминала может правильно анализировать MPD типа элемента мозаичного изображения, соответствующее структуре элемента мозаичного изображения, и может получать адаптивную доставку (подачу) данных частичного изображения с использованием сервера 102 доставки, который основан на стандарте DASH. Таким образом, данные частичного изображения могут быть правильно получены из сервера 102 доставки и могут быть воспроизведены. Таким образом, система 100 доставки позволяет реализовать адаптивную подачу данных частичного изображения.

Как описано выше, устройство 103 терминала может отображать изображение с другим размером изображения, чем размер изображения во время доставки. Таким образом, устройство 103 терминала может более адаптивно управлять доставкой данных, в соответствии с ситуацией с нагрузкой и т.п. сервера 102 доставки или сети 104. Например, поскольку можно управлять, следует ли получать все изображение или получать элемент мозаичного изображения, количество получаемых файлов содержания может быть соответствующим образом увеличено или уменьшено, без изменения размера отображаемого изображения. Поэтому возможно соответствующим образом выполнять управление, такое как распределение или концентрация источника или пути доставки.

Описанные выше модули обработки могут быть сконфигурированы, как независимые устройства. В частности, модуль 152 обработки анализа или модуль 153 выбора элемента мозаичного изображения могут быть сконфигурированы, как независимые устройства. Таким образом, конфигурация, относящаяся к получению или воспроизведению (декодированию) файла содержания, не является обязательной, и может быть выполнен только анализ MPD типа элемента мозаичного изображения или информация изображения типа элемента мозаичного изображения (информация частичного изображения). Например, может быть проанализирован файл MPD, полученный из сервера 102 доставки другим устройством. Например, результат анализа может быть подан в другое устройство.

Как и в модуле 171 обработки информации изображения типа элемента мозаичного изображения, могут быть интегрированы модуль 152 обработки анализа и модуль 153 выбора изображения элемента мозаичного изображения. Например, модуль 171 обработки информации изображения типа элемента мозаичного изображения может быть выполнен как одно независимое устройство.

Данные изображения для вывода с отображением из модуля 156 комбинации элемента мозаичного изображения могут быть поданы в другое устройство или могут быть записаны на носителе записи. В это время данные изображения могут быть кодированы.

Поток обработки генерирования данных доставки

Далее будет описан поток каждой обработки, выполняемой каждым устройством 100 системы доставки, описанной выше. Вначале, со ссылкой на блок-схему последовательности операций на фиг. 14, будет описан пример потока обработки генерирования данных доставки, выполняемый устройством 101 генерирования данных доставки.

Когда начинается обработка генерирования данных доставки, модуль 121 обработки разделения экрана устройства 101 генерирования данных доставки редактирует (обрабатывает) данные изображения таким образом, что экран (то есть полное изображение) разделяют на элементы мозаичного изображения, на этапе S101.

На этапе S102 модуль 122 кодирования изображения кодирует данные изображения каждого элемента мозаичного изображения, сгенерированного на этапе S101.

На этапе S103 модуль 123 генерирования файла формирует файл кодированных данных (поток битов), сгенерированных на этапе S102 (то есть генерирует файл содержания).

На этапе S104 модуль 141 генерирования MPD типа элемента мозаичного изображения генерирует файл MPD типа элемента мозаичного изображения, в соответствии с результатом обработки, таким как разделение этапа S101 или формирование файла на этапе S103.

На этапе S105 модуль 126 обработки загрузки на сервер выполняет выгрузку файла MPD и файла содержания, сгенерированных, таким образом, в сервер 102 доставки.

Когда обработка на этапе S105 заканчивается, обработка генерирования данных доставки заканчивается.

Поток обработки генерирования файла MPD типа элемента мозаичного изображения

Далее, со ссылкой на блок-схему последовательности операций, на фиг. 15, будет описан пример потока обработки генерирования файла MPD типа элемента мозаичного изображения, выполняемого на этапе S104, на фиг. 14.

Когда начинается обработка генерирования файла MPD типа элемента мозаичного изображения, модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает схему (например, urn:mpeg:DASH:tile:2013) информации изображения типа элемента мозаичного изображения, например, в элементе viewpoint на этапе S121.

На этапе S122 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает тип обзора (viewtype) в значении схемы, как информацию изображения типа элемента мозаичного изображения.

На этапе S123 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает размер (ширину и высоту) всего изображения в значении схемы, как информацию изображения типа элемента мозаичного изображения.

На этапе S124 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает положение (x и y) для элемента мозаичного изображения в значении схемы, как информацию изображения типа элемента мозаичного изображения.

На этапе S125 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает информацию идентификации группы (TilegroupID) в значении схемы, как информацию изображения типа элемента мозаичного изображения.

На этапе S126 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает информацию сегмента (@SegmentInSubRepresentation), в соответствии с необходимостью, как информацию изображения типа элемента мозаичного изображения. Например, когда MPD расширено таким образом, что сегмент присутствует под вспомогательным представлением (Sub-Representation), модуль 124 генерирования информации изображения типа элемента мозаичного изображения генерирует информацию сегмента, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation).

На этапе S127 модуль 124 генерирования информации изображения типа элемента мозаичного изображения устанавливает многосегментную информацию (@multiSegmentInRepresentation), в соответствии с необходимостью, как информацию изображения типа элемента мозаичного изображения. Например, когда элементы мозаичного изображения назначают для сегментов, и MPD расширяют так, что множество сегментов одного и того же времени присутствует в одном представлении, модуль 124 генерирования информации изображения типа элемента мозаичного изображения генерирует много сегментную информацию, обозначающую, что множество сегментов, для которых назначены элементы мозаичного изображения для одного времени, присутствуют под представлением.

Когда обработка на этапе S127 заканчивается, обработка генерирования файла MPD типа элемента мозаичного изображения заканчивается, и обработка возвращается на фиг. 14.

В результате выполнения описанной выше обработки, устройство 101 генерирования данных доставки может обеспечить возможность для сервера 102 доставки адаптивно доставлять (подавать) данные частичных изображений, которые основаны на стандарте DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичных изображений.

Поток обработки воспроизведения данных доставки

Далее, со ссылкой на блок-схему последовательности операций на фиг. 16, будет описан пример потока обработки воспроизведения данных доставки, выполняемой устройством 103 терминала.

Когда начинается обработка воспроизведения данных доставки, модуль 151 получения MPD получает файл MPD, соответствующий требуемому содержанию, из сервера 102 доставки на этапе S141.

На этапе S142 модуль 152 обработки анализа анализирует (выполняет парсинг) файла MPD, полученного на этапе S141.

На этапе S143 модуль 152 обработки анализа анализирует (выполняет парсинг) информации изображения типа элемента мозаичного изображения (информация частичного изображения), включенной в файл MPD.

На этапе S144 модуль 153 выбора элемента мозаичного изображения выбирает элементы мозаичного изображения, обозначенные информацией обозначения элемента мозаичного изображения, подаваемой извне среди элементов мозаичного изображения, обозначенных в информации изображения типа элемента мозаичного изображения.

На этапе S145 модуль 154 получения файла получает файл элементов мозаичного изображения, выбранных на этапе S144.

На этапе S146 модуль 155 декодирования изображения декодирует поток битов для элементов мозаичного изображения, включенных в файл, полученный на этапе S145.

На этапе S147 модуль 156 комбинирования элемента мозаичного изображения редактирует (обрабатывает) данные изображения для элементов мозаичного изображения, полученных путем декодирования потока битов на этапе S146 таким образом, что элементы мозаичного изображения комбинируют, в соответствии с необходимостью.

На этапе S148 модуль 157 дисплея отображает на дисплее изображение для отображения, такое как комбинированное изображение элементов мозаичного изображения, полученных на этапе S147.

Когда обработка на этапе S148 заканчивается, обработка воспроизведения данных доставки заканчивается.

Как описано выше, в результате выполнения обработки воспроизведения данных доставки, устройство 103 терминала может правильно анализировать MPD типа элемента мозаичного изображения, соответствующего структуре элемента мозаичного изображения, и может выполнять адаптивную доставку (подачу) данных частичного изображения сервером 102 доставки, который основан на стандарте DASH. Таким образом, данные частичного изображения могут быть правильно получены из сервера 102 доставки и могут быть воспроизведены. Таким образом, возможно реализовать адаптивную подачу данных частичного изображения.

Описанная выше адаптивная доставка (подача) частичных изображений может использоваться вместе с доставкой (подачей) всего изображения. Таким образом, например, сервер может адаптивно доставлять все изображение или любое частичное изображение, в соответствии с запросом и т.п., поступающим из терминала.

3. Третий вариант осуществления

Конкретный пример расширения MPD

Далее будет описан конкретный пример способа расширения MPD.

Пример 1

Основной пример конфигурации расширенного MPD представлен на фиг. 17. В случае примера на фиг. 17, кодированные данные каждого элемента мозаичного изображения данных изображения, предназначенных для доставки, конфигурируют в одном потоке битов (файл МР4) (от bitstream3.mp4 до bitstrearn6.mp4). В MPD, набор адаптации (AdaptationSet) расширен, и поток битов (файл МР4) каждого элемента мозаичного изображения определен во взаимно разных наборах адаптации. Точка обзора (viewpoint), которая представляет собой описание элемента мозаичного изображения, определена в наборе адаптации, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment), в соответствии с представлением (Representation), в соответствии с набором адаптации.

Таким образом, информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной и той же группе, сохраняют во взаимно разных наборах адаптации, и потоки битов множества частичных изображений назначают для взаимно разных наборов адаптации.

В случае этого примера, как представлено на фиг. 17, могут быть предоставлены наборы адаптации элементов мозаичного изображения, расположенные в наборах адаптации всех изображений (bitstream1.mp4 и bitstream2.mp4), и, таким образом, доставкой всех изображений и адаптивной доставкой частичных изображений можно управлять единым образом.

В DASH предшествующего уровня техники, например, изображения с разным отображаемым содержанием, такие как изображения R и L стереоизображения, во многих случаях определены во взаимно разных наборах адаптации. В этом примере элементы мозаичного изображения определены во взаимно разных наборах адаптации, при имитации такого подхода. Поэтому, даже при управлении доставкой частичных изображений, возможно реализовать естественный способ, близкий к предшествующему уровню техники. Поэтому это может способствовать развитию.

В примере на фиг. 17, полные изображения с разным разрешением определены в одном и том же наборе адаптации, но эти полные изображения могут быть определены во взаимно разных наборах адаптации.

Конкретный пример описания MPD в данном примере представлен на фиг. 18.

Пример 2

Другой пример конфигурации расширенного MPD представлен на фиг. 19. В случае примера на фиг. 19, все кодированные данные элементов мозаичного изображения для данных изображения, предназначенных для доставки, сконфигурированы в одном потоке битов (МР4) (от bitstream3.mp4 до bitstream6.mp4). В MPD, набор адаптации (AdaptationSet) расширен, и поток битов (файл МР4) каждого элемента мозаичного изображения определен в наборе адаптации, отличном от набора адаптации, в котором определено полное изображение. Однако, в отличие от случая <Примера 1>, потоки битов (файлы МР4) элемента мозаичного изображения определены в одном и том же наборе адаптации.

Точка обзора (viewpoint), которая представляет собой описание элемента мозаичного изображения, определена в представлении (Representation), в соответствии с набором адаптации, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment) в соответствии с представлением.

Таким образом, информация частичного изображения, относящаяся к множеству частичных изображений, принадлежащих одной и той же группе, сохранена во взаимно разных представлениях, принадлежащих одному набору адаптации метаданных, и потоки битов множества частичных изображений назначены для взаимно разных представлений.

В случае этого примера, как представлено на фиг. 19, могут быть предусмотрены наборы адаптации элементов мозаичного изображения, расположенных в наборе адаптации полных изображений, и, таким образом, доставкой полных изображений и адаптивной доставкой частичного изображения можно управлять единым образом.

В примере на фиг. 19 полные изображения (bitstream1.mp4 и bitstream2.mp4) с разными разрешениями определены в одном и том же наборе адаптации, но эти полные изображения могут быть определены во взаимно разных наборах адаптации.

Пример 3

Другой пример конфигурации расширенного MPD представлен на фиг. 20. В случае примера на фиг. 20, кодированные данные элементов мозаичного изображения данных изображения, предназначенных для доставки, собирают в одном потоке битов. Поток битов сформирован, как файл МР4 для каждого элемента мозаичного изображения (от bitstream7_Tile1.mp4 до bitstream7_Tile4.mp4). Как описано со ссылкой на фиг. 7, основной трек, в котором собирается информация заголовка и т.п. для элементов мозаичного изображения, подают отдельно от потоков битов из элементов мозаичного изображения (bitstream7_base.mp4).

В MPD набор адаптации (AdaptationSet) расширен, и потоки битов (файлы МР4) (от bitstream7_Tile1.mp4 до bitstream7_Tile4.mp4) из элемента мозаичного изображения определены во взаимно разных наборах адаптации.

Точка обзора (Точка обзора), которая представляет собой описание для элемента мозаичного изображения, определена в наборе адаптации, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment) в соответствии с представлением (Representation), в соответствии с набором адаптации.

В координатах x и y, определенных в значении точки обзора потока битов (файл МР4) (bitstream7_base.mp4) основного трека, как описано в первом варианте осуществления, очевидно, установлены другие значения, такие как NULL и т.п., чем нормальные координаты. В значении типа обзора, определенном в значении каждой точки обзора, установлено значение ("2", в случае примера на фиг. 20), обозначающее элемент мозаичного изображения (Tile), в котором поддерживается схема кодирования такая, как HEVC, и т.п.

Таким образом, информация частичного изображения, относящаяся к множеству частичных изображений, принадлежащих одной и той же группе, сохранена во взаимно разных наборах адаптации метаданных, и множество файлов, для которых один поток битов, включающий в себя множество частичных изображений, разделен для каждого частичного изображения, назначено для взаимно разных наборов адаптации.

Конкретный пример описания MPD этого примера представлен на фиг. 21.

Пример 4

Другой пример конфигурации расширенного MPD представлен на фиг. 22. В случае примера на фиг. 22, способ расширения будет таким же, как и в случае <Примера 3>. Элементы мозаичного изображения установлены таким образом, что их размеры неравны, как представлено на фиг. 22 (соответствуют фиг. 9В). В этом случае, изображение с требуемым размером может быть получено путем добавления элементов мозаичного изображения, как показано четырехугольниками.

В случае этого примера каждая часть кодированных данных каждого элемента мозаичного изображения данных изображения, которые должны быть доставлены, сконфигурирована в одном потоке битов (файл МР4) (от tile1.mp4 до tile5.mp4). Поэтому здесь отсутствует основной трек, как в <Примере 3>.

Таким образом, дополнительно генерируется информация частичного изображения, относящаяся к информации управления, включенной в поток битов, информация частичного изображения, относящаяся к информации управления, сохранена в другом наборе адаптации, чем информация частичного изображения, относящаяся к каждому частичному изображению, и файл информации управления назначен для набора адаптации.

Пример 5

Другой пример конфигурации расширенного MPD представлен на фиг. 23. В случае примера на фиг. 23, каждая часть кодированных данных каждого элемента мозаичного изображения данных изображения, предназначенных для доставки, сконфигурирована в одном потоке битов (файл МР4) (от bitstream3.mp4 до bitstream6.mp4). В MPD представление (Representation) расширено, и потоки битов (файлы МР4) элемента мозаичного изображения определены во взаимно разных представлениях, в соответствии с одним набором адаптации, как потоки битов (файлы МР4) (от bitstream1.mp4 до bitstream2.mp4) полных изображений.

Точка обзора (Viewpoint), которая представляет собой описание для элемента мозаичного изображения, определена в представлении, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment), в соответствии с представлением.

Таким образом, информация частичного изображения, относящаяся к множеству частичных изображений, принадлежащих одной и той же группе, сохранена во взаимно разных представлениях, принадлежащих одному и тому же набору адаптации полных изображений метаданных, и потоки битов множества частичных изображений назначены для взаимно разных представлений.

Таким образом, в случае этого примера, как представлено на фиг. 23, могут быть предоставлены представления элемента мозаичного изображения, расположенных в представлениях полных изображений (от bitstream1.mp4 до bitstream2.mp4), и, таким образом, доставкой всех изображений и адаптивной доставкой частичных изображений можно управлять единым образом.

Конкретный пример описания MPD в этом примере представлен на фиг. 24.

Пример 6

Другой пример конфигурации расширенного MPD представлен на фиг. 25. В случае примера на фиг. 25, кодированные данные элементов мозаичного изображения данных изображения, предназначенных для доставки, собирают в одном потоке битов. Поток битов подают, как файл МР4 для каждого элемента мозаичного изображения (от bitstream7_Tile1.mp4 до bitstream7_Tile4.mp4). Как описано со ссылкой на фиг. 7, основной трек, в котором собрана информация заголовка и т.п. элементов мозаичного изображения, подают отдельно от потоков битов элементов мозаичного изображения (bitstream7_base.mp4).

В MPD представление (Representation) расширено, и потоки битов (файлы МР4) (от bitstream7_Tile1.mp4 до bitstreams7_Tile4.mp4) элемента мозаичного изображения определены во взаимно разных представлениях, в соответствии с одинаковыми наборами адаптации.

Точка обзора (Viewpoint), которая представляет собой описание элемента мозаичного изображения, определена в представлении, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment), в соответствии с представлением.

В координатах x и y, определенных в значении точки обзора потока битов (файл МР4) (bitstream7_base.mp4) основного трека, как описано в первом варианте осуществления, очевидно, установлены значения, отличающиеся от нормальных координат, такие как NULL и т.п. В значении типа вида, определенного в значении каждой точки обзора, установлено значение ("2", в случае примера фиг. 25), обозначающее элемент мозаичного изображения (Tile), в котором поддерживается схема кодирования, такая как HEVC и т.п.

Таким образом, дополнительно сгенерирована информация частичного изображения, относящаяся к информации управления, включенной в один поток битов, включающий в себя множество частичных изображений, принадлежащих одной и той же группе, информация частичного изображения, относящаяся к множеству частичных изображения, сохранена во взаимно разных представлениях, принадлежащих одному набору адаптации метаданных, множество файлов, для которых поток битов разделен для каждого частичного изображения, назначено для взаимно разных представлений, информация частичного изображения, относящегося к информации управления, сохранена в других представлениях, чем информация частичного изображения в отношении каждого частичного изображения, и файл информации управления назначен для представления. Конкретный пример описания MPD в данном примере представлен на фиг. 26.

Пример 7

Другой пример конфигурации расширенного MPD представлен на фиг. 27. В случае примера на фиг. 27, каждая часть кодированных данных каждого элемента мозаичного изображения данных изображения, которые должны быть доставлены, сконфигурирована в одном потоке битов (файл МР4) (от bitstream3.mp4 до bitstream6.mp4). В MPD вспомогательное представление (Sub-Representation) расширено, и потоки битов (файлы МР4) элемента мозаичного изображения определены во взаимно разных вспомогательных представлениях, в соответствии с тем же набором адаптации, что и у потоков битов (файлы МР4) (bitstream1.mp4 и bitstream2.mp4) полных изображений, и в соответствии с другими представлениями, чем потоки битов (файлы МР4) полных изображений.

Точка обзора (Viewpoint), которая представляет собой описание для элемента мозаичного изображения, определена во вспомогательном представлении, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующий точке обзора, установлен в сегменте (Segment), в соответствии со вспомогательным представлением.

В представлении, в котором определен поток битов (файл МР4) каждого элемента мозаичного изображения, определена информация сегмента (@SegmentInSubRepresentation = true), обозначающая, что присутствует информация, относящаяся к потоку битов, в соответствии со вспомогательным представлением.

Таким образом, информация частичного изображения, относящаяся к множеству частичных изображений, принадлежащих одной и той же группе, содержится во взаимно разных вспомогательных представлениях, принадлежащих одному представлению, принадлежащему одному набору адаптации метаданных, и потоки битов множества частичных изображения назначены для взаимно разных вспомогательных представлений.

Таким образом, в случае этого примера, как представлено на фиг. 27, могут быть предоставлены представления элемента мозаичных изображений, расположенных с представлениями полных изображений (bitstream1.mp4 и bitstream2.mp4), и, таким образом, доставкой полных изображений и адаптивной доставкой частичных изображений можно управлять единым образом.

Конкретный пример описания MPD в данном примере представлен на фиг. 28.

Пример 8

Другой пример конфигурации расширенного MPD представлен на фиг. 29. В случае примера на фиг. 29, кодированные данные элементов мозаичных изображений данных изображения, предназначенных для доставки, собирают в один поток битов. Поток битов подают, как файл МР4 для каждого элемента мозаичного изображения (от bitstream7_Tile1.mp4 до bitstream7_Tile4.mp4). Как описано со ссылкой на фиг. 7, основной трек, в котором собрана информация заголовка и т.п. элементов мозаичного изображения, подают отдельно от потоков битов элементов мозаичного изображения (bitstream7_base.mp4).

В MPD вспомогательное представление (Sub-Representation) расширяют, и потоки битов (файлы МР4) (от bitstream7_Tile1.mp4 до bitstream7_Tile4.mp4) элемента мозаичного изображения определяют во взаимно разных вспомогательных представлениях, в соответствии с одним представлением (Representation), в соответствии с одним набором адаптации (AdaptationSet).

Точка обзора (Viewpoint), которая представляет собой описание для элемента мозаичного изображения, определена во вспомогательном представлении, и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в сегменте (Segment), в соответствии со вспомогательным представлением.

Точка обзора основного трека определена в представлении, над вспомогательным представлением, и URL потока битов (файл МР4) (bitstream7_base.mp4) основного трека установлены в сегменте под представлением. В представлении, в котором определен поток битов (файл МР4) каждого элемента мозаичного изображения, определена информация сегмента (@SegmentInSubRepresentation = true), обозначающая, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением. Кроме того, информация сегмента (@SegmentInSubRepresentation = true), обозначающая, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением, может быть определена с помощью другого составляющего элемента (например, AdaptationSet) MPD, представленного на фиг. 4.

В координатах x и y, определенных в значении точки обзора потока битов (файл МР4) (bitstream7_base.mp4) в основном треке, как описано в первом варианте осуществления, очевидно, установлены значения, такие как NULL и т.п., отличающиеся от нормальных координат. В значении типа обзора, определенном в значении каждой точки обзора, установлено значение ("2", в случае примера на фиг. 29), обозначающее элемент мозаичного изображения (Tile), в котором поддерживается схема кодирования, такая как HEVC и т.п.

Таким образом, дополнительно генерируется информация частичного изображения, относящаяся к информации управления, включенной в один поток битов, включающая в себя множество частичных изображений, принадлежащих одной группе, и информация сегмента, обозначающая, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation), информацию сегмента и информацию частичного изображения информации управления сохраняют в одном представлении, принадлежащем одному набору адаптации метаданных, файл информации управления назначают для представления, информацию частичного изображения, относящуюся к множеству частичных изображений, сохраняют во взаимно разных вспомогательных представлениях, принадлежащих представлению, и множество файлов, в которых поток битов разделен для каждого частичного изображения, назначают для взаимно разных вспомогательных представлений.

Конкретный пример описания MPD в этом примере представлен на фиг. 30.

Пример 9

Другой пример конфигурации расширенного MPD представлен на фиг. 31. В случае примера на фиг. 31, кодированные данные элементов мозаичного изображения данных изображения, предназначенных для доставки, собирают в один поток битов. Поток битов подают, как один файл МР4, как в примере на фиг. 8 (bitstream7.mp4).

В MPD вспомогательное представление (Sub-Representation) расширяют и поток битов (файл МР4) (bitstream7.mp4) элемента мозаичного изображения определяют в соответствии с представлением (Representation) под набором адаптации (AdaptationSet). В представлении, выше вспомогательного представления, определена точка обзора (Viewpoint), соответствующая потоку битов (файл МР4) (bitstream7.mp4) элемента мозаичного изображения, и дополнительно определена информация сегмента (@SegmentInSubRepresentation = true), обозначающая, что присутствует информация, относящаяся к потоку битов под вспомогательным представлением.

Во вспомогательном представлении под представлением установлена точка обзора каждого элемента мозаичного изображения, и местоположение данных каждого элемента мозаичного изображения в (bitstream7.mp4) обозначено байтом в сегменте под представлением.

Таким образом, дополнительно генерируют информацию сегмента, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением, и информацию частичного изображения информации управления, включенной в один поток битов, включающий в себя множество частичных изображений, принадлежащих одной группе, информацию частичного изображения информации управления и информацию сегментов сохраняют в одном представлении, принадлежащем одному набору адаптации метаданных, поток битов назначают для представления, информацию частичного изображения, относящуюся к множеству частичных изображений, сохраняют во взаимно различных вспомогательных представлениях, принадлежащих представлению, и информацию, обозначающую местоположение данных частичных изображений в потоке битов, назначают для взаимно разных вспомогательных представлений.

Пример 10

Другой пример конфигурации расширенного MPD представлен на фиг. 32. В случае примера на фиг. 32, кодированные данные элементов мозаичного изображения данных изображения, предназначенных для доставки, конфигурируют в один поток битов (файл МР4) (от bitstream3.mp4 до bitstream6.mp4). В MPD сегменты (Segment) расширяют и множество сегментов (Segment) определяют, в соответствии с представлениями, в соответствии с наборами адаптации.

В представлении определена точка обзора комбинированного изображения всех элементов мозаичного изображения, и многосегментная информация (@multiSegmentInRepresentation = true), обозначающая, что присутствует множество сегментов, для которых назначены элементы мозаичного изображения для одного и того же времени, определена под представлением. Кроме того, информация сегмента (@SegmentInSubRepresentation = true), обозначающая, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением, может быть определена с помощью другого составляющего элемента (например, AdaptationSet) MPD, показанного на фиг. 4.

Потоки битов (файлы МР4) элементов мозаичного изображения определены во взаимно разных сегментах под другими представлениями, чем потоки битов (файлы МР4) полных изображений и под тем же набором адаптации, что и потоки битов (файлы МР4) (bitstream1.mp4 и bitstream2.mp4) полных изображений.

Точка обзора (Viewpoint), которая представляет собой описание для элемента мозаичного изображения, определена в сегменте (Segment), и URL потока битов (файл МР4) элемента мозаичного изображения, соответствующего точке обзора, установлен в каждом сегменте (Segment).

Таким образом, генерируют многосегментную информацию, обозначающую, что множество частей информации, относящихся к потокам битов для одного времени, присутствует под представлением, дополнительно, многосегментную информацию сохраняют в одном представлении, принадлежащем одному набору адаптации метаданных, информацию частичного изображения, относящуюся к множеству частичных изображения, принадлежащих к одной группе, сохраняют на взаимно разных сегментах, принадлежащих представлению, и потоки битов множества частичных изображений назначают для взаимно разных сегментов.

Таким образом, как показано на фиг. 32, в случае этого примера, может быть предоставлено представление изображения элемента мозаичного изображения, расположенного с представлениями полных изображений (bitstream1.mp4 и bitstream2.mp4), и, таким образом, доставкой полных изображений и адаптивной доставкой частичных изображения можно управлять единым образом.

Конкретный пример описания MPD в этом примере представлен на фиг. 33.

Пример 11

Другой пример конфигурации расширенного MPD показан на фиг. 34. В случае примера на фиг. 34, кодированные данные элементов мозаичного изображения данных изображения, предназначенных для доставки, совместно конфигурируют в один поток битов (файл МР4) (bitstream7.mp4). В MPD подсегменты (Sub-Segment) расширяют, и множество подсегментов (Sub-Segment) определены под сегментом, под представлением под набором адаптации.

В представлении определена информация сегментов (@SegmentInSubRepresentation = false), обозначающая, что информация, относящаяся к потоку битов, не присутствует под вспомогательным представлением.

На сегменте определена точка обзора комбинированного изображения всех элементов мозаичного изображения, и данные каждого элемента мозаичного изображения показаны в соответствии с ssix в подсегменте под сегментом.

Таким образом, дополнительно генерируют информацию сегмента, обозначающую, что информация, относящаяся к потоку битов, не присутствует под вспомогательным представлением, и информацию частичного изображения, относящуюся к одному потоку битов, включающую в себя множество частичных изображений, принадлежащих одной группе, информацию сегментов сохраняют в одном представлении, принадлежащем одному набору адаптации метаданных, информацию частичного изображения сохраняют в одном сегменте, принадлежащем представлению, поток битов назначают для сегмента, и информацию, обозначающую местоположение данных каждого частичного изображения в потоке битов, назначают для взаимно разных подсегментов, принадлежащих сегменту.

Конечно, способ расширения MPD является произвольным, и можно использовать другие способы, чем описанные выше способы.

Другой пример приложения, использующего доставку мозаичного изображения

Далее будет описан другой пример приложения, использующего адаптивную доставку (подачу) элементов мозаичного изображения, описанных выше.

Например, в системе, показанной с левой стороны на фиг. 35, предполагается, что мобильное устройство 221 получает частичное изображение 212 с размером 1920×1080, сформированное из четырех элементов 211 мозаичного изображения полного изображения 210, из сервера 220, используя линии 3G, и воспроизводит частичное изображение 212.

Для переключения отображения в приемнике 222 телевизионного сигнала (TV), информацию, относящуюся к среде воспроизведения (ширина полосы пропускания сети), возможностям воспроизведения (разрешение и возможности декодера) и т.п. TV 222 места назначения переключения получают из TV 222. Способ получения информации является произвольным. Например, мобильное устройство 221 может получать информацию путем выполнения прямого обмена данными с TV 222. В качестве альтернативы, мобильное устройство 221 может получать информацию через сервер 220.

Мобильное устройство 221 выбирает оптимальные элементы мозаичного изображения для TV 222, представляющего собой место назначения переключения из информации, относящейся к MPD. В случае примера на фиг. 35, выбирают частичное изображение 213, сформированное элементами 211 мозаичного изображения размером 5×5.

TV 222, представляющий собой место назначения переключения, получает поток битов элементов мозаичного изображения, выбранных таким образом, и воспроизводит поток битов.

Описанный выше выбор или получение оптимального потока может выполняться мобильным устройством 221, которое подносят к TV 222, представляющему собой место назначения переключения, или такой выбор или получение может быть выполнено TV 222.

Другой пример приложения, используя доставку мозаичного изображения

Например, в системе, показанной с левой стороны на фиг. 36, предполагается, что мобильное устройство 221 воспроизводит часть всего изображения (состояние 221А мобильного устройства).

Для воспроизведения другой области путем сдвига области во время воспроизведения, пользователь мобильного устройства 221 выполняет сдвиг области своим пальцем на сенсорной панели, для перемещения изображения (как обозначено стрелкой 233) таким образом, что направление, требуемое для воспроизведения, отображается на экране. Например, когда пользователь желает отобразить верхнюю правую область (частичное изображение 232) отображаемой в настоящее время области (частичное изображение 231), как обозначено стрелкой 234, пользователь перемещает свой палец в направлении вниз и влево из положения вверху справа на экране.

Когда выполняется такой ввод пользователем, мобильное устройство 221 рассчитывает место назначения движения изображения на основе входного движения пальцем и т.п., и выбирает поток элементов мозаичного изображения, предназначенный для отображения информации, относящейся к MPD.

Затем мобильное устройство 221 получает выбранный поток битов из сервера 220 и выполняет воспроизведение, и отображение (состояния 221В мобильного устройства).

Выбор элемента мозаичного изображения может быть выполнен с помощью приложения, выполняемого в мобильном устройстве 221, или направление места назначения движения изображения, полученного при движении пальцем, может быть передано в сервер 220, и изображения могут быть выбраны сервером 220.

Для фактического перемещения изображения, область отображения может переключаться резко, или область отображения может постепенно сдвигаться и переключаться для выполнения плавного переключения.

4. Четвертый вариант осуществления

Другой пример расширения MPD

На фиг. 37 показана схема, иллюстрирующая другие примеры приложения, в котором используется доставка элемента мозаичного изображения.

Для того, чтобы обеспечить для пользователя возможность выбора любимых программ из программ множества каналов широковещательной передачи и т.п., например, генерируют меню путем кодирования изображений множества каналов, как одно изображение (HD). Комбинированное изображение, скомбинированное таким образом, что в нем размещены такие разные изображения, определено, как мозаичное видеоизображение.

Например, в случае устройств, имеющих большие дисплеи, как в приемниках телевизионного сигнала, пользователи могут легко понять содержание каждой программы по мозаичному видеоизображению, в котором скомбинированы программы всех каналов, могут выбирать требуемую программу и выполнять отображение программы.

Однако, в случае мобильных устройств, дисплеи мобильных устройств являются малыми, и, таким образом, могут отображать только изображения с малыми размерами изображения (низким разрешением), такие как изображения HD или ниже. Таким образом, только изображения с разрешением 1920×1080 могут быть доставлены в такие мобильные устройства.

Однако, при таких малых размерах изображений, области, в которых отображается программа каждого канала мозаичного видео, будут слишком малыми, и, таким образом, пользователям трудно понять содержание каждой программы по такому мозаичному видеоизображению и выбрать требуемую программу.

В соответствии с этим, когда применяется технология для адаптивной подачи данных частичного изображения, как описано выше, и пользователь выбирает и выполняет увеличение в местоположении, в котором отображена программа, в которой он или она заинтересован, в мозаичном видеоизображении, изображение конфигурируют с возможностью переключения на другое изображение HD, в котором отображаются изображения меньшего количества программ. Пользователь может легко отображать только требуемую программу путем повторения такого увеличения изображения (переключение изображения).

В случае примера на фиг. 37, предполагается, что элементы мозаичного изображения с диапазоном, обозначенным эллипсом, будут получены и будут отображаться мобильным устройством. В крайнем левом мозаичном изображении может отображаться все мозаичное видеоизображение. В это время отображаются изображения программ, соответствующие 16 каналам. В этом состоянии области (от А до Р) отображения программ являются слишком малыми, и, таким образом, пользователю трудно выбрать требуемую программу. В соответствии с этим, когда пользователь выполняет выбор, например, постукивая по верхнему левому участку, подаваемый файл (поток битов) переключают, и верхний левый элемент мозаичного изображения с размером изображения 1920×1080 в мозаичном изображении отображается, как показано в средней части на фиг. 37. В элементе мозаичного изображения отображаются 4 программы (А, В, Ε и F). Таким образом, количество отображаемых программ уменьшено, и область отображения на каждую программу расширена.

Кроме того, когда пользователь выполняет выбор, например, путем постукивания по верхнему левому участку мозаичного видеоизображения, доставляемый файл (поток битов) переключают, и верхний левый элемент мозаичного изображения с размером изображения 1920×1080 в мозаичном видеоизображении отображают, как представлено с правой стороны на фиг. 37. В элементе мозаичного изображения отображается 1 программа (А). Таким образом, количество отображаемых программ дополнительно уменьшается, и область отображения на каждую программу расширяется.

Переключение доставляемых данных, описанное выше, реализуется путем расширения стандарта DASH, как описано выше. Таким образом, например, структура мозаичного видеоизображения, формирующего один экран, определена в MPD так, что мозаичное видеоизображение можно использовать, как интерфейс пользователя (UI/UX).

Например, получают взаимосвязь между структурой экрана и информацией о положении, выбранной пользователем, и выбирают поток для последующего переключения. Получают координаты прикосновения к экрану пользователя и координаты мозаичного видеоизображения и получают мозаичное видеоизображение последующего уровня (расширения), в которое включено положение по координатам, для переключения.

Новую schemeIdUri (urn:mpeg:DASH:mosaic:2013) определяют, используя элемент (элемент точки обзора) для точки обзора. Например, следующая информация определена в содержании (информация частичного изображения) значения нового schemeIdUri.

- количество мозаичных изображений, формирующих один экран

- флаг, обозначающий, что размеры мозаичных изображений равны между собой

- координаты происхождения верхней левой части каждого элемента мозаичного изображения и информация, относящаяся к ширине и высоте, когда размеры не равны.

Более конкретно, точка обзора определена следующим образом. Затем MPD расширяют, используя такую информацию частичного изображения.

<Точка обзора schemeIdUri = "urn:mpeg:DASH:mosaic:2013" значение = "количество мозаичных изображений, флаг равных изображений, информация о положении, относящаяся к мозаичным изображениям">

Элемент точки обзора представляет собой элемент, соответствующий мозаичному видеоизображению (urn:mpeg:DASH:mosaic:2013). Для адаптивной подачи данных частичного изображения, как описано выше, необходимо дополнительно определить элемент точки обзора для элемента мозаичного изображения, как представлено на фиг. 10A. Таким образом, элемент точки обзора для мозаичного видеоизображения, описанный выше, расположен, как элемент расширения для элементов точки обзора элемента мозаичного изображения.

Например, в случае состояния, в котором отображается множество программ, как представлено с верхней стороны на фиг. 38, необходимо определить, как элемент точки обзора для элемента мозаичного изображения, так и элемент точки обзора для мозаичного видеоизображения в наборе адаптации.

С другой стороны, в случае состояния, в котором только одна программа отображается, как представлено с нижней стороны на фиг. 38, как результат сужения программ пользователем, мозаичное видеоизображение не формируют, и, таким образом, нет необходимости определять элемент точки обзора для мозаичного видеоизображения. Однако, для обозначения всего изображения (полное видеоизображение), необходимо определить элемент точки обзора для элемента мозаичного изображения.

Когда размеры элементов мозаичного изображения равны в значении элемента точки обзора для мозаичного видеоизображения, описанного выше, информацию о положении, относящуюся к изображению, обрабатывают, в случае необходимости. Запись не может выполняться. Когда выполняется запись, необходимо записать все изображения. Кроме того, другая информация, чем описанная выше информация, может быть определена, как значение.

5. Пятый вариант осуществления

Примеры конфигурации файла МР4 и примеры расширения MPD, соответствующего ему

Примеры конфигурации файла МР4 были описаны со ссылкой на фиг. 7 и 8 в первом варианте осуществления. Однако вариант осуществления настоящего раскрытия не ограничен примерами конфигураций файла МР4. Ниже будут описаны примеры конфигурации файла МР4 и примеры конфигурации (примеры расширения) MPD, соответствующего ему.

Случай 1 трека: файл МР4

На фиг. 39 показана схема, иллюстрирующая пример конфигурации файла МР4, получаемого в результате подачи потока битов (bitstream7), имеющего, например, структуру элемента мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 39, как и в примере на фиг. 8А, потоки битов элементов мозаичного изображения собирают и рассматривают, как один файл, и данные элементов мозаичного изображения дополнительно администрируют, как один трек.

Наборы параметров, такие как набор видеопараметров (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS) администрируют для выборки по входу в выборку (Sample Entry). Каждый элемент мозаичного изображения определен входом группы области элемента мозаичного изображения (TileRegionGroupEntry) в описании группы выборок (описание Sample Group). Как представлено на фиг. 39, значения из 5 параметров, GroupID, которые представляют собой информацию идентификации, идентифицирующую элемент мозаичного изображения, H_offset, обозначающий положение (смещение) элемента мозаичного изображения в горизонтальном направлении, V_offset, обозначающий положение (смещение) элемента мозаичного изображения в вертикальном направлении, H_width, обозначающий размер (ширину) элемента мозаичного изображения в горизонтальном направлении, и V_height, обозначающий размер (высоту) элемента мозаичного изображения в вертикальном направлении, определены, как запись группы области элемента мозаичного изображения (TileRegionGroupEntry).

Например, в записи группы области элемента мозаичного изображения (TileRegionGroupEntry) элемента 1 мозаичного изображения (Tile 1), определены GroupID = 1, H_offset=0, V_offset=0, H_width=960 и V_height=540. Например, в записи группы области мозаичного изображения (TileRegionGroupEntry) элемента 2 мозаичного изображения (Tile 2), определены GroupID=2, H_offset=960, V_offset=0, H_width=960 и V_height=540. Например, в записи группы области мозаичного изображения (TileRegionGroupEntry) для элемента определены 3 мозаичного изображения (Tile 3), GroupID=3, H_offset=0, V_offset=540, H_width=960 и V_height=540. Например, в записи группы области мозаичного изображения (TileRegionGroupEntry) элемента 4 мозаичного изображения (Tile 4), определены GroupID=4, H_offset=960, V_offset=540, H_width=960 и V_height=540. В этом случае, полное изображение (1920×1080) сформировано 4 элементами мозаичного изображения (960×540), 2 вертикальными элементами мозаичного изображения x 2 горизонтальных элемента мозаичного изображения.

Название файла такого файла МР4, как предполагается, представляет собой bitstream.mp4.

Случай 1 трека: MPD

Для того, чтобы администрировать файл МР4 потока битов, имеющего структуру мозаичного изображения в примере на фиг. 39, например, расширяют MPD в стандарте MPEG-DASH предшествующего уровня техники, как показано на фиг. 40.

В случае примера на фиг. 40, все изображение и каждый элемент мозаичного изображения определены во взаимно разных наборах адаптации (Adaptationset). В самом верхнем наборе адаптации на чертеже, определенном во всем изображении, как представлено на фиг. 40, дополнительное свойство (SupplementalProperty) определено, как описание для элемента мозаичного изображения, вместо точки обзора (Viewpoint), описанной в первом варианте осуществления.

Вспомогательное свойство (SupplementalProperty) представляет собой элемент предшествующего уровня техники. Используя элемент предшествующего уровня техники, возможно предотвращать уменьшение сходства с MPD предшествующего уровня техники (возможно предотвращать увеличение описания, в котором декодер предшествующего уровня техники не может быть проанализирован). Вспомогательное свойство определено в наборе адаптации, в котором определен поток битов, декодируемый даже в декодере предшествующего уровня техники. Например, в случае на фиг. 40, вспомогательное свойство определено в наборе адаптации, определенном в отношении всего изображения, которое может быть декодировано даже в декодере предшествующего уровня техники.

Например, вспомогательное свойство расширено и определено следующим образом.

<SupplementalProperty schemeIdUri=""

значение = "ID источника, x, y, ширина, высота, width_all, height_all, тип потока">

Таким образом, в элементе вспомогательного свойства определена схема (schemeIdUri) для сохранения информации изображения. В случае примера, показанного на фиг. 40, "urn:mpeg:dash:srd:2013" определен как схема.

Значение схемы определено. "ID источника" представляет собой информацию идентификации, обозначающую, является ли источник содержания набора адаптации таким же, как и источник содержания другого набора адаптации. В случае на фиг. 40, поскольку источник содержания каждого набора адаптации является общим (поток битов mp4), "1" определена как "ID источника".

"x, у" представляют собой информацию, обозначающую положение (координаты x и y верхней левой части) элемента мозаичного изображения, определенного набором адаптации. В случае на фиг. 40, поскольку набор адаптации определяет полное изображение, "0, 0" определены как "x, у".

"ширина, высота" представляет собой информацию, обозначающую размер (ширину и высоту) элемента мозаичного изображения, определенного набором адаптации. В случае на фиг. 40, поскольку набор адаптации определяет все изображение, "1920, 1080" определены, как "ширина, высота".

"width_all, height_all" представляют собой информацию, обозначающую размер (ширину и высота) всего изображения. В случае на фиг. 40, "1920, 1080" определены как "width_all, height_all".

"тип потока" представляет собой информацию идентификации, обозначающую, определяет ли набор адаптации весь поток битов или часть потока битов. В случае на фиг. 40, "0", обозначающий, что набор адаптации определяет весь поток битов, определен, как "тип потока".

Таким образом, в случае самого верхнего набора адаптации на чертеже в примере, на фиг. 40, вспомогательное свойство определено, например, следующим образом.<SupplementalProperty schemeIdUri = "urn:mpeg:dash:srd:2013" значение = "1, 0, 0, 1920, 1080, 1920, 1080, 0">

Как представлено на фиг. 40, в наборе адаптации, в котором определен элемент 1 мозаичного изображения (Tile 1), и в который представляет собой второй набор адаптации сверху на чертеже, существенное свойство (EssentialProperty) определено вместо точки обзора (Viewpoint), описанной, как описание для элемента мозаичного изображения в первом варианте осуществления.

Существенное свойство (EssentialProperty) представляет собой элемент предшествующего уровня техники. Путем использования элемента предшествующего уровня техники становится возможным предотвратить уменьшение сходства с MPD предшествующего уровня техники (возможно предотвратить увеличение описания, в котором декодер предшествующего уровня техники не может быть проанализирован). Существенное свойство определено в наборе адаптации, в котором определен поток битов, не имеющий возможности декодирования в декодере предшествующего уровня техники. Например, в случае на фиг. 40, существенное свойство определено в наборе адаптации, определенном в отношении каждого элемента мозаичного изображения, который не может быть декодирован в декодере предшествующего уровня техники.

Таким образом, только декодер, который позволяет интерпретировать существенное свойство, декодирует поток битов, администрируемый набором адаптации, и декодер, который не может интерпретировать существенное свойство, пропускает набор адаптации.

Например, существенное свойство расширяют так, как описано ниже, и определяют. Таким образом, существенное свойство определено, как во вспомогательном свойстве (SupplementalProperty).

<EssentialProperty schemeIdUri=" "

значение = "id источника, x, у, ширина, высота, width_all, height_all, тип потока">

В случае второго набора адаптации сверху на чертеже, в примере на фиг. 40, "urn:mpeg:dash:srd:2013" определена, как схема. Кроме того, "1" определена как "ID источника" значения схемы, "0, 0" определены как "x, у", "960, 540" определены как "ширина, высота", "1920, 1080" определены как "width_all, height_all", и "1", обозначающая набор адаптации, определяет, что часть потока битов определена как "тип потока".

Когда значение "тип потока" равно "1", то есть когда часть потока битов определена в наборе адаптации, существенное свойство дополнительно расширяют, как информацию, обозначающую часть потока битов. Например, когда (Tile) HEVC включен в файл МР4, администрируемый в наборе адаптации, набор адаптации, соответствующий элементу мозаичного изображения, соответствует части потока битов. В этом случае существенное свойство в отношении части потока битов дополнительно расширяют и определяют, например, следующим образом.

<EssentialProperty schemeIdUri=" "

значение = "Sub-S ample-Type, Sub-Sample-is-extracted.ID">

В этом случае, в элементе существенного свойства определена схема (schemeIdUri) для сохранения информация, обозначающая часть файла. В случае второго набора адаптации сверху на чертеже, в примере на фиг. 40, "urn:mpeg:dash:hevc:2013" определено как схема.

Значение схемы определено. "Sub-Sample-Type" представляет собой информацию, обозначающую, по какой части информации сконфигурирован поток битов, которому соответствует набор адаптации. Например, когда значение информации "0", это обозначает, что часть потока битов сконфигурирована на основе Nal. Например, когда значение информации равно "1", это обозначает, что часть потока битов сконфигурирована на основе "единицы декодирования". Кроме того, например, когда значение информации равно "2", это обозначает, что часть потока битов сконфигурирована на основе элемента мозаичного изображения. Например, когда значение информации равно "3", это обозначает, что часть потока битов сконфигурирована на основе ряда CTU. Кроме того, например, когда значение информации равно "4", это обозначает, что часть потока битов сконфигурирована на основе среза. В случае второго набора адаптации сверху на чертеже в примере на фиг. 40, "2" определено как "Sub-Sample-Type".

"Sub-Sample-is-extracted" представляет собой информацию, обозначающую, разделена ли (выделена ли) на треки часть потока битов, которая соответствует набору адаптации. Например, когда значение информации равно "0", это обозначает, что часть потока битов не разделена (false). Когда значение информации равно "1", это обозначает, что часть потока битов разделена на треки (true). В случае второго набора адаптации сверху на чертеже в примере на фиг. 40, количество треков равно 1 (не разделено), как описано со ссылкой на фиг. 39, и "0" определен как "Sub-Sample-is-extracted."

"ID" представляет собой информацию идентификации. Когда "2" определено как "Sub-Sample-Type", то есть в случае элемента мозаичного изображения Tile, GroupID, определена запись группы области мозаичного изображения (TileRegionGroupEntry) файла МР4. В случае второго набора адаптации сверху чертежа в примере на фиг. 40, часть потока битов представляет собой данные элемента 1 мозаичного изображения (Tile 1), и, таким образом, "1" определена как "ID".

Таким образом, в случае второго набора адаптации сверху на чертеже в примере на фиг. 40, существенное свойство определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 0, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 0, 1">

Аналогично, в случае третьего набора адаптации сверху на чертеже в примере фиг. 40, существенное свойство определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 0, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 0, 2">

Аналогично, в случае четвертого набора адаптации сверху на чертеже в примере на фиг. 40, существенное свойство определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = " 1, 0, 540, 960, 540, 1920, 1080, 1 ">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 0, 3">

Аналогично, в случае самого нижнего набора адаптации на чертеже в примере на фиг. 40, существенное свойство определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 540, 960, 540 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 0,4">

Случай 1 трека: использование MPD

Генерирование расширенного MPD может быть выполнено, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа мозаичного изображения (модуль 124 генерирования информации изображения типа мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа мозаичного изображения (фиг. 15), расширенный MPD может быть сгенерирован (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенный MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенный MPD, выполняя обработку генерирования данных доставки (фиг. 16) и может выполнять адаптивную доставку (подачу) данных частичного изображения с помощью сервера 102 доставки, который основан на стандарте DASH. Таким образом, возможно правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить эти данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай 1 файла и множества треков (ссылка экстракта): файл МР4

На фиг. 41 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного в результате заполнения потока битов (bitstream7), имеющего, например, структуру мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 41, как и в примере на фиг. 8В, потоки битов элементов мозаичного изображения корректируют и рассматривают как один файл, и данными элементов мозаичного изображения дополнительно администрируют как одним треком.

В случае примера на фиг. 41, трек 1 (Track 1) администрирует данными всего изображения (1920×1080), и, таким образом, все изображение может быть воспроизведено путем воспроизведения трека 1 (Track 1). Кроме того, трек 2 (Track 2) администрирует данными элемента 1 мозаичного изображения (Tile 1), и, таким образом, изображение элемента 1 мозаичного изображения (Tile 1) может быть воспроизведено при воспроизведении трека 2 (Track 2). Аналогично, трек 3 (Track 3) администрирует данными элемента 2 мозаичного изображения (Tile 2), и, таким образом, изображение элемента 2 мозаичного изображения (Tile 2) может быть воспроизведено при воспроизведении трека 3 (Track 3). Таким же образом, трек 4 (Track 4) управляет данными элемента 3 мозаичного изображения (Tile 3), и таким образом изображение элемента 3 мозаичного изображения (Tile 3) может быть воспроизведено при воспроизведении трека 4 (Track 4). Таким же образом, трек 5 (Track 5) управляет данными элемента 4 мозаичного изображения (Tile 4), и таким образом изображение элемента 4 мозаичного изображения (Tile 4) может быть воспроизведено при воспроизведении трека 5 (Track 5).

В треке 1 (Track 1), как представлено на фиг. 41, сохранены наборы параметра, такие как набор видеопараметров (VPS), набор параметров последовательности (SPS) и набор параметров изображения (PPS), объект (также называемый фактическими данными), такой как вспомогательная информация расширения (SEI), и информация ссылки (также называемая экстракторами) потоков битов элементов мозаичного изображения.

Экстрактор (Track 2) представляет собой информацию (информацию ссылки), используемую для ссылки на фактические данные (Slice 1) элемента 1 мозаичного изображения (Tile 1), сохраненного в треке 2 (Track 2). Например, экстрактор обозначает место сохранения фактических данных (Slice 1). Аналогично, экстрактор выделения (Track 3) представляет собой информацию ссылки, относящуюся к фактическим данным (Slice 2) элемента 2 мозаичного изображения (Tile 2), сохраненного в треке 3 (Track 3), экстрактор (Track 4) представляет собой информацию ссылки, относящуюся к фактическим данным (Slice 3) элемента 3 мозаичного изображения (Tile 3), сохраненного в треке 4 (Track 4), и экстрактор (Track 5) представляет собой информацию ссылки, относящуюся к фактическим данным (Slice 4) элемента 4 мозаичного изображения (Tile 4), сохраненным в трек 5 (Track 5).

Наборами параметра, экстрактором и т.п. администрируют для каждой выборки с помощью записи в выборке (Sample Entry).

В трек 2 (Track 2) сохранены экстрактор (Track 1), такой как набор параметра, фактические данные (Slice 1) элемента 1 мозаичного изображения (Tile 1) и т.п. Экстрактор (Track 1) набора параметра представляет собой информацию ссылки фактических данных (VPS, SP, SEI, PPS и т.п.), таких как наборы параметра, сохраненные в трек 1 (Track 1). Например, экстрактор обозначает место сохранения фактических данных.

Кроме того, в трек 3 (Track 3) сохранены (Track 1), такой как наборы параметров, фактические данные (Slice 2) элемента 2 мозаичного изображения (Tile 2), и т.п. В трек 4 (Track 4) сохранены экстрактор (Track 1), такой как наборы параметра и фактические данные (Slice 3) элемента 3 мозаичного изображения (Tile 3) т.п. В трек 5 (Track 5) сохранены экстрактор (Track 1), такой как наборы параметров, фактические данные (Slice 4) элемента 4 мозаичного изображения (Tile 4) и т.п.

Как и в случае на фиг. 39, вход группы области мозаичного изображения (TileRegionGroupEntry) определен в каждом из от трек 2 (Track 2) до трек 5 (Track 5). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Экстрактор, обозначающий соотношение ссылки, определен для каждой выборки. Таким образом, соотношение ссылки может быть установлено для каждой выборки. Соответственно, путем использования экстрактора, возможно, построить более свободное соотношение ссылки, например, изменение в соотношении ссылки, в потоке битов. Более конкретно, например, возможно легко реализовать изменение и т.п. размеров или формы элемента мозаичного изображения в потоке битов.

Название файла такого файла МР4, предполагается, представляет собой bitstrearn.mp4.

Случай 1 файла и множества треков (ссылка по экстрактору): MPD

Даже в MPD в таком случае, как в случае 1 трека, описанного выше, вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) (AdaptationSet) набора адаптации расширяются. Пример представлен на фиг. 42.

Таким образом, даже в случае примера на фиг. 42, все изображение и каждый элемент мозаичного изображения определены во взаимно разных наборах адаптации (AdaptationSet). В самом верхнем наборе адаптации на чертеже, в котором определено все изображение, вспомогательное свойство (SupplementalProperty) определено как описание для элемента мозаичного изображения, вместо точки обзора (Viewpoint), описанной в первом варианте осуществления.

Даже в этом случае, как представлено на фиг. 42, вспомогательное свойство самого верхнего набора адаптации на чертеже, определено, например, следующим образом.

<SupplementalProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 0, 1920, 1080, 1920, 1080, 0">

Даже в случае примера на фиг. 42, в наборе адаптации, который представляет собой второй набор адаптации сверху на чертеже, и в котором определен элемент 1 мозаичного изображения 1 (Tile 1), существенное свойство (EssentialProperty) определено как описание для элемента мозаичного изображения, вместо точки обзора (Viewpoint), описанной в первом варианте осуществления. Существенное свойство в отношении части потока битов дополнительно расширено и определено.

Таким образом, как представлено на фиг. 42, существенное свойство второго набора адаптации сверху на чертеже определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 0, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 1, 1">

В этом случае, поскольку часть потока битов, которой соответствует набор адаптации, разделена (выделена) на треки (то есть сформировано множество треков), "1 (true)" определена, как "Sub-Sample-is-extracted".

Аналогично, существенное свойство третьего набора адаптации сверху на чертеже в примере на фиг. 42 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 0, 960, 540,1920,1080,1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 1, 2">

Аналогично, существенное свойство четвертого набора адаптации сверху на чертеже в примере на фиг. 42 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 540, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013"

значение = "2, 1, 3">

Аналогично, существенное свойство самого нижнего набора адаптации на чертеже в примере на фиг. 42 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 540, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 1, 4">

Случай 1 файла и множества треков (ссылка по экстрактору): использование MPD

Генерирование расширенного MPD может быть выполнено, как и в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации об изображении типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), может быть сгенерирован расширенный MPD (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD путем выполнения обработки генерирования данных доставки (фиг. 16) и может выполнять адаптивную доставку (подачу) данных частичного изображения с помощью сервера 102 доставки, который основан на стандарте DASH. Таким образом, возможно правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай множества файлов и множества треков (ссылка по экстрактору): файл МР4

На фиг. 43 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного путем подачи потока битов (bitstream7), имеющего, например, структуру элемента мозаичного изображения (Tile), показанную на фиг. 6В. В случае примера на фиг. 43, как в примере на фиг. 7, потоками битов элементов мозаичного изображения администрируют, как взаимно разными файлами. Поскольку треки файлов являются взаимно разными, потоками битов элементов мозаичного изображения, также можно сказать, администрируют, как взаимно разными треками.

Самый верхний файл МР4 (Файл МР4) на фиг. 43 (то есть трек 1 (Track 1)) сохраняет (администрирует) данными всего изображения (1920×1080). При воспроизведении файла МР4 (то есть трека 1), возможно воспроизвести все изображение.

Второй файл МР4 (Файл МР4) (то есть трек 2 (Track 2)) сверху на фиг. 43 содержит (администрирует) данные элемента 1 мозаичного изображения (Tile 1). При воспроизведении файла МР4 (то есть трека 2), возможно воспроизвести изображение элемента 1 мозаичного изображения (Tile 1). Аналогично, третий файл МР4 (Файл МР4) (то есть трек 3 (Track 3)) сверху на фиг. 43 содержит (администрирует) данные элемента 2 мозаичного изображения (Tile 2). При воспроизведении файла МР4 (то есть трека 3), возможно воспроизвести изображение элемента 2 мозаичного изображения (Tile 2). Точно так же четвертый файл МР4 (файл МР4) (то есть трека 4 (Track 4)) сверху на фиг. 43 содержит (администрирует) данные элемента мозаичного изображения 3 (Tile 3). В результате воспроизведения файла МР4 (то есть трека 4), возможно воспроизвести изображение элемента 3 мозаичного изображения (Tile 3). Точно так же самый нижний файл МР4 (файл МР4) (то есть трек 5 (Track 5)) на фиг. 43 содержит (администрирует) данные элемента мозаичного изображения 4 (Tile 4). В результате воспроизведения файла МР4 (то есть трека 5), возможно воспроизвести изображение элемента 4 мозаичного изображения (Tile 4).

В самом верхнем файле МР4 (Track 1) на фиг. 43, как представлено на фиг. 43, сохранены наборы параметров, такие как набор видеопараметров (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), фактические данные, такие как SEI, экстракторы (Track 2, Трек 3, Трек 4 и Трек 5) потока битов элементов мозаичного изображения, и т.п. Наборами параметров, экстракторами и т.п. администрируют для каждой выборки по записи выборки (Sample Entry).

Во втором файле МР4 (Track 2) сверху на фиг. 43 сохранены экстрактор (Track 1), такой как наборы параметров, фактические данные (Slice 1) элемента 1 мозаичного изображения (Tile 1) и т.п. Кроме того, в третьем файле МР4 (Track 3) с верхней стороны на фиг. 43 сохранены экстрактор (Track 1), такой как наборы параметров, фактические данные (Slice 2) элемента 2 мозаичного изображения (Tile 2), и т.п. В четвертом файле МР4 (Track 4) с верхней стороны на фиг. 43 сохранены экстрактор (Track 1), такой как наборы параметров и т.п., фактические данные (Slice 3) элемента мозаичного изображения 3 (Tile 3). Кроме того, в самом нижнем файле МР4 (Track 5) на фиг. 43 сохранены экстрактор (Track 1), такой как наборы параметров, фактические данные (Slice 4) элемента мозаичного изображения 4 (Tile 4), и т.п.

Как и в случае на фиг. 39, запись группы области элемента мозаичного изображения (TileRegionGroupEntry) определена в каждом из файлов МР4 (треки 2-5). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Как описано выше, даже в случае примера, экстрактор выделения используется, как информация, обозначающая соотношение ссылки. В соответствии с этим, например, возможно построить свободное соотношение ссылки, такое как изменение в соотношении ссылки в потоке битов.

Наименование файла самого верхнего файла МР4 на фиг. 43, как предполагается, представляет собой bitstream_base.mp4, наименование файла второго файла МР4 сверху на фиг. 43, как предполагается, представляет собой bitstream_tile1.mp4, наименование файла третьего файла МР4 сверху на фиг. 43, как предполагается, представляет собой bitstream_tile2.mp4, наименование файла четвертого файла МР4 сверху на фиг. 43, как предполагается, представляет собой bitstream_tile3.mp4, и наименование файла самого нижнего файла МР4 на фиг. 43, как, предполагается, представляет собой bitstream_tile4.mp4.

Случай множества файлов и множества треков (ссылка по экстрактору): MPD

Даже в MPD в этом случае, как и в случае 1 трека, описанном выше, вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet) расширено. Пример представлен на фиг. 44.

Таким образом, даже в случае примера на фиг. 44, все изображение и каждый элемент мозаичного изображения определены во взаимно разных наборах адаптации (AdaptationSet). В самом верхнем наборе адаптации на чертеже, в котором определено полное изображение, вспомогательное свойство (SupplementalProperty) определено, как описание для элемента мозаичного изображения, вместо точки обзора (Viewpoint), описанной в первом варианте осуществления.

Даже в этом случае, как представлено на фиг. 44, вспомогательное свойство самого верхнего набора адаптации на чертеже определено, например, следующим образом.

<SupplementalProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 0, 1920, 1080, 1920, 1080, 0">

В этом случае, представление (Representation), принадлежащее набору адаптации, расширено, и дополнительно определена информация, обозначающая зависимость между файлами (элементами мозаичного изображения).

В представлении, принадлежащем самому верхнему набору адаптации с верхней стороны на чертеже, как представлено на фиг. 44, например, определена следующая информация.

<id = "bs" dependencyId = "ti1.tl2.tl3.tl4">

В сегменте (Segment), принадлежащем представлению, определен bitstream_base.mp4.

Даже в случае примера на фиг. 44, в наборе адаптации, который представляет собой второй набор адаптации сверху на чертеже и в котором определен элемент 1 мозаичного изображения (Tile 1), существенное свойство (EssentialProperty) определено, как описание для элемента мозаичного изображения, вместо точки обзора (Viewpoint), описанной в первом варианте осуществления. Существенное свойство в отношении части потока битов дополнительно расширяют и определяют.

Таким образом, как представлено на фиг. 44, существенное свойство второго набора адаптации сверху чертежа определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 0, 0, 960, 540,1920,1080,1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 1,1">

В этом случае, поскольку поток битов, которому соответствует набор адаптации, представляет собой HEVC, разделенный (выделенный) на треки (то есть сформировано множество треков (множество файлов)), "1 (true)" определена, как "Sub-Sample-is-extracted."

В этом случае, поскольку файл разделен, и только 1 трек включен в 1 файл, "ID" исключают. В соответствии с этим, увеличение количества информации предотвращается в этой степени.

В представлении, принадлежащем набору адаптации, как представлено, например, на фиг. 44, определена следующая информация.

<id = "tl1" dependencyId = "be">

В сегменте (Segment), принадлежащем представлению, определен bitstream_tile1.mp4.

Аналогично, существенное свойство третьего набора адаптации сверху на чертеже в примере на фиг. 44 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 0, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 1">

В представлении, принадлежащем набору адаптации, например, определена следующая информация.

<id = "tl2" dependencyId = "be">

В сегменте (Segment), принадлежащем представлению, определен bitstream_tile2. mp4.

Аналогично, существенное свойство четвертого набора адаптации сверху на чертеже в примере на фиг. 44 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1,0, 540, 960, 540, 1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 1">

В представлении, принадлежащем набору адаптации, например, определена следующая информация.

<id = "tl3" dependencyId = "be">

В сегменте (Segment), принадлежащем представлению, определен bitstream_tile3.mp4.

Аналогично, существенное свойство самой нижней адаптации на чертеже в примере на фиг. 44 определено, например, следующим образом.

<EssentialProperty schemeIdUri = "urn:mpeg:dash:srd:2013"

значение = "1, 960, 540, 960, 540,1920, 1080, 1">

<EssentialProperty schemeIdUri = "urn:mpeg:dash:hevc:2013" значение = "2, 1">

В представлении, принадлежащем набору адаптации, например, определена следующая информация.

<id = "tl4" dependencyId = "be">

В сегменте (Segment), принадлежащем представлению, определен bitstream_tile4.mp4.

Случай множества файлов и множества треков (ссылка по экстрактору): использование MPD

Генерирование расширенного MPD может быть выполнено, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), может быть сгенерировано расширенное MPD (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD, путем выполнения обработки генерирования данных доставки (фиг. 16) и выполнять адаптивную доставку (подачу) данных частичного изображения с помощью сервера 102 доставки, который основан на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Случай 1 файла и множества треков (ссылка по ссылке трека): файл МР4

На фиг. 45 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного путем подачи потока битов (bitstream7), имеющего, например, структуру элемента мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 45, как и в примере на фиг. 41, потоки битов элементов мозаичных изображений собирают и рассматривают, как один файл, и данными элементов мозаичного изображения дополнительно администрируют, как одним треком.

В случае примера на фиг. 41, соотношение ссылки данных между треками определяют, используя экстрактор. В случае примера на фиг. 45, однако, соотношение ссылки определяют, используя ссылку трека (Track Reference).

Ссылка трека (Track Reference) представляет собой информацию, обозначающую соотношение ссылки (какой трек ссылается на какой трек (или из какого трека была выполнена ссылка)) между треками. Таким образом, ссылка трека представляет собой информацию в единицах треков и определена один раз для 1 трека, "dpnd" представляет собой информацию, которая определяет трек (то есть источник ссылки), относящийся к треку, и "prnt" представляет собой информацию, которая определяет трек (то есть назначение ссылки), на которую ссылается трек.

Например, в случае примера на фиг. 45, "dpnd = 2, 3, 4, 5" определено как ссылка трека (Track Reference) в треке 1 (Track 1). Это обозначает, что на трек 1 ссылаются треки 2-5. Аналогично, в треке 2 (Track 2) - треке 5 (Track 5), "prnt = l" определяют как ссылку трека (Track Reference). Это обозначает, что эти треки ссылаются на трек 1. Таким образом, это означает, что к информации (набор параметра и т.п.), относящейся к треку 1, ссылаются в соответствии со ссылкой трека, даже, когда воспроизводят любой из (любого элемента мозаичного изображения) треков 2-5.

Как описано выше, степень свободы для установки соотношения ссылки улучшается, поскольку экстрактор определен для каждой выборки. Однако, когда соотношение ссылки фиксировано, избыточность экстрактора повышается, и, таким образом, существует возможность нежелательного увеличения объема информации. Например, когда размеры или форма элементов мозаичного изображения являются неоднородными в потоке битов, одного раза достаточно для соотношения ссылки.

С другой стороны, ссылка (Track Reference) определена только однажды для 1 трека, как описано выше. В соответствии с этим, используя ссылку трека, возможно уменьшить избыточность определения соотношения ссылки и можно предотвратить увеличение количества ненужной информации.

В случае этого примера, трек 1 (Track 1) представлен для сохранения наборов параметра, и воспроизведение трека 1 (воспроизведение всего изображения (1920×1080)) может не выполняться. Однако, при воспроизведении фактических данных треков 2-5 в порядке ссылки трека, возможно воспроизвести все изображение.

Как и в случае на фиг. 39, вход в группу области мозаичного изображения (TileRegionGroupEntry) определен в каждом из от трека 2 (Track 2) до трека 5 (Track 5). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Наименование файла такого файла МР4, как предполагается, представляет собой bitstream.mp4.

Случай 1 файла и множества треков (ссылка по ссылке трека): MPD

В MPD в этом случае, вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet) также расширяют, как в описанном выше случае ссылки по экстрактору. Пример этого представлен на фиг. 46.

Таким образом, как показано на фиг. 46, в этом случае, файлом МР4 можно администрировать по MPD в примере, показанном на фиг. 42.

Случай 1 файла и множества треков (ссылка по ссылке трека): использование MPD

Генерирование расширенного MPD может выполняться, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD, путем выполнения обработки генерирования данных доставки (фиг. 16) и может обеспечить адаптивную доставку (подачу) данных частичного изображения сервером 102 доставки, который основан на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай множества файлов и множества треков (ссылка по ссылке трека): файл МР4

На фиг. 47 показана схема, иллюстрирующая пример конфигурации файла МР4, получаемого в результате подачи потока битов (bitstream7), имеющего, например, структуру элемента мозаичного изображения (Tile), показанную на фиг. 6В. В случае примера на фиг. 47, как и в примере на фиг. 43, потоками битов элементов мозаичного изображения администрируют, как взаимно отличающимися файлами. Поскольку треки файлов являются взаимно отличающимися, можно сказать, что потоками битов элементов мозаичного изображения также можно администрировать, как взаимно разными треками.

Самый верхний файл МР4 (файл МР4) (то есть трек 1 (Track 1)), на фиг. 47, содержит (администрирует) наборы параметров и т.п. (VPS, SPS, PPS, SEI и т.п.).

Со второго по пятый файлы МР4 (файл МР4) (то есть от трека 2 (Track 2) до трека 5 (Track)) сверху на фиг. 47 сохраняют (администрируют) данные от элемента 1 мозаичного изображения (Tile 1) до элемента 4 мозаичного изображения (Tile 4). В результате воспроизведения любого файла МР4 (то есть любого трека) среди файлов, возможно, воспроизвести изображение любого элемента мозаичного изображения.

В случае примера на фиг. 43, соотношение ссылки данных между треками определено, используя экстрактор. В случае примера на фиг. 47, однако, соотношение ссылки определено, используя ссылку трека (Track Reference), используя способ, аналогичный случаю, показанному на фиг. 45.

Например, в случае примера на фиг. 47, "dpnd = 2, 3, 4, 5" определено, как ссылка трека (Track Reference) в трек 1 (Track 1). Это обозначает, что треки 2-5 выполняют ссылку на трек 1. Аналогично, в треке 2 (Track 2) до трека 5 (Track 5), "prnt = 1" определено, как ссылка трека (Track Reference). Это обозначает, что эти треки относятся к треку 1. Таким образом, это обозначает, что к информации (наборам параметра и т.п.), относящейся к треку 1, обращаются в соответствии со ссылкой трека, когда воспроизводят любой (любой элемент мозаичного изображения) из треков 2-5.

Как и в случае на фиг. 39, вход группы области элемента мозаичного изображения (TileRegionGroupEntry) определен в каждом из от трека 2 (Track 2) до трека 5 (Track 5). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Даже в случае этого примера, как описано выше, ссылка трека используется, как информация, обозначающая соотношение ссылки. В соответствии с этим, возможно уменьшить избыточность определения соотношения ссылки и сдерживать увеличение количества ненужной информации.

Наименование файлов для файлов МР4 на фиг. 47, как предполагается, представляют собой bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4 и bitstream_tile4.mp4 в порядке, начиная сверху.

Случай множества файлов и множества треков (ссылка по ссылке трека): MPD

В MPD в этом случае вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet) также расширяют, как и в описанном выше случае ссылки по экстрактору. Пример этого представлен на фиг. 48.

Таким образом, как показано на фиг. 48, в этом случае, файлом МР4 может администрировать с помощью MPD, как в примере на фиг. 44.

Случай множества файлов и множества треков (ссылка по ссылке трека): использование MPD

Генерирование расширенного MPD можно выполнять, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD путем выполнения обработки генерирования данных доставки (фиг. 16) и выполнения адаптивной доставки (подачи) данных частичного изображения сервером 102 доставки, которая основана на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай 1 файла и множества треков (ссылка по ссылке трека и экстрактора): файл МР4

На фиг. 49 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного путем подачи потока битов (bitstream7), имеющего, например, структуру мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 49, как и в примерах на фиг. 41 и фиг. 45, потоки битов мозаичного изображения собирают и рассматривают, как один файл, и данными мозаичных изображений дополнительно администрируют, как одним треком.

В случае примера на фиг. 41, однако, соотношение ссылки данных между треками определено, используя экстрактор. В случае примера на фиг. 45, соотношение ссылки данных между треками определено, используя ссылку трека. В случае примера на фиг. 49, однако, соотношение ссылки определяют, используя как экстрактор, так и ссылку трека.

Более конкретно, трек 1 (Track 1) относится к информации, относящейся к от трека 2 (Track 2) до трека 5 (Track 5), используя экстрактор, как в случае на фиг. 41. Кроме того, от трека 2 (Track 2) по трек 5 (Track 5) относятся к информации, относящейся к треку 1 (Track 1), используя ссылку трека, как в случае на фиг. 45.

Таким образом, в треке 1 (Track 1), как представлено на фиг. 49, сохранены наборы параметров, такие как набор параметров видеоданных (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), фактические данные, такие как SEI, экстрактор для ссылки на данные элементов мозаичного изображения треков 2-5 и т.п.

В треках от трека 2 (Track 2) по трек 5 (Track 5), как показано на фиг. 49, "prnt=1" определен как ссылка трека (Track Reference). Это обозначает, что эти треки относятся к треку 1. Таким образом, это обозначает, что на информацию (наборы параметра и т.п.), относящуюся к треку 1, ссылаются в соответствии со ссылкой трека, когда воспроизводят любой (любой элемент мозаичного изображения) из треков от трека 2 по трек 5.

Таким образом, становится возможным выполнять воспроизведение трека 1 (воспроизведение полного изображения (1920×1080)), как и в случае на фиг. 41, при уменьшении избыточности, как в случае на фиг. 45.

Как и в случае на фиг. 39, запись группы области элемента мозаичного изображения (TileRegionGroupEntry) определена в каждом из от трека 2 (Track 2) по трек 5 (Track 5). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Наименование файла такого файла МР4, как предполагается, представляет собой bitstream.mp4.

Случай 1 файла и множества треков (ссылка по ссылке трека и экстрактора): MPD

Даже в MPD в этом случае, как и в случае ссылки по экстрактору (фиг. 42) или в случае ссылки по ссылке трека (фиг. 46), как описано выше, вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet) расширяется. Этот пример показан на фиг. 50.

Таким образом, как представлено на фиг. 50, в этом случае, файлом МР4 можно администрировать с помощью MPD, как в примерах на фиг. 42 и фиг. 46.

Случай 1 файла и множества треков (ссылка по ссылке треков и экстрактора): использование MPD

Генерирование расширенного MPD можно выполнять, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD путем выполнения обработки генерирования данных доставки (фиг. 16) и выполнения адаптивной доставки (подачи) данных частичного изображения сервером 102 доставки, которая основана на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактора): файл МР4

На фиг. 51 показана схема, иллюстрирующая пример конфигурации файла МР4, получаемого путем подачи потока битов (bitstream7), имеющего, например, структуру мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 51, как и в примерах на фиг. 43 и фиг. 47, потоками битов мозаичного изображения администрируют, как взаимно разными файлами. Поскольку треки файлов являются взаимно разными, потоками битов элементов мозаичного изображения также, можно сказать, администрируют, как взаимно разными треками.

В случае примера на фиг. 43, однако, соотношение ссылки данных между треками определено, используя экстрактор. В случае примера на фиг. 47, соотношение ссылки данных между треками определено, используя ссылку трека. В случае примера на фиг. 51, однако, соотношение ссылки определено, используя как экстрактор, так и ссылку трека.

Более конкретно, самый верхний файл МР4 (Track 1 (Track 1)) на фиг. 51 ссылается на информацию, относящуюся ко второму - пятому файлам МР4 (от трека 2 (Track 2) по трек 5 (Track 5)) сверху на фиг. 51, используя экстрактор, как в случае на фиг. 43. Кроме того, со второго по пятый файл МР4 (от трека 2 (Track 2) по трек 5 (Track 5)) сверху на фиг. 51 относятся к информации, относящейся к самому верхнему файлу МР4 (трек 1 (Track 1)), на фиг. 51, используя ссылку трека, как и в случае на фиг. 47.

В самом верхнем файле МР4 (Track 1), как представлено на фиг. 51, сохранены наборы параметра, такие как набор видеопараметра (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), фактические данные, такие как SEI, экстракторы (Track 2, Трек 3, Трек 4 и Трек 5) потоков битов элементов мозаичного изображения и т.п. Наборами параметров, экстракторами и т.п. администрируют для каждой выборки по записи выборки (Sample Entry).

Как представлено на фиг. 51, со второго по пятый файл МР4 (от трека 2 (Track 2) по трек 5 (Track 5)) сверху, "prnt = 1" определен как ссылка трека (Track Reference). Это обозначает, что эти треки относятся к треку 1. Таким образом, это обозначает, что к информации (наборам параметра и т.п.), относящейся к треку 1, обращаются в соответствии со ссылкой трека, когда воспроизводят любой (любой элемент мозаичного изображения) из треков от 2 до 5.

Таким образом, становится возможным выполнить воспроизведение самого верхнего файла МР4 (Track 1) на фиг. 51 (воспроизведение полного изображения (1920×1080)), как в случае на фиг. 43, при уменьшении избыточности, как в случае на фиг. 47.

Как в случае на фиг. 39, в каждом из второго - пятого файлов МР4 (от трека 2 (Track 2) по трек 5 (Track 5)) сверху, определена запись группы области элемента мозаичного изображения (TileRegionGroupEntry). Таким образом, один элемент мозаичного изображения определен в каждом треке.

Наименование файла МР4 на фиг. 51, как предполагается, представляет собой bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4 и bitstream_tile4.mp4 в порядке, начиная сверху.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактора): MPD

Даже в MPD в этом случае, как и в случае ссылки по экстрактору, как описано выше, вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet) расширяются. Этот пример представлен на фиг. 52.

Таким образом, как показано на фиг. 52, в этом случае, файлом МР4 можно администрировать по MPD, как в примерах на фиг. 44 и фиг. 48.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактору): использование MPD

Генерирование расширенного MPD можно выполнять, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD путем выполнения обработки генерирования данных доставки (фиг. 16) и выполнения адаптивной доставки (подачи) данных частичного изображения сервером 102 доставки, которая основана на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай 1 файла и множества треков (ссылка по ссылке трека и экстрактора): файл МР4

В примерах, в которых один файл МР4 включает в себя множество треков, как описано выше со ссылкой на фиг. 41, 45 и 49, срез, который представляет собой фактические данные, сохранен для каждого элемента мозаичного изображения в другом треке. Однако, когда один файл МР4 включает в себя множество треков, срезы элементов мозаичного изображения могут быть собраны и могут быть расположены в одном треке. Пример этого случая будет описан ниже со ссылкой на фиг. 53.

На фиг. 53 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного путем подачи потока битов (bitstream7), имеющего, например, структуру мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 53, как в примерах на фиг. 41, 45 и 49, потоки битов мозаичного изображения собирают и рассматривают, как один файл МР4. Кроме того, элементами мозаичного изображения администрируют, как взаимно разными треками. В файле МР4 на фиг. 53, однако, срезы, которые представляют собой фактические данные элементов мозаичного изображения, собирают и сохраняют в одном треке.

В случае примера на фиг. 41, соотношение ссылки данных между треками определяют, используя экстрактор. В случае примера на фиг. 45, соотношение ссылки данных между треками определяют, используя ссылку трека. В случае примера на фиг. 53, с другой стороны, как в примере на фиг. 49, используются как экстрактор, так и ссылка трека. Однако способ использования экстрактора и ссылки трека отличается от случая на фиг. 49.

Более конкретно, в треке 1 (Track 1), который представляет собой основной трек, как представлено на фиг. 53, сохранены наборы параметра, такие как набор видеопараметра (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), и фактические данные, такие как SEI Наборами параметров, такими как набор видеопараметра (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), администрируют для каждой выборки по одной записи (Sample Entry). Кроме того, в треке 1 (Track 1), сохраняют срезы от 1 до 4, которые представляют собой фактические данные элементов мозаичного изображения HEVC и т.п.

Здесь все от трека 2 (Track 2) по трек 5 (Track 5) имеют экстрактор и ссылку трека для ссылки на информацию, относящуюся к треку 1 (Track 1).

Другими словами, в треке 2 (Track 2) по трек 5 (Track 5), как представлено на фиг. 53, "prnt = 1" определен как ссылка трека (Track Reference). Это обозначает, что эти треки относятся к треку 1. Таким образом, это обозначает, что к информации (наборам параметра и т.п.), относящейся к треку 1, ссылаются в соответствии со ссылкой трека, когда воспроизводят любой (любой элемент мозаичного изображения) из треков 2-5.

В каждом из треков от трека 2 (Track 2) до трека 5 (Track 5), "ext1" определен как экстрактор. Таким образом, к срезу 1 трека 1 обращаются, в соответствии с экстрактором, например, воспроизводят элемент мозаичного изображения трека 2. Аналогично, к срезу 2 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 3. Кроме того, к срезу 3 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 4, и к срезу 4 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 5.

Таким образом, только трек 1 может быть воспроизведен, когда воспроизводится все изображение (1920×1080), и возможно уменьшить нагрузку, когда воспроизводится полное изображение.

Как в случаях на фиг. 39, 41, 43, 45, 47, 49 и 51, запись группы области элемента мозаичного изображения (TileRegionGroupEntry) определена в каждом из от трека 2 (Track 2) по трек 5 (Track 5). Таким образом, один элемент мозаичного изображения определен для каждого трека. Определение является таким же, как и в случае каждого трека на фиг. 41, 43, 45, 47, 49 и 51 (случай каждого элемента мозаичного изображения на фиг. 39).

Предполагается, что наименование файла такого файла МР4 представляет собой bitstream.mp4.

Случай 1 файла и множества треков (ссылка по ссылке трека и экстрактору): MPD

MPD МР4 на фиг. 53 представлено на фиг. 54. Даже в MPD выполняют такое же расширение, как и в MPD на фиг. 42, 46 и 50, соответствующем файлам МР4 на фиг. 41, 45, и 49. Таким образом, расширяют вспомогательное свойство (SupplementalProperty) или существенное свойство (EssentialProperty) набора адаптации (AdaptationSet).

MPD на фиг. 54 в основном имеет такую же конфигурацию, как и MPD на фиг. 42, 46 и 50. Однако MPD на фиг. 54 отличается от MPD, в котором сохранен ID в каждом представлении (Representation). В представлении (Representation), расположенном в верхней части на фиг. 54, сохранен ID (BS), обозначающий основной трек. Во втором представлении (Representation) сверху сохранен ID (ti1), обозначающий ID элемента 1 мозаичного изображения. Аналогично, в третьем - пятом представлениях (Representation), сохранены ID (от tl2 по tl4), обозначающие ID элементов 2-4 мозаичного изображения.

Кроме того, во втором представлении сверху сохранен ID (dependencyid = bs), обозначающий трек, зависимый от основного трека. Аналогично в каждом из третьего - пятого представлений (Representation), сохранен ID (dependencyid = bs), обозначающий трек, зависящий от основного трека.

Файлом МР4 на фиг. 53 можно администрировать с помощью MPD на фиг. 54.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактора): использование MPD

Генерирование расширенного MPD можно выполнять, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение данных доставки, используя расширенное MPD, также может быть выполнено, как и в случае первого варианта осуществления. Например, устройство 103 терминала (фиг. 13) может правильно анализировать расширенное MPD путем выполнения обработки генерирования данных доставки (фиг. 16) и выполнения адаптивной доставки (подачи) данных частичного изображения сервером 102 доставки, которая основана на стандарте DASH. Таким образом, возможно, правильно получать данные частичного изображения из сервера 102 доставки и воспроизводить данные частичного изображения. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактору): файл МР4

На фиг. 55 показана схема, иллюстрирующая пример конфигурации файла МР4, полученного путем подачи потока битов (bitstream7), имеющего, например, структуру мозаичного изображения (Tile), представленную на фиг. 6В. В случае примера на фиг. 55, как и в примерах фиг. 43, 47 и 51, треки элементов мозаичного изображения рассматривают, как разные файлы МР4. Кроме того, срезы, которые представляют собой фактические данные элементов мозаичного изображения, собирают и сохраняют в треке 1 (Track 1), который представляет собой основной трек.

В случае примера на фиг. 41, соотношение ссылки данных между треками определяют, используя экстрактор. В случае примера на фиг. 45, соотношение ссылки данных между треками определяют, используя ссылку трека. В случае примера на фиг. 55, с другой стороны, как в примере на фиг. 49, используются как экстрактор, так и ссылка трека. Однако способ использования экстрактора и ссылки трека отличается от случая на фиг. 49, и аналогичен случаю на фиг. 53.

Более конкретно, в трек 1 (Track 1), как представлено на фиг. 55, сохранены наборы параметра, такие как набор видеопараметров (VPS), набор параметра последовательности (SPS) и набор параметра изображения (PPS), и фактические данные, такие как SEI. Кроме того, в трек 1 (Track 1), сохранены срезы 1-4, которые представляют собой фактические данные элементов мозаичного изображения HEVC. Здесь от трека 2 (Track 2) до трека 5 (Track 5) имеют как экстрактор, так и ссылку трека, для ссылки на информацию, относящуюся к трек 1 (Track 1).

Другими словами, в треке 2 (Track 2) по трек 5 (Track 5), как представлено на фиг. 53, "prnt = 1" определен, как ссылка трека (Track Reference). Это обозначает, что эти треки относятся к треку 1. Таким образом, это обозначает, что к информации (наборам параметра и т.п.), относящейся к треку 1, ссылаются в соответствии со ссылкой трека, когда воспроизводят любой (любой элемент мозаичного изображения) из треков 2-5.

В каждом из треков от трека 2 (Track 2) до трека 5 (Track 5), "ext1" определен как экстрактор. Таким образом, к срезу 1 трека 1 обращаются, в соответствии с экстрактором, например, воспроизводят элемент мозаичного изображения трека 2. Аналогично, к срезу 2 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 3. Кроме того, к срезу 3 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 4, и к срезу 4 трека 1 обращаются, когда воспроизводят элемент мозаичного изображения трека 5.

Таким образом, только трек 1 может быть воспроизведен, когда воспроизводится все изображение (1920×1080), и возможно уменьшить нагрузку, когда воспроизводится полное изображение.

Также, на фиг. 55, как и в случаях фиг. 39, 41, 43, 45, 47, 49, 51 и 53, запись группы области элемента мозаичного изображения (TileRegionGroupEntry) определен в каждом из от трека 2 (Track 2) по трек 5 (Track 5). Таким образом, один элемент мозаичного изображения определен для каждого трека. Его содержание является таким же, как и на фиг. 39, и т.д.

Таким образом, файл МР4 на фиг. 55 имеет такую же основную конфигурацию, как и файл МР4 на фиг. 53 за исключением того, что файлы МР4, разделенные в примере фиг. 53, собраны вместе, как один файл МР4.

Предполагается, что наименования для файлов МР4 на фиг. 55 представляют собой bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4 и bitstream_tile4.mp4 в порядке, начиная сверху.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактора): MPD

Даже в MPD файл МР4 на фиг. 55, как в представленных выше случаях, ссылка по экстрактору, вспомогательному свойству (SupplementalProperty) или существенному свойству (EssentialProperty) набора адаптации (AdaptationSet) расширены. Этот пример представлен на фиг. 56. MPD на фиг. 56 имеет такую же конфигурацию, как и MPD на фиг. 54.

Файлом МР4 на фиг. 55 можно администрировать по MPD на фиг. 56.

Случай множества файлов и множества треков (ссылка по ссылке трека и экстрактору): использование MPD

Генерирование расширенного MPD можно выполнять, как в случае первого варианта осуществления. Например, когда устройство 101 генерирования данных доставки (фиг. 12) выполняет обработку генерирования данных доставки (фиг. 14), и модуль 141 генерирования MPD типа элемента мозаичного изображения (модуль 124 генерирования информации изображения типа элемента мозаичного изображения) (фиг. 12) выполняет обработку генерирования файла MPD типа элемента мозаичного изображения (фиг. 15), расширенное MPD может быть сгенерировано (MPD расширено). В соответствии с этим, даже в этом случае, устройство 101 генерирования данных доставки может адаптивно доставлять (подавать) данные частичного изображения в сервер 102 доставки на основе стандарта DASH. Таким образом, возможно, реализовать адаптивную подачу данных частичного изображения.

Воспроизведение подачи данных, используя расширенное MPD, может также быть выполнено как в случае первого варианта осуществления. Например, устройство терминала 103 (фиг. 13) может правильно разложить расширенное MPD, выполняя подачи обработку генерирования данных (фиг. 16) и усиление адаптивная доставка (запасы) данных компоненты изображения подачи сервером 102, который основан на стандарте DASH. Таким образом, возможно правильно получить данные компоненты изображения от подачи сервера 102 и воспроизвести данные компоненты изображения. Таким образом, возможно реализовать адаптивные запасы данных компоненты изображения.

Таким образом, в примерах на фиг. 53-56 информация частичного изображения включает в себя ссылку трека и экстрактор, ссылку трека и экстрактор сохраняют в треках, соответствующих множеству частичных изображений, и выполняют ссылку к трекам, содержащим срезы частичных изображений.

Объем применения настоящей технологии можно применять в любых устройствах обработки информации, которые подают или принимают частичные изображения.

6. Шестой вариант осуществления

Компьютер

Описанная выше последовательность обработки также может быть выполнена с помощью аппаратных средств и может также быть выполнена с использованием программного обеспечения. Когда последовательность обработки выполняется программным обеспечением, программу программного обеспечения устанавливают в компьютер. Здесь компьютер включает в себя компьютер, встроенный в специализированное аппаратное обеспечение, и, например, персональный компьютер общего назначения, выполненный с возможностью выполнения различных функций путем установки различных программ.

На фиг. 57 показана блок-схема, представляющая пример конфигурации аппаратных средств компьютера, выполняющего описанную выше последовательность обработки, в соответствии с программой.

В компьютере 500 представленном на фиг. 57, центральное процессорное устройство (CPU) 501, постоянное запоминающее устройство (ROM) 502 и оперативное запоминающее устройство (RAM) 503 взаимно соединены через шину 504.

Интерфейс 510 ввода и вывода также соединен с шиной 504. Модуль 511 ввода, модуль 512 вывода, модуль 513 накопителя, модуль 514 передачи данных и привод 515 соединены с интерфейсом 510 ввода и вывода.

Модуль 511 ввода сформирован, например, из клавиатуры, "мыши", микрофона, сенсорной панели или терминала ввода. Модуль 512 вывода сформирован, например, из дисплея, громкоговорителя или терминала вывода. Модуль 513 накопителя сформирован, например, из жесткого диска, диска RAM или энергонезависимого запоминающего устройства. Модуль 514 передачи данных сформирован, например, как сетевой интерфейс. Привод 515 выполняет привод съемного носителя 521 информации, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше конфигурацию, например, CPU 501 выполняет описанную выше обработку путем загрузки программы, сохраненной в модуле 513 накопителя, в RAM 503 через интерфейс 510 ввода и вывода и шину 504 и выполняет программу. В RAM 503 также соответствующим образом записывают данные, необходимые CPU 501 для выполнения различной обработки.

Например, программа, выполняемая компьютером (CPU 501), может быть записана на съемном носителе 521 информации, таком как применяемый пакетный носитель информации. В этом случае, путем установки съемного носителя 521 информации в привод 515, программа может быть установлена в модуле 513 накопителя через интерфейс 510 ввода и вывода.

Программа также может быть передана через проводную или беспроводную среду передачи, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача. В таком случае программа может быть принята модулем 514 передачи данных для установки в модуле 513 накопителя.

Кроме того, программа также может быть установлена заранее в ROM 502 или в модуле 513 накопителя.

Программы, выполняемые компьютером, могут представлять собой программы, которые обрабатываются хронологически в порядке, описанном в настоящем описании, или могут представлять собой программы, которые обрабатываются в необходимые моменты времени, например, параллельно или по вызову.

В настоящем описании этапы, описывающие программу, записанную на носителе информации, включают в себя не только обработку, которая выполняется хронологически в описанном порядке, но также и обработку, которая выполняется параллельно или индивидуально, но не хронологически.

7. Седьмой вариант осуществления

Применение кодирования многовидового изображения и декодирования многовидового изображения

Кодирование многовидового изображения и декодирование многовидового изображения могут применяться, как схемы кодирования изображения и декодирования изображения, относящиеся к описанной выше последовательности обработки. На фиг. 58 иллюстрируется пример схемы кодирования многовидового изображения.

Как представлено на фиг. 58, многовидовое изображение включает в себя изображения, имеющие множество обзоров. Множество обзоров многовидового изображения включает в себя основной обзор, для которого выполняют кодирование/декодирование, используя только изображение его собственного обзора, не используя изображения других обзоров, и неосновные обзоры, для которых кодирование/декодирование выполняют, используя изображения других обзоров. В неосновном обзоре может использоваться изображение основного обзора, и может использоваться изображение другого неосновного обзора.

При доставке многовидового изображения, как показано на фиг. 58, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, также возможно реализовать адаптивную подачу данных частичных изображений в отношении многовидового изображения.

Далее, информация, необходимая для кодирования и декодирования флагов или параметров (например, VPS, SPS и т.п., в качестве информации кодирования) используемой в способе каждого варианта осуществления, описанном выше, может совместно использоваться между кодированием и декодированием каждого обзора. Таким образом, возможно предотвратить передачу избыточной информации и исключить снижение эффективности кодирования.

Устройство кодирования многовидового изображения

На фиг. 59 представлена схема, иллюстрирующая устройство кодирования многовидового изображения, которое выполняет описанное выше кодирование многовидового изображения. Как представлено на фиг. 59, устройство 600 кодирования многовидового изображения имеет модуль 601 кодирования, модуль 602 кодирования и модуль 603 мультиплексирования.

Модуль 601 кодирования кодирует изображение основного вида для генерирования кодированного потока изображения основного вида. Модуль 602 кодирования кодирует изображение неосновного вида для генерирования кодированного потока изображения неосновного вида. Модуль 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, генерируемый модулем 601 кодирования, и кодированный поток изображения неосновного вида, генерируемый модулем 602 кодирования для генерирования кодированного потока многовидового изображения.

Например, устройство 600 кодирования многовидового изображения может применяться, как модуль 122 кодирования изображения (который представляет собой один модуль обработки кодирования модуля кодирования изображения) (фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). Таким образом, также возможно применять способ каждого варианта осуществления, описанного выше, для доставки многовидового изображения, и, таким образом, возможно реализовать адаптивную доставку данных частичных изображений.

Устройство декодирования многовидового изображения

На фиг. 60 показана схема, иллюстрирующая устройство декодирования многовидового изображения, которое выполняет описанное выше декодирование многовидового изображения. Как представлено на фиг. 60, устройство 610 декодирования многовидового изображения имеет модуль 611 демультиплексирования, модуль 612 декодирования и другой модуль 613 декодирования.

Модуль 611 демультиплексирования демультиплексирует кодированный поток многовидового изображения, полученный путем мультиплексирования кодированного потока изображения основного вида и кодированного потока изображения неосновного вида для выделения кодированного потока изображения основного вида и кодированного потока изображения неосновного вида. Модуль 612 декодирования декодирует кодированный поток изображения основного вида, выделенный модулем 611 демультиплексирования, для получения изображения основного вида. Модуль 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный модулем 611 демультиплексирования, для получения изображения неосновного вида.

Например, устройство 610 декодирования многовидового изображения может применяться, как модуль 155 декодирования изображения (один модуль обработки декодирования модуля декодирования изображения) устройства 103 терминала (фиг. 11). Таким образом, также возможно применять способ каждого варианта осуществления, описанного выше, для доставки многовидового изображения, и, таким образом, возможно реализовать адаптивную подачу данных частичных изображений.

Восьмой вариант осуществления

Применение кодирования многоуровневого изображения/декодирования многоуровневого изображения

Последовательность обработки, описанная выше, может применяться для кодирования многоуровневого изображения/декодирования многоуровневого изображения (кодирование с масштабированием/декодирование с масштабированием). На фиг. 61 иллюстрируется пример схемы кодирования многоуровневого изображения.

Кодирование многоуровневого изображения (кодирование с масштабированием) подразумевает разделение изображения на множество уровней (многоуровневое) и выполнение кодирование для каждого уровня таким образом, что данные изображения могут обладать масштабируемостью в отношении заданного параметра. Декодирование многоуровневого изображения (декодирование с масштабированием) представляет собой декодирование, которое соответствует кодированию многоуровневого изображения.

Разделение на уровни изображения представляет собой параметр, относящийся к изображению, и выполняется путем изменения заданных параметров, обладающих масштабируемостью. Таким образом, как представлено на фиг. 61, изображение, подвергаемое разделению на уровни (разделенное на уровни изображение) конфигурируют так, чтобы оно включало в себя множество изображений, в которых значения заданных параметров с масштабируемостью были бы взаимно разными. Каждое изображение из множества изображений рассматривается, как уровень.

Множество уровней многоуровневого изображения включает в себя основной уровень, в котором используется только информация, относящаяся к собственному уровню, без использования информации, относящейся к другим уровням во время кодирования и декодирования, и не основные уровни (также называются уровнями расширения), в которых может использоваться информация, относящаяся к другим уровням, во время кодирования и декодирования. На не основных уровнях также может использоваться информация, относящаяся к основному уровню, и также может использоваться информация, относящаяся к другим, не основным уровням.

Кодирование многоуровневого изображения представляет собой обработку кодирования такого разделенного на уровни изображения. Например, изображение основного уровня кодируют, используя только информацию, относящуюся к основному уровню, для генерирования кодированных данных основного уровня. Например, изображения не основных уровней кодируют, используя информацию, относящуюся к основному уровню, и информацию, относящуюся к неосновному уровню, и генерируют кодированные данные не основных уровней.

Декодирование многоуровневого изображения представляет собой обработку декодирования кодированных данных, подвергаемых кодированию многоуровневого изображения и генерированию декодированного изображения любого уровня. Например, кодированные данные основного уровня декодируют для генерирования декодированного изображения основного уровня. Например, декодируют кодированные данные основного уровня, и кодированные данные не основных уровней декодируют, используя информацию, относящуюся к основному уровню, для генерирования декодированных изображений не основных уровней.

Таким образом, кодированные данные разделяют и генерируют для каждого уровня, используя многоуровневое кодирование. Поэтому, во время декодирования, кодированные данные всех уровней могут не обязательно быть необходимыми, и могут быть получены только кодированные данные уровня, необходимого для получения требуемого декодированного изображения. В соответствии с этим, возможно предотвращать увеличение количества передаваемых данных со стороны кодирования на сторону декодирования.

Может использоваться любая информация другого уровня, используемая для кодирования и декодирования. Однако может использоваться, например, изображение (например, декодированное изображение). Например, может выполняться прогнозирование между уровнями, используя изображение другого уровня. Таким образом, возможно уменьшить избыточность между уровнями. В частности, возможно предотвращать увеличение объема кодирования неосновного уровня. Использование информации между уровнями (например, прогнозирование между уровнями) может выполняться во всех изображениях движущегося изображения. Как представлено на фиг. 61, использование информации может выполняться в некоторых из изображений.

Как описано выше, качество изображений разных уровней многоуровневого изображения является различным в отношении заданных параметров, обладающих масштабируемостью. Таким образом, в результате выполнения кодирования многоуровневого изображения и декодирования многоуровневого изображения для многоуровневого изображения, возможно легко получать изображения с различным качеством, в соответствии с ситуациями. Могут выполняться любые установки в отношении качества каждого уровня. Однако, в общем, качество изображения основного уровня устанавливают так, чтобы оно было ниже, чем качество изображения уровня расширения, используя информацию в отношении основного уровня.

Например, информация сжатия изображений (кодированные данные), относящаяся только к основному уровню, может быть передана в терминал, такой как мобильный телефон, с низкой способностью к обработке, и информация сжатия изображений (кодированные данные), относящаяся к уровню расширения, в дополнение к основному уровню, может быть передана в терминал, такой как телевизионный приемник или персональный компьютер, с высокой способностью к обработке.

В общем, нагрузка при обработке воспроизведения изображения с низким качеством будет меньше, чем нагрузка при обработке воспроизведения изображения с высоким качеством. Соответственно, в результате выполнения перехода таким образом, становится возможным обеспечить возможность каждому терминалу выполнять обработку воспроизведения, в соответствии со способностью, например, обеспечить возможность для терминала с малыми возможностями обработки воспроизводить движущееся изображение с низким качеством и обеспечить возможность для терминала с высокой способностью к обработке воспроизводить движущееся изображение с высоким качеством. Таким образом, можно обеспечить для терминалов, благодаря большой степени изменения способностей обработке, возможность нормального воспроизведения движущегося изображения (без ошибок). Как описано выше, только кодированные данные необходимого уровня могут быть переданы в каждый терминал. Поэтому возможно предотвратить увеличение количества данных (объема передачи) кодированных данных, предназначенных для передачи. Кроме того, как описано выше, в результате использования информации, относящейся к другим уровням, возможно предотвратить увеличение объема кодирования. В случае многоуровневого кодирования и многоуровневого декодирования, доставка данных, в соответствии с терминалом, может быть реализована без обработки транскодирования.

При доставке многоуровневого изображения, как на фиг. 61, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, возможно реализовать адаптивную доставку данных частичного изображения даже в многоуровневом изображении.

Кроме того, информация, необходимая для кодирования и декодирования флагов или параметров (например, VPS, SPS и т.п., в качестве информации кодирования), используемая в способе каждого варианта осуществления, описанным выше, может совместно использоваться между кодированием и декодированием каждого уровня. Таким образом, возможно предотвращать передачу избыточной информации и предотвращать снижение эффективности кодирования.

Масштабируемые параметры

При кодировании многоуровневого изображения и декодировании многоуровневого изображения (кодирование с масштабированием и декодирование с масштабированием), может использоваться любой параметр, обладающий масштабируемостью. Например, пространственное разрешение, представленное на фиг. 62, можно применять, в качестве параметра (пространственная масштабируемость). В случае пространственной масштабируемости пространственное разрешение (то есть количество пикселей в изображении) является разным для каждого уровня. В примере на фиг. 62 каждое изображение разделяют два уровня, основной уровень с низким разрешением и уровень расширения с высоким разрешением. Конечно, такое количество уровней представляет собой пример, и каждое изображение может разделено на любое количество уровней.

В качестве параметра, имеющего такое свойство масштабируемости, например, можно применять временное разрешение, как представлено на фиг. 63 (временная масштабируемость). В случае временной масштабируемости временное разрешение (то есть частота кадров) является различным для каждого уровня. В случае примера на фиг. 63, изображение разделяют на три уровня, уровень с низкой частотой кадров (7,5 кадров/с), уровень с промежуточной частотой кадров (15 кадров/с), и уровень с высокой частотой кадров (30 кадров/с). Конечно, такое количество уровней представляет собой пример, и каждое изображение может быть разделено на любое количество уровней.

В качестве параметра, обладающего таким свойством масштабируемости, например, можно применять отношение сигнал-шум (SNR), как представлено на фиг. 64 (масштабируемость по SNR). В случае масштабируемости по SNR, отношение SN является разным для каждого уровня. В случае примера на фиг. 64, каждое изображение разделяют на два уровня, основной уровень с низким SNR и уровень расширения с высоким SNR. Конечно, такое количество уровней представляет собой пример, и каждое изображение может быть разделено на любое количество уровней.

Параметр, имеющий такое свойство масштабируемости, конечно, может представлять собой другой параметр, чем в описанных выше примерах. Например, битовая глубина может также использоваться, как параметр, обладающий таким свойством масштабируемости (масштабируемость по битовой глубине). В случае масштабируемости по битовой глубине битовая глубина является разной для каждого уровня. Например, основной уровень может быть сформирован из 8-битного изображения, и уровень расширения может быть сформирован из 10-битного изображения. Конечно, такое количество уровней представляет собой пример, и каждое изображение может быть разделено на любое количество уровней. Любая битовая глубина каждого уровня также может использоваться, и не ограничена описанным выше примером.

Например, можно предположит, что основной уровень представляет собой изображение со стандартным динамическим диапазоном (SDR), который имеет стандартный динамический диапазон и уровень расширения, и можно предположить, что уровень расширения представляет собой изображение с высоким динамическим диапазоном (HDR), имеющее более широкий динамический диапазон. Можно предположить, что изображение SDR представляет собой, например, данные изображения с целочисленной точностью 8 битов или 16 битов, и можно предположить, что изображение HDR представляет собой, например, данные изображения с точностью 32 бита с плавающей точкой.

В качестве параметра, обладающего свойством масштабируемости, например, также можно использовать формат цветности (масштабируемость по цветности). В случае масштабируемости по цветности, формат цветности является разным для каждого уровня. Например, основной уровень может быть сформирован, как компонентное изображение с форматом 4:2:0, и уровень расширения могут быть сформированы, как компонентное изображение с форматом 4:2:2. Конечно, такое количество уровней представляет собой пример, и каждое изображение может быть разделено на любое количество уровней. Любой формат цветности каждого уровня также можно использовать, и он не ограничен описанным выше примером.

В качестве параметра, обладающего свойством масштабируемости, например, можно использовать цветовую палитру. Например, цветовая палитра уровня расширения может быть составлена так, чтобы она включала в себя цветовую палитру основного уровня (то есть была бы более широкой, чем цветовая палитра основного уровня).

Устройство кодирования многоуровневого изображения

На фиг. 65 показана схема, иллюстрирующая устройство кодирования многоуровневого изображения, которое выполняет описанное выше кодирование многоуровневого изображения. Устройства 620 кодирования многоуровневого изображения имеет модуль 621 кодирования, другой модуль 622 кодирования и модуль 623 мультиплексирования, как представлено на фиг. 65.

Модуль 621 кодирования кодирует изображение основного уровня для генерирования кодированного потока изображения основного уровня. Модуль 622 кодирования кодирует изображение неосновного уровня для генерирования кодированного потока изображения неосновного уровня. Модуль 623 мультиплексирования мультиплексирует кодированный поток изображения основного уровня, сгенерированный модулем 621 кодирования, и кодированный поток изображения неосновного уровня, сгенерированный модулем 622 кодирования для генерирования кодированного потока многоуровневого изображения.

Например, устройство 620 кодирования многоуровневого изображения может применяться, как модуль 122 кодирования изображения (который представляет собой один модуль обработки кодирования в модуле кодирования изображения) (фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). Таким образом, также возможно применять способ каждого варианта осуществления, описанного выше, для доставки многоуровневого изображения, и, таким образом, возможно реализовать адаптивную доставку данных частичных изображений.

Устройство декодирования многоуровневого изображения

На фиг. 66 показана схема, иллюстрирующая устройство декодирования многоуровневого изображения, которое выполняет описанное выше декодирование многоуровневого изображения. Устройство 630 декодирования многоуровневого изображения имеет модуль 631 демультиплексирования, модуль 632 декодирования и другой модуль 633 декодирования, как представлено на фиг. 66.

Модуль 631 демультиплексирования демультиплексирует кодированный поток многоуровневого изображения, полученный в результате мультиплексирования кодированного потока изображения основного уровня и кодированного потока изображения неосновного уровня, для выделения кодированного потока изображения основного уровня и кодированного потока изображения неосновного уровня. Модуль 632 декодирования декодирует кодированный поток изображения основного уровня, выделенный модулем 631 демультиплексирования, для получения изображения основного уровня. Модуль 633 декодирования декодирует кодированный поток изображения неосновного уровня, выделенный модулем 631 демультиплексирования, для получения изображение неосновного уровня.

Например, устройство 630 декодирования многоуровневого изображения может применяться, как модуль 155 декодирования изображения (один модуль обработки декодирования модуля декодирования изображения) устройства 103 терминала (фиг. 11). Таким образом, также возможно применять способ каждого варианта осуществления, описанного выше, для доставки многоуровневого изображения, и, таким образом, возможно реализовать адаптивную подачу данных частичных изображений.

Устройство кодирования изображения и устройство декодирования изображения, в соответствии с представленными выше вариантами осуществления, могут применяться в различных электронных устройствах, таких как передатчик или приемник в спутниковой широковещательной передаче, в проводной многоадресной передаче, такой как кабельное телевидение или Интернет, и при подаче в терминал, используя систему сотовой связи, устройство записи, записывающее изображение на носителе записи, таком как оптический диск, магнитный диск или память типа флэш, или устройство воспроизведения, воспроизводящее изображение с носителя сохранения. Ниже будут описаны два примера применения.

9. Примеры применения

Первый пример приложения: телевизионный приемник

На фиг. 67 показана блок-схема, иллюстрирующая пример схематичной конфигурации телевизионного устройства, в котором применяются описанные выше варианты осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908. Телевизионное устройство 900 дополнительно включает в себя модуль 909 внешнего интерфейса (I/F), модуль 910 управления, модуль 911 интерфейс (I/F) пользователя и шину 912. Телевизионное устройство 900 также включает в себя модуль 914 обработки МР4 и модуль 915 обработки MPEG-DASH.

Тюнер 902 выделяет сигнал требуемого канала (настраиваемого канала) из сигнала волны широковещательной передачи, принятого через антенну 901, и демодулирует выделенный сигнал. Тюнер 902 затем выводит кодированный поток битов, полученный посредством демодуляции, в демультиплексор 903.

Демультиплексор 903 демультиплексирует видеопоток и аудиопоток программы - цели просмотра из кодированного потока битов и выводит демультиплексированные потоки в декодер 904. Демультиплексор 903 выделяет вспомогательные данные, такие как электронная программа передач (EPG), из кодированного потока битов и подает выделенные данные в модуль 910 управления. Когда кодированный поток битов подвергают скремблированию, демультиплексор 903 может выполнить дескремблирование для кодированного потока битов.

Декодер 904 декодирует видеопоток и аудиопоток, выводимые из демультиплексора 903. Декодер 904 выполняет декодирование, используя модуль обработки МР4 914 или модуль обработки MPEG-DASH 915, по мере необходимости. Декодер 904 выводит видеоданные, сгенерированные при обработке декодирования, в модуль 905 обработки видеосигнала. Декодер 904 выводит аудиоданные, сгенерированные в результате обработки декодирования, в модуль 907 обработки аудиосигнала.

Модуль обработки 905 видеосигнала воспроизводит видеоданные, подаваемые из декодера 904, и обеспечивает отображение изображение модулем 906 дисплея. Например, модуль 905 обработки видеосигнала также может воспроизводить видеоданные, подаваемые извне через модуль 913 приема, и может обеспечивать отображение модулем 906 дисплея изображения. Например, модуль 905 обработки видеосигнала также может генерировать изображение, путем выполнения приложения, подаваемого извне через модуль 913 приема, и может обеспечить отображение изображения модулем 906 дисплея.

При воспроизведении видеоданных или при генерировании изображения, модуль 905 обработки видеосигнала также может выполнять, например, дополнительную обработку, такую как удаление шумов изображения, отображаемого модулем 906 дисплея. Например, модуль 905 обработки видеосигнала также может генерировать изображение графического интерфейса пользователя (GUI), такого как меню, кнопка или курсор, и накладывать это изображение на изображение, отображаемое модулем 906 дисплея.

Модуль 907 обработки аудиосигнала выполняет обработку воспроизведения, такую как D-A преобразование, и усиление аудиоданных, вводимых из декодера 904, и выводит звук через громкоговоритель 908. Например, модуль 907 обработки аудиосигнала также может воспроизводить аудиоданные, подаваемые извне, через модуль 913 приема, и выводить звук через громкоговоритель 908. Например, модуль 907 обработки аудиосигнала может также генерировать звук, выполняя приложение, подаваемое извне через модуль 913 приема, и выводить звук через громкоговоритель 908.

При воспроизведении аудиоданных и при генерировании звука, модуль 907 обработки аудиосигнала также может выполнять, например, дополнительную обработку, такую, как удаление шумов, для звука, выводимого через громкоговоритель 908.

Модуль 909 внешнего интерфейса представляет собой интерфейс для соединения телевизионного устройства 900 с внешним устройством или сетью. Внешнее устройство может представлять собой любое электронное устройство, такое как компьютер, присоединяемый внешний привод жесткого диска (HDD), соединяемый через соединительный кабель заданного стандарта, такого как универсальная последовательная шина (USB) или IEEE 1394, и присоединяемый внешний привод оптического диска или накопитель, подключаемый по сети (NAS), если только устройство может передавать и принимать информацию в и из телевизионного устройства 900.

Сеть представляет собой сеть передачи данных, используемую, как среда передачи данных. Сеть может представлять собой любую сеть передачи данных, проводную сеть передачи данных, беспроводную сеть передачи данных или оба их вида. Например, сеть может представлять собой кабельную локальную вычислительную сеть (LAN), беспроводную LAN, телефонную сеть общего пользования, глобальную вычислительную сеть для беспроводного движущегося объекта, такую как, так называемая, сеть 3G или сеть 4G, или Интернет для беспроводных движущихся объектов, или их комбинацию. Сеть может представлять собой одиночную сеть передачи данных или множество сетей передачи данных. Например, сеть может быть выполнена из множества сетей передачи данных, взаимно соединенных через серверы, релейные устройства и т.п. Например, часть или вся сеть могут быть сконфигурирована, как кабель передачи данных заданного стандарта, такая как кабель универсальной последовательной шины (USB) или кабель мультимедийного интерфейса высокой четкости (HDMI: зарегистрированный товарный знак). Например, часть или вся сеть может быть сконфигурирована с использованием способа, который основан на заданном стандарте, таком как беспроводная LAN специального режима Института инженеров по электротехнике и электронике (IEEE) 802.11, на оптической передаче данных по инфракрасным лучам, такая как стандарт Ассоциации по средствам передачи данных в инфракрасном диапазоне (IrDA) и т.п., или Bluetooth (зарегистрированный товарный знак), или может быть выполнена, как беспроводная передача данных по уникальной схеме передачи данных.

В дополнение к телевизионному устройству 900, другое устройство (внешнее устройство) и т.п. может быть подключено к сети. Телевизионное устройство 900 может выполнять обмен данными (передавать и принимать информацию) с внешним устройством через сеть.

Модуль 909 внешнего интерфейса может принимать кодированный поток битов, подаваемый из внешнего устройства через кабель передачи данных или сеть. Когда модуль 909 внешнего интерфейса принимает кодированный поток битов, модуль 909 внешнего интерфейса подает кодированный поток битов в демультиплексор 903 через шину 912.

Демультиплексор 903 обрабатывает кодированный поток битов, как кодированный поток битов, подаваемый из тюнера 902, для демультиплексирования видеопотока и аудиопотока, выделяет вспомогательные данные, такие как EPG, или выполняет дескремблирование. Таким образом, телевизионное устройство 900 может принимать сигнал волны широковещательной передачи, включающей в себя кодированный поток битов, и также может принимать кодированный поток битов, передаваемый через сеть, декодировать кодированный поток битов, и выводить видео- или аудиоданные.

Таким образом, антенна 901 или модуль 909 внешнего интерфейса функционируют, как модуль приема в телевизионном устройстве 900.

Телевизионное устройство 900 также может передавать информацию во внешнее устройство через модуль 909 внешнего интерфейса. Эта информация является произвольной. Например, информация может представляет собой запрос содержания, такого как видео- или аудиоданные, информацию, относящуюся к функции передачи данных телевизионного устройства 900, необходимую для установления обмена данными, или информацию, относящуюся к функции декодирования, функции отображения изображения, функции вывода звука телевизионного устройства 900. Телевизионное устройство 900 также может передавать кодированный поток битов, принятый через антенну 901, во внешнее устройство через модуль 909 внешнего интерфейса. Таким образом, модуль 909 внешнего интерфейса может функционировать, как модуль передачи в телевизионном устройстве 900.

Модуль 910 управления соединен с модулем 911 интерфейса пользователя. Модуль 911 интерфейса пользователя выполнен как переключатель манипуляций или модуль приема сигнала пульта дистанционного управления, и подает сигнал операции в модуль 910 управления, в соответствии с операцией пользователя.

Модуль 910 управления выполнен с использованием CPU, запоминающего устройства и т.п. В запоминающем устройстве содержатся программы, выполняемые CPU, различного вида данные, необходимые для выполнения обработки CPU, данные EPG, данные, полученные через модуль 909 внешнего интерфейса. Программы, сохраненные в запоминающем устройстве, считываются и выполняются в CPU в заданные моменты времени, такие, например, как при включении телевизионного устройства 900. При выполнении программ, CPU управляет соответствующими модулями таким образом, что телевизионное устройство 900 работает в соответствии с операциями пользователя.

Следует отметить, что в телевизионном устройстве 900 предусмотрена шина 912 для соединения тюнера 902, демультиплексора 903, модуля 905 обработки видеосигнала, модуля 907 обработки аудиосигнала, модуля 909 внешнего интерфейса и т.п. с модулем 910 управления.

Когда видеопоток, принимаемый через антенну 901 или модуль 909 внешнего интерфейса, представляет собой файл МР4, декодер 904 подает файл МР4 в модуль 914 обработки МР4. Модуль 914 обработки МР4 анализирует поданный файл МР4 и декодирует кодированные данные, включенные в файл МР4. Модуль 914 обработки МР4 подает данные изображения, полученные в результате декодирования, в декодер 904. Декодер 904 подает данные изображения в модуль 905 обработки видеосигнала.

В качестве обработки модуля 914 обработки МР4, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, модуль 914 обработки МР4 может включать в себя модуль 154 получения файла, модуль 155 декодирования изображения и модуль 156 комбинации изображения элемента мозаичного изображения (фиг. 13) устройства 103 терминала (фиг. 11). В таком случае, модуль 914 обработки МР4 получает файл МР4, включающий в себя данные мозаичных изображений, включенные в требуемый диапазон, через декодер 904 и т.п., выделяет и декодирует кодированные данные мозаичного изображения, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для элементов мозаичных изображений, для генерирования данных изображения в требуемом диапазоне, и подает данные изображения в декодер 904. Таким образом, модуль 914 обработки МР4 может обрабатывать различные файлы МР4, описанные выше в вариантах осуществления, для получения требуемых данных изображения. Таким образом, телевизионное устройство 900 может реализовать адаптивную подачу данных частичных изображений.

Когда видеопоток, принятый через антенну 901 или модуль 909 внешнего интерфейса, представляет собой файл MPD, декодер 904 подает файл MPD в модуль 915 обработки MPEG-DASH. Модуль 915 обработки MPEG-DASH анализирует переданный MPD и получает требуемые данные изображения на основе MPD. Например, когда файлом МР4, включающим в себя кодированные данные, полученные в результате кодирования данных изображения, администрируют с использованием MPD, модуль 915 обработки MPEG-DASH получает файл МР4, соответствующий требуемому изображению, на основе MPD, декодирует кодированные данные, включенные в файл МР4, и подает данные изображения, полученные в результате декодирования, в декодер 904. Декодер 904 подает данные изображения в модуль 905 обработки видеосигнала.

В качестве обработки модуля 915 обработки MPEG-DASH, может применяться способ, в соответствии с каждым вариантом осуществления, описанным выше. Таким образом, модуль 915 обработки MPEG-DASH может включать модуль 151 получения MPD в модуль 156 комбинации элемента мозаичного изображения (каждый модуль обработки, другой, чем модуль 157 дисплея на фиг. 13) устройства 103 терминала (фиг. 11). Модуль 915 обработки MPEG-DASH анализирует MPD, получает файл МР4, включающий в себя данные мозаичного изображения, включенные в требуемый диапазон, через декодер 904 и т.п., выделяет и декодирует кодированные данные мозаичного изображения, соответствующим образом комбинирует полученные данные изображения (элементы мозаичного изображения) элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и подает данные изображения в декодер 904. Таким образом, модуль 915 обработки MPEG-DASH может обрабатывать различные файлы МР4, описанные в вариантах осуществления, для получения требуемых данных изображения. Таким образом, телевизионное устройство 900 может реализовать адаптивную подачу данных в частичных изображениях.

Второй вариант осуществления: мобильный телефон

На фиг. 68 иллюстрируется схематичная конфигурация мобильного телефона, в котором применяется настоящее раскрытие. Мобильный телефон 920 имеет модуль 922 передачи данных, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 демультиплексирования, модуль 929 записи и воспроизведения, модуль 930 дисплея и модуль 931 управления. Составляющие элементы соединены друг с другом через шину 933.

Кроме того, антенна 921 соединена с модулем 922 передачи данных и громкоговорителем 924 и микрофон 925 соединен с аудиокодеком 923. Кроме того, модуль 932 операций соединен с модулем 931 управления.

Мобильный телефон 920 включает в себя модуль 934 обработки МР4 и модуль 935 обработки MPEG-DASH. Модуль 934 обработки МР4 и модуль 935 обработки MPEG-DASH соединены с шиной 933.

Модуль 922 передачи данных выполняет обработку, относящуюся к передаче и приему радиосигналов через антенну 921. Аудиокодек 923 выполняет обработку, относящуюся к кодированию аудиоданных и декодированию кодированных аудиоданных, полученных в результате кодирования аудиоданных. Модуль 926 камеры формирует изображения субъекта и выполняет обработку, относящуюся к формированию изображений, такую как генерирование данных изображения.

Модуль 927 обработки изображений выполняет обработку данных изображения. Например, модуль 927 обработки изображений может выполнять любую обработку изображений для данных изображения. Модуль 927 обработки изображений также может кодировать данные изображения или декодировать кодированные данные, полученные в результате кодирования данных изображения.

Модуль 928 демультиплексирования выполняет, например, обработку, относящуюся к мультиплексированию множества частей данных, таких как данные изображения или аудиоданные, или к демультиплексированию мультиплексированных данных.

Модуль 929 записи и воспроизведения включает в себя любой носитель сохранения, выполненный с возможностью выполнения считывания и записи, и выполняет обработку, относящуюся к записи данных на носителе сохранения или к считыванию (воспроизведению) данных, сохраненных на носителе сохранения. Носитель сохранения может представлять собой носитель сохранения внутреннего типа, такой как RAM или запоминающее устройство флэш, или может представлять собой носитель сохранения типа внешнего подключения, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB или карта памяти.

Модуль 930 дисплея включает в себя устройство дисплея (например, жидкокристаллический дисплей, плазменный дисплей или дисплей органической электролюминесценции (OELD) (дисплей органической EL)) и выполняет обработку, относящуюся к отображению изображения.

Модуль 931 управления включает в себя процессор, такой как CPU, и запоминающие устройства, такие как RAM и ROM. В запоминающих устройствах содержатся программы, выполняемые CPU, данные программы, данные EPG, данные, полученные через сеть, и т.п. Программы, сохраняемые в запоминающих устройствах, считывают и выполняют с помощью CPU, например, когда включают мобильный телефон 920. CPU управляет операцией каждого модуля обработки мобильного телефона 920, например, в соответствии с сигналом операции, вводимым через модуль 932 операций, при выполнении программы.

Модуль 934 обработки МР4 выполняет обработку, относящуюся к файлу МР4. Модуль 935 обработки MPEG-DASH выполняет обработку, относящуюся к генерированию данных доставки, доставляемых в способе, который основан на стандарте MPEG-DASH, или информации управления, такой как генерирование MPD или файла МР4. Модуль 935 обработки MPEG-DASH также выполняет обработку, относящуюся к воспроизведению данных доставки, доставляемых в способе, который основан на стандарте MPEG-DASH, такую как анализ MPD или обработка файла МР4.

Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигналов, передача и прием электронной почты или данных изображения, съемка изображений и запись данных в различных режимах работы, таких как режим голосового вызова, режим передачи данных, режим фотографирования и режим видеофона.

Например, в случае режима голосового вызова, аналоговый аудиосигнал, генерируемый микрофоном 925, подают в аудиокодек 923. Аудиокодек 923 выполняет A-D преобразование для преобразования аналогового аудиосигнала в цифровые аудиоданные и кодирует (сжимает) цифровые аудиоданные. Аудиокодек 923 выводит аудиоданные (кодированные аудиоданные) после сжатия в модуль 922 передачи данных. Модуль 922 передачи данных дополнительно кодирует или модулирует кодированные аудиоданные, для генерирования сигнала передачи. Затем модуль 922 передачи данных передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921.

Модуль 922 передачи данных выполняет усиление или преобразование частоты радиосигнала, принятого через антенну 921, для получения принятого сигнала, демодулирует или декодирует принятый сигнал для генерирования кодированных аудиоданных, и выводит кодированные аудиоданные в аудиокодек 923. Аудиокодек 923 декодирует (распаковывает) переданные кодированные аудиоданные или выполняет D-A преобразование для генерирования аналогового аудиосигнала. Аудиокодек 923 подает аналоговый аудиосигнал в громкоговоритель 924 для вывода звука.

Например, когда выполняется передача почты в режиме передачи данных, модуль 931 управления принимает текст, вводимый пользователем через модуль 932 операций, и обеспечивает отображение модулем 930 дисплея вводимого текста. Модуль 931 управления принимает инструкцию передачи почты от пользователя через модуль 932 операций, генерирует данные электронной почты, в соответствии с инструкцией, и подает данные электронной почты в модуль 922 передачи данных. Модуль 922 передачи данных кодирует или модулирует поданные данные электронной почты для генерирования сигнала передачи, выполняет преобразование частоты или усиление для сигнала передачи, и передает этот сигнал в базовую станцию (не показана) через антенну 921.

Например, когда выполняют прием почты в режиме передачи данных, модуль 922 передачи данных выполняет усиление или преобразование частоты радиосигнала, принятого через антенну 921, для получения принятого сигнал, демодулирует или декодирует принятый сигнал для восстановления данных электронной почты, и подает восстановленные данные электронной почты в модуль 931 управления. Модуль 931 управления обеспечивает отображение модулем 930 дисплея содержания электронной почты и сохраняет данные электронной почты на носителе сохранения модуля 929 записи и воспроизведения.

Например, в случае режима фотографирования, модуль 926 камеры формирует изображения субъекта для генерирования данных изображения. Модуль 926 камеры подает сгенерированные данные изображения в модуль 927 обработки изображений через шину 933. Модуль 927 обработки изображений выполняет обработку изображений для данных изображения. Модуль 926 камеры подает данные изображения, подвергаемые обработке изображений, в модуль 930 дисплея через шину 933, для отображения изображения. Модуль 927 обработки изображений кодирует данные изображения, подвергаемые обработке изображений, для генерирования кодированных данных, подает кодированные данные (кодированные данные изображения) в модуль 929 записи и воспроизведения через шину 933, и сохраняет кодированные данные на носителе сохранения, на основе управления (инструкции пользователя и т.п., подаваемой через модуль 932 операций) модуля 931 управления.

Когда также выполняется запись звука, вместе с фотографированием в режиме съемки, модуль 926 камеры формирует изображения субъектов и генерирует данные изображения, микрофон 925 записывает звук, и генерируется аналоговый аудиосигнал. Модуль 927 обработки изображений выполняет обработку изображений для данных изображения, генерируемых модулем 926 камеры, и обеспечивает отображение модулем 930 дисплея изображения данных изображения, подвергаемых обработке изображений. Аудиокодек 923 выводит звук аналогового аудиосигнала, генерируемого микрофоном 925, через громкоговоритель 924.

Модуль 927 обработки изображений кодирует данные изображения, для генерирования данных кодированного изображения, и подает кодированные данные в модуль 928 демультиплексирования через шину 933 на основе управлении (инструкции пользователя и т.п., вводимой через модуль 932 операций) модуля 931 управления. Аудиокодек 923 выполняет A-D преобразование аналогового аудиосигнала, для генерирования аудиоданных, затем кодирует эти аудиоданные для генерирования кодированных аудиоданных, и подает кодированные аудиоданные в модуль 928 демультиплексирования через шину 933 на основании управления (инструкции пользователя и т.п., вводимой через модуль 932 операций) модуля 931 управления. Модуль 928 демультиплексирования мультиплексирует переданные кодированные данные изображения и кодированные аудиоданные, для генерирования мультиплексированных данных. Модуль 928 демультиплексирования подает мультиплексированные данные в модуль 929 записи и воспроизведения через шину 933, и сохраняет эти мультиплексированные данные на носителе записи.

Например, когда данные изображения передают в режиме передачи данных, модуль 922 передачи данных получает кодированные данные изображения из модуля 927 обработки изображений или из модуля 929 записи и воспроизведения через шину 933, кодирует или модулирует кодированные данные изображения, для генерирования сигнала передачи, выполняет преобразование частоты или усиление сигнала передачи, и передает сигнал в базовую станцию (не показана) через антенну 921 на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций), выполняемого модулем 931 управления.

Например, когда изображение и звук передают в ходе видеовызова, модуль 922 передачи данных получает мультиплексированные данные, в которых мультиплексированы данные изображения и данные звука (например, кодированные данные изображения и кодированные данные звука), из модуля 928 демультиплексирования через шину 933, кодирует или модулирует мультиплексированные данные для генерирования сигнала передачи, выполняет преобразование частоты или усиление для сигнала передачи, и передает сигнал в базовую станцию (не показана) через антенну 921 на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций), выполняемого модулем 931 управления.

Например, когда данные изображения кодируют для генерирования файла МР4, и файл МР4 передают, модуль 934 обработки МР4 получает данные изображения из модуля 926 камеры, модуля 927 обработки изображений, модуля 929 записи и воспроизведения, и т.п. через шину 933 (может получать мультиплексированные данные из модуля 928 демультиплексирования), кодирует эти данные изображения, для генерирования кодированных данных, дополнительно генерирует файл МР4, в котором содержатся кодированные данные, и подает файл МР4 в модуль 922 передачи данных через шину 933 на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций), выполняемого модулем 931 управления. Модуль 922 передачи данных кодирует или модулирует передаваемый файл МР4, для генерирования сигнала передачи, выполняет преобразование частоты или усиление для сигнала передачи, и передает этот сигнал в базовую станцию (не показана) через антенну 921 на основе управления модулем 931 управления.

При обработке модуля 934 обработки МР4, может применяться способ по любому варианту осуществления, описанному выше. Таким образом, модуль 934 обработки МР4 может включать в себя модуль 121 обработки разделения экрана, модуль 122 кодирования изображения, модуль 123 генерирования файла и модуль 126 обработки загрузки на сервер (фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). В этом случае модуль 934 обработки МР4 разделяет и кодирует изображение для каждого элемента мозаичного изображения, генерирует файл МР4, в котором содержатся данные каждого элемента мозаичного изображения, и выполняет загрузку файла МР4 на сервер 102 доставки. Таким образом, модуль 934 обработки МР4 может генерировать различные файлы МР4, описанные выше в вариантах осуществления. Таким образом, мобильный телефон 920 может реализовать адаптивную подачу данных частичных изображений.

Например, когда генерируют MPD, администрирующее информацией, относящейся к данным изображения, и MPD передают, модуль 935 обработки MPEG-DASH получает данные изображения из модуля 926 камеры, модуля 927 обработки изображений, модуля 929 записи и воспроизведения, и т.п. через шину 933 (может получать мультиплексированные данные из модуля 928 демультиплексирования), генерирует MPD администрирующее данными изображения, и подает файл MPD в модуль 922 передачи данных через шину 933 на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций), выполняемого модулем 931 управления. Модуль 922 передачи данных кодирует или модулирует передаваемый файл MPD для генерирования сигнала передачи, выполняет преобразование частоты или усиление сигнала передачи и передает сигнал в базовую станцию (не показана) через антенну 921 на основе управления модуля 931 управления. В это время модуль 935 обработки MPEG-DASH может передавать данные изображения, вместе с файлом MPD, через модуль 922 передачи данных.

Модуль 935 обработки MPEG-DASH может кодировать данные изображения, для генерирования MPD, администрирующего кодированными данными, и передачи файла MPD через модуль 922 передачи данных. Кроме того, модуль 935 обработки MPEG-DASH может передавать кодированные данные вместе с файлом MPD, через модуль 922 передачи данных.

Модуль 935 обработки MPEG-DASH может кодировать данные изображения, для генерирования файла МР4, в котором содержатся кодированные данные, генерировать MPD, администрирующий файлом МР4, и передавать файл MPD через модуль 922 передачи данных. Кроме того, модуль 935 обработки MPEG-DASH может передавать файл МР4 вместе файлом MPD через модуль 922 передачи данных.

В качестве обработки модуля 935 обработки MPEG-DASH, может применяться способ, в соответствии с каждым вариантом осуществления, описанным выше. Таким образом, модуль 935 обработки MPEG-DASH может включать в себя от модуля 121 обработки разделения экрана до модуля 126 обработки загрузки на сервер (включая в себя модуль 141 генерирования MPD типа мозаичного изображения на фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). В этом случае модуль 935 обработки MPEG-DASH разделяет и кодирует изображение для каждого элемента мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, генерирует MPD, администрирующее файлами МР4, и загружает их в сервер 102 доставки. Таким образом, модуль 935 обработки MPEG-DASH может генерировать различные MPD (или файлы МР4), описанные выше в вариантах осуществления. Таким образом, мобильный телефон 920 может реализовать адаптивную доставку данных частичных изображений.

Например, когда данные изображения принимают в режиме передачи данных, модуль 922 передачи данных принимает радиосигнал через антенну 921, выполняет усиление или преобразование частоты для принятого сигнала, для генерирования принятого сигнала, демодулирует или декодирует сигнал для генерирования кодированных данных изображения, и подает кодированные данные изображения в модуль 927 обработки изображений или в модуль 929 записи и воспроизведения через шину 933, на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций) модуля 931 управления. Например, модуль 927 обработки изображений декодирует кодированные данные переданного изображения и подает полученные данные изображения в модуль 930 дисплея для отображения изображения. Например, модуль 929 записи и воспроизведения сохраняет переданные кодированные данные изображения на носителе сохранения.

Например, когда изображение и звук принимают, как видеовызов, модуль 922 передачи данных принимает радиосигнал через антенну 921, выполняет усиление или преобразование частоты для радиосигнала, для генерирования принятого сигнала, и демодулирует или декодирует этот сигнал для генерирования мультиплексированных данных, в которых мультиплексированы данные изображения и аудиоданные (например, кодированные данные изображения и кодированные аудиоданные) на основе управления (инструкции пользователя и т.п., вводимой через модуль 932 операций) модуля 931 управления. Модуль 922 передачи данных подает мультиплексированные данные в модуль 928 демультиплексирования через шину 933. Например, модуль 928 демультиплексирования демультиплексирует кодированные данные изображения и кодированные аудиоданные, включенные в подаваемые мультиплексированные данные, подает кодированные данные изображения в модуль 927 обработки изображений или модуль 929 записи и воспроизведения через шину 933, и подает кодированные аудиоданные в аудиокодек 923 через шину 933. Например, модуль 927 обработки изображений декодирует переданные кодированные данные изображения и подает полученные данные изображения в модуль 930 дисплея для отображения изображения. Например, модуль 929 записи и воспроизведения сохраняет переданные кодированные данные изображения на носителе сохранения. Например, аудиокодек 923 декодирует переданные кодированные аудиоданные и выполняет D-A преобразование для полученных аудиоданных, для генерирования аналогового аудиосигнала и выводит звук аналогового аудиосигнала через громкоговоритель 924.

Например, когда модуль 922 передачи данных принимает файл МР4, в котором содержатся кодированные данные изображения, модуль 934 обработки МР4 получает файл МР4 из модуля 922 передачи данных через шину 933, анализирует файл МР4 для выделения кодированных данных, затем декодирует кодированные данные и подает полученные данные изображения в модуль 927 обработки изображений, модуль 929 записи и воспроизведения, модуль 930 дисплея и т.п. через шину 933 на основе управления (инструкция пользователя и т.п., подаваемой в модуль 932 операций), выполняемого модулем 931 управления. Когда мультиплексированные данные выделяют из файла МР4, или кодированные данные декодируют для получения мультиплексированных данных, модуль 934 обработки МР4 подает полученные мультиплексированные данные в модуль 928 демультиплексирования.

В качестве обработки модуля 934 обработки МР4, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, модуль 934 обработки МР4 может включать в себя модуль 154 получения файла, модуль 155 декодирования изображения и модуль 156 комбинирования элемента мозаичного изображения (фиг. 13) устройства 103 терминала (фиг. 11). В таком случае модуль 934 обработки МР4 получает файл МР4, включающий в себя данные мозаичного изображения, включенные в требуемый диапазон, через модуль 922 передачи данных и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для мозаичного изображения, для генерирования данных изображения в требуемом диапазоне и подает данные изображения в модуль 927 обработки изображений, в модуль 929 записи и воспроизведения, модуль 930 дисплея и т.п., через шину 933. Таким образом, модуль 934 обработки МР4 может генерировать различные файлы МР4, описанные выше в вариантах осуществления. Таким образом, мобильный телефон 920 может реализовать адаптивную подачу данных частичных изображений.

Например, когда модуль 922 передачи данных принимает файл MPD, администрирующий информацией, относящейся к данным изображения, модуль 935 обработки MPEG-DASH получает файл MPD из модуля 922 передачи данных через шину 933 и анализирует файл MPD на основе управления (инструкция пользователя и т.п., вводимой через модуль 932 операций), выполняемого модулем 931 управления, для получения требуемых данных изображения на основе MPD. Например, когда файлом МР4, включающим в себя кодированные данные, полученные путем кодирования данных изображения, администрируют с помощью MPD, модуль 935 обработки MPEG-DASH получает файл МР4, соответствующий требуемому изображению, через модуль 922 передачи данных на основе MPD, декодирует кодированные данные, включенные в файл МР4, и подает данные изображения, полученные в результате декодирования, в модуль 927 обработки изображений, модуль 929 записи и воспроизведения, модуль 930 дисплея и т.п. через шину 933. Когда мультиплексированные данные выделяют из файла МР4, или кодированные данные декодируют для получения мультиплексированных данных, модуль 935 обработки MPEG-DASH подает полученные мультиплексированные данные в модуль 928 демультиплексирования.

В качестве обработки модуля 935 обработки MPEG-DASH, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, модуль 935 обработки MPEG-DASH может включать в себя от модуля 151 получения MPD до модуля 156 комбинирования элемента мозаичного изображения (каждый модуль обработки, кроме модуля 157 дисплея на фиг. 13) устройства 103 терминала (фиг. 11). Модуль 935 обработки MPEG-DASH анализирует MPD, получает файл МР4, включающий в себя данные мозаичного изображения, включенные в требуемый диапазон, через модуль 922 передачи данных и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и подает данные изображения в модуль 927 обработки изображений, модуль 929 записи и воспроизведения, модуль 930 дисплея и т.п. Таким образом, модуль 935 обработки MPEG-DASH может обрабатывать различные файлы МР4, описанные в вариантах осуществления, для получения требуемых данных изображения. Таким образом, мобильный телефон 920 может реализовать адаптивную подачу данных частичных изображений.

Десятый вариант осуществления

Другие примеры

Хотя примеры устройств, систем и т.п., в которых применяется настоящая технология, были описаны выше, настоящая технология не ограничена этим, и может быть воплощена, как любая конфигурация, установленная в устройствах или устройствах, составляющих системы, например, в процессорах, в системе с большой интегральной микросхемой (LSI), модулях, в которых используется множество процессоров, модулях, в которых используется множество модулей, в наборах, полученных путем дополнительного добавления других функций к модулям (то есть частичная конфигурация устройств), и т.п.

Видеонабор

Пример, в котором воплощена настоящая технология, как набор, будет описан со ссылкой на фиг. 69. На фиг. 69 иллюстрируется пример схематичной конфигурации видеонабора, в котором применяется настоящее раскрытие.

Поскольку электронные устройства постепенно становятся многофункциональными в последние годы, когда определенные конфигурации каждого устройства подготавливают для продажи, поставки и т.п. на стадии разработки и производства, возникают не только случаи, в которых конфигурацию такого устройства составляют, так, чтобы оно имело одну функцию, но также и множество случаев, в которых множество конфигураций, имеющих соответствующие функции, комбинируют и воплощают, как один набор с множеством функций.

Видеонабор 1300, представленный на фиг. 69, выполнен так, чтобы он быль многофункциональным, как описано выше, путем комбинирования устройств, имеющих функции кодирования и декодирования (которые могут иметь любую из этих или обе эти функции) изображений с устройствами, имеющими другие функции, относящиеся к представленным выше функциям.

Как показано на фиг. 69, видеонабор 1300 имеет группу модулей, включающую в себя видеомодуль 1311, внешнее запоминающее устройство 1312, модуль 1313 администрирования питанием, входной модуль 1314 и т.п., и устройства, имеющие соответствующие функции, такие как устройство 1321 соединения, камера 1322, сенсор 1323 и т.п.

Модуль выполнен в форме компонента, в котором собраны несколько функций взаимосвязанных, как компоненты, для обеспечения объединенной функции. Конкретная физическая конфигурация является произвольной; однако рассматривается, что она представляет собой объединение, в котором, например, множество процессоров, каждый из которых имеет функции элементов электронной схемы, таких как резистор и конденсатор, и других устройств, расположены на печатной плате. Кроме того, при изготовлении нового модуля путем комбинирования модуля с другим модулем, также учитывается процессор и т.п.

В примере на фиг. 69, видеомодуль 1311 представляет собой комбинацию конфигураций с функциями, относящимися к обработке изображений, и имеет процессор приложения, видеопроцессор, широкополосный модем 1333 и RF модуль 1334.

Процессор представляет собой полупроводниковую схему, микросхему, интегрированную с конфигурацией, имеющей заданные функции, используя систему на кристалле (SoC), и также называется, например, системной большой интегральной схемой (LSI) и т.п. Конфигурация, имеющая заданную функцию, может представлять собой логическую схему (аппаратная конфигурация), может представлять собой, вместе с CPU, ROM и RAM, программу, которая выполняется, используя эти элементы (программная конфигурация), или может представлять собой комбинацию обеих конфигураций. Например, процессор может иметь логическую схему, CPU, ROM, RAM и т.п. и может реализовывать некоторые функции с логической схемой (аппаратная конфигурация), или может реализовывать другие функции с программой, выполняемой CPU (программная конфигурация).

Процессор 1331 приложения на фиг. 69 представляет собой процессор, который выполняет приложение, относящееся к обработке изображений. Приложение, выполняемое процессором 1331 приложения, может не только выполнять арифметическую обработку, но также может управлять конфигурацией, внутренней и внешней для видеомодуля 1311, например, видеопроцессором 1332, когда необходимо, для реализации заданных функций.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к (одному или обоим из) кодирования и декодирования изображений.

Широкополосный модем 1333 представляет собой процессор (или модуль), который выполняет обработку, относящуюся к проводной или беспроводной (или к обоим вариантам) широкополосной передаче данных, выполняемой через широкополосную линию, такую как Интернет или открытая телефонная сеть. Например, широкополосный модем 1333 преобразует данные (цифровой сигнал), предназначенные для передачи, в аналоговый сигнал путем выполнения цифровой модуляции и т.п., или преобразует принятый аналоговый сигнал в данные (цифровой сигнал) путем выполнения демодуляции. Например, широкополосный модем 1333 может в цифровой форме модулировать/демодулировать произвольную информацию, такую, как данные изображения, предназначенные для обработки, с помощью видеопроцессора 1332, поток, получаемый в результате кодирования данных изображения, прикладную программу или данные установки.

Модуль 1334 RF представляет собой модуль, который выполняет преобразование частоты, модуляцию и демодуляцию, усиление, обработку фильтрации и т.п. для радиочастотного (RF) сигнала, переданного и принятого через антенну. Например, RF модуль 1334 генерирует RF сигнал, выполняя преобразование частоты и т.п. для сигнала основной полосы пропускания, сгенерированного широкополосным модемом 1333. Кроме того, RF модуль 1334, например, генерирует широкополосный сигнал, выполняя преобразование частоты и т.п. для RF сигнала, принятого через входной модуль 1314.

Следует отметить, что, как обозначено пунктирной линией 1341 на фиг. 69, процессор 1331 приложения и видеопроцессор 1332 могут быть интегрированы так, что они составляют один процессор.

Внешнее запоминающее устройство 1312 представляет собой модуль, который предусмотрен за пределами видеомодуля 1311, имеющий устройство сохранения, используемое видеомодулем 1311. Устройство сохранения внешнего запоминающего устройства 1312 может быть реализовано с любой физической конфигурацией, но в основном используется, когда сохраняют большое количество данных для данных изображения в модулях кадров, и, таким образом, желательно реализовать устройство сохранения с относительно недорогостоящей и большой емкости полупроводниковой памятью, например, динамическое оперативное запоминающее устройство (DRAM).

Модуль 1313 администрирования питанием администрирует и управляет подачей питания в видеомодуль 1311 (каждый составляющий элемент внутри видеомодуля 1311).

Входной модуль 1314 представляет собой модуль, который обеспечивает для RF модуля 1334 функцию входного модуля (используется, как оконечная схема передачи и приема на стороне антенны). Запись входного 1314 имеет, например, антенный модуль 1351, фильтр 1352 и модуль 1353 усиления, как представлено на фиг. 38.

Антенный модуль 1351 выполнен как антенна, которая передает и принимает беспроводные сигналы, и ее периферийные устройства. Антенный модуль 1351 передает сигнал, подаваемый из модуля 1353 усиления, как радиосигнал, и подает принятый радиосигнал в фильтр 1352, как электрический сигнал (RF сигнал). Фильтр 1352 выполняет обработку фильтрации и т.п. RF сигнала, принятого через антенный модуль 1351, и подает обработанный RF сигнал в RF модуль 1334. Модуль 1353 усиления усиливает RP сигнал, переданный из RF модуля 1334, и подает этот сигнал в антенный модуль 1351.

Устройство 1321 соединения представляет собой модуль, имеющий функцию, относящуюся к соединению с внешней стороной. Физическая конфигурация устройства 1321 соединения является произвольной. Устройство 1321 соединения имеет, например, конфигурацию с другой функцией передачи данных, чем стандарт передачи данных, которому соответствует широкополосный модем 1333, внешний терминал ввода и вывода, и т.п.

Например, устройство 1321 соединения может иметь функцию передачи данных, которая основана на стандарте беспроводной передачи данных, таком как Bluetooth (зарегистрированный товарный знак), IEEE 802.11 (например, Wireless Fidelity (Wi-Fi; зарегистрированный товарный знак), передача данных в ближнем поле (NFC), или Ассоциация по средствам передачи данных в инфракрасном диапазоне (IrDA), антенну, которая передает и принимает сигналы на основе этого стандарта, и т.п. Кроме того, устройство 1321 соединения может иметь, например, модуль, имеющий функцию передачи данных на основе стандарта проводной передачи данных, такого как Универсальная последовательная шина (USB), или мультимедийный интерфейс высокой четкости (HDMI; зарегистрированный товарный знак), или терминал на основе стандарта. Кроме того, устройство 1321 соединения может иметь, например, другую функцию передачи данных (сигнала) аналогового терминала ввода и вывода, и т.п.

Следует отметить, что устройство 1321 соединения может быть установлено так, чтобы оно включало в себя устройство, используемое как назначение передачи данных (сигнала). Например, устройство 1321 соединения может быть установлено так, чтобы оно имело привод (включая в себя привод не только съемного носителя информации, но также и жесткого диска, твердотельный привод (SSD), накопитель, подключаемый по сети (NAS), и т.п.), который считывает и записывает данные на носителе записи, таком как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство. Кроме того, устройство 1321 соединения может быть установлено так, чтобы оно имело устройство вывода изображения или звука (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию съемки субъекта и получения данных изображения субъекта. Данные изображения, полученные в результате съемки камерой 1322, подают, например, в видеопроцессор 1332 и кодируют в нем.

Датчик 1323 представляет собой модуль, имеющий произвольные функции восприятия, например, датчик звука, ультразвуковой датчик, датчик света, датчик освещенности, инфракрасный датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, датчик магнитной идентификации, датчик удара, датчик температуры и т.п. Данные, детектируемые датчиком 1323, подают, например, в процессор 1331 приложения, и используются приложением, и т.п.

Конфигурации, описанные в модулях, представленных выше, могут быть реализованы, как процессоры, или наоборот, конфигурации, описанные, как процессоры, могут быть реализованы, как модули.

В видеонаборе 1300 с конфигурацией, описанной выше, может применяться настоящая технология в видеопроцессоре 1332, как будет описано ниже. Таким образом, видеонабор 1300 может быть воплощен, как набор, в котором применяется настоящая технология.

Например, видеопроцессор 1332 может выполнять обработку, относящуюся к файлу МР4, или обработку, относящуюся к генерированию или воспроизведению данных доставки, или информацию управления, передаваемую в способе, который основан на стандарте MPEG-DASH. Детали видеопроцессора 1332 будут описаны ниже.

Процессор 1331 приложения может выполнять приложение для выполнения обработки, относящейся к файлу МР4, или обработки, относящейся к генерированию или воспроизведению данных доставки или информации управления, передаваемой в способе, который основан на стандарте MPEG-DASH. В качестве обработки процессора 1331 приложения может применяться способ каждого варианта осуществления, описанного выше.

Таким образом, например, процессор 1331 приложения может выполнять приложение, так, чтобы иметь функции от модуля 121 обработки разделения экрана до модуля 126 обработки загрузки на сервер (включая в себя модуль 141 генерирования MPD типа мозаичного изображения по фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). В этом случае процессор 1331 приложения разделяет и кодирует изображение каждого элемента мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, и загружает файлы МР4 на сервер 102 доставки. Процессор 1331 приложения также может генерировать MPD, администрирующий сгенерированным файлом МР4, и загружает их на сервер 102 доставки. Таким образом, процессор 1331 приложения может генерировать различные MPD или файлы МР4, описанные выше в вариантах осуществления. Таким образом, видеонабор 1300 может реализовать адаптивную доставку данных частичных изображений.

Например, процессор 1331 приложения может выполнять приложение так, чтобы оно имело функции от модуля 151 получения MPD до модуля 156 комбинирования мозаичного изображения (каждый модуль обработки, кроме модуля 157 дисплея на фиг. 13) устройства 103 терминала (фиг. 11). В этом случае, на основе инструкции пользователя и т.п., процессор 1331 приложения может получать файл МР4, включающий в себя данные элементов мозаичного изображения, включенные в требуемый диапазон, выделять и декодировать кодированные данные элементов мозаичного изображения и соответствующим образом комбинировать полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне. Процессор 1331 приложения также может получать MPD, анализировать полученное MPD, получать файл МР4, включающий в себя данные элементов мозаичного изображения, включенные в требуемый диапазон, на основе результата анализа, выделять и декодировать кодированные данные элементов мозаичного изображения, и соответствующим образом комбинировать полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне. Таким образом, процессор 1331 приложения может обрабатывать различные MPD или файлы МР4, описанные выше в вариантах осуществления, для получения требуемых данных изображения. Таким образом, видеонабор 1300 может реализовать адаптивную поставку данных частичного изображения.

Пример конфигурации видеопроцессора

На фиг. 70 показан пример схематической конфигурации видеопроцессора 1332 (фиг. 69), в котором применяется настоящая технология.

Как показано на фиг. 70, видеопроцессор 1332 имеет модуль 1401 обработки входных видеоданных, первый модуль 1402 увеличения и уменьшения изображения, второй модуль 1403 увеличения и уменьшения изображения, модуль 1404 обработки вывода видеоданных, запоминающее устройство 1405 кадра и модуль 1406 управления запоминающим устройством. Кроме того, видеопроцессор 1332 имеет механизм 1407 кодирования/декодирования, буферы 1408А и 1408В элементарного потока видеоданных (ES) и буферы 1409А и 1409В ES аудиоданных. Кроме того, видеопроцессор 1332 имеет аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, демультиплексор (DMUX) 1413 и буфер 1414 потока. Кроме того, видеопроцессор 1332 включает в себя модуль 1415 обработки МР4 и модуль 1416 обработки MPEG-DASH.

Модуль 1401 обработки ввода видеоданных получает видеосигнал, вводимый, например, устройством 1321 соединения, и преобразует этот сигнал в цифровые данные изображения. Первый модуль 1402 увеличения и уменьшения изображения выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. для данных изображения. Второй модуль 1403 увеличения и уменьшения изображения выполняет обработку увеличения или уменьшения изображения для данных изображения в соответствии с форматом места назначения, в котором выводят данные через модуль 1404 обработки вывода видеоданных, или выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. таким же образом, как и первый модуль 1402 увеличения или уменьшения изображения. Модуль 1404 обработки вывода видеоданных выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. для данных изображения, и выводит эти данные, например, в устройство 1321 соединения, как воспроизводимый видеосигнал.

Запоминающее устройство 1405 кадра представляет собой запоминающее устройство для данных изображения, совместно используемых модулем 1401 обработки входных видеоданных, первый модуль 1402 увеличения и уменьшения изображения, второй модуль 1403 увеличения и уменьшения изображения, модуль 1404 обработки вывода видеоданных, и механизм 1407 кодирования/декодирования. Запоминающее устройство 1405 кадра реализовано, как полупроводниковое запоминающее устройство, например, DRAM и т.п.

Модуль 1406 управления запоминающим устройством принимает сигнал синхронизации из механизма 1407 кодирования/декодирования и управляет доступом к запоминающему устройству 1405 кадра для записи и считывания, в соответствии с планом доступа к запоминающему устройству 1405 кадра, который записан в таблице 1406А администрирования доступом. Таблица 1406А администрирования доступом обновляется модулем 1406 управления запоминающим устройством, в соответствии с обработкой, выполняемой механизмом 1407 кодирования/декодирования, первым модулем 1402 увеличения и уменьшения изображения, вторым модулем 1403 увеличения и уменьшения изображения, и т.п.

Механизм 1407 кодирования/декодирования выполняет обработку кодирования данных изображения и обработку декодирования видеопотока, который представляет собой данные, полученные в результате кодирования данных изображения. Например, механизм 1407 кодирования/декодирования кодирует данные изображения, считанные из запоминающего устройства 1405 кадра, и последовательно записывает эти данные в буфер 1408A ES видеоданных, как видеопотоки. Кроме того, например, механизм 1407 кодирования/декодирования последовательно считывает видеопотоки из буфера 1408В ES видеоданных, и последовательно записывает эти данные в запоминающее устройство 1405 кадра, как данные изображения. Механизм 1407 кодирования/декодирования использует запоминающее устройство 1405 кадра в качестве рабочей области для такого кодирования и декодирования. Кроме того, механизм 1407 кодирования/декодирования выводит сигнал синхронизации в модуль 1406 управления запоминающим устройством в моменты времени, в которые, например, начинается обработка в каждом микроблоке. Также механизм 1407 кодирования/декодирования выполняет кодирование данных изображения или декодирование кодированных данных, полученных путем кодирования данных изображения, используя модуль 1415 обработки МР4 или модуль 1416 обработки MPEG-DASH, по мере необходимости.

Буфер 1408A ES видеоданных размещает в буфере видеопоток, сгенерированный механизмом 1407 кодирования/декодирования, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1408В ES видеоданных размещает в буфере видеопоток, подаваемый из демультиплексора (DMUX) 1413, и подает этот поток в механизм 1407 кодирования/декодирования.

Буфер 1409А ES видеоданных размещает в буфере аудиопоток, сгенерированный аудиокодером 1410, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1409В ES аудиоданных размещает в буфере аудиопоток, подаваемый из демультиплексора (DMUX) 1413, и подает этот поток в аудиодекодер 1411.

Аудиокодер 1410, например, выполняет цифровое преобразование аудиосигнала, подаваемого, например, из устройства 1321 соединения и т.п., и кодирует этот сигнал в заданной схеме, например, в аудиосхеме MPEG, в схеме AudioCode номер 3 (АС3) и т.п. Аудиокодер 1410 последовательно записывает аудиопотоки, которые представляют собой данные, полученные путем кодирования аудиосигналов, в буфере 1409A ES аудиоданных. Аудиодекодер 1411 декодирует аудиопоток, подаваемый из буфера ES 1409В аудиоданных, выполняет преобразование, например, в аналоговый сигнал и подает этот сигнал, например, в устройство 1321 соединения и т.п. как воспроизводимый аудиосигнал.

Мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток. Способ для такого мультиплексирования (то есть формат потока битов, генерируемого в результате мультиплексирования), является произвольным. Кроме того, во время мультиплексирования, мультиплексор (MUX) 1412 также может добавлять заданную информацию заголовка и т.п. к потоку битов. То есть мультиплексор 1412 (MUX) может преобразовывать формат потока в результате мультиплексирования. Путем мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует потоки в поток транспортирования, который представляет собой поток битов в формате транспортирования. Кроме того, в результате мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует эти потоки в данные формата файла для записи (данные файла).

Демультиплексор (DMUX) 1413 демультиплексирует поток битов, полученный в результате мультиплексирования видеопотока и аудиопотока, используя способ, который соответствует мультиплексированию, выполняемому мультиплексором (MUX) 1412. То есть демультиплексор (DMUX) 1413 выделяет видеопоток и аудиопоток из потока битов, считанного из буфера 1414 потока (разделяет поток битов на видеопоток и аудиопоток). Демультиплексор (DMUX) 1413 может преобразовывать формат потока в результате демультиплексирования (обратное преобразование для преобразования, выполняемого мультиплексором (MUX) 1412). Например, демультиплексор (DMUX) 1413 может получать поток транспортирования, подаваемый, например, из устройства 1321 соединения, широкополосного модема 1333 и т.п. через буфер 1414 потока, и преобразует этот поток в видеопоток и аудиопоток путем демультиплексирования. Кроме того, например, демультиплексор (DMUX) 1413 может получать файл данных, считанный с различных носителей записи, с помощью, например, устройства 1321 соединения через буфер 1414 потока, и преобразовывать эти данные в видеопоток и аудиопоток путем демультиплексирования.

Буфер 1414 потока размещает в буфере потоки битов. Например, буфер 1414 потока размещает в буфере поток транспортирования, подаваемый из мультиплексора (MUX) 1412, и подает этот поток, например, в устройство 1321 соединения, широкополосный модем 1333 и т.п. в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Кроме того, например, буфер 1414 потока размещает в буфере данные файла, подаваемые из мультиплексора (MUX) 1412, и подает эти данные, например, в устройство 1321 соединения и т.п., в заданные моменты времени или на основе запроса, поступающего извне, и т.п., для обеспечения возможности записи данных на любой из различных видов носителей записи.

Кроме того, буфер 1414 потока размещает в буфере поток транспортирования, полученный, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п., и подает этот поток в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Кроме того, буфер 1414 потока размещает в буфере данные файла, считанные с любого из различных видов носителей записи, например, через устройство 1321 соединения и т.п., и подает эти данные в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Модуль 1415 обработки МР4 выполняет обработку, относящуюся файлу МР4, такую как генерирование или воспроизведение файла МР4. Модуль 1416 обработки MPEG-DASH выполняет обработку, относящуюся к генерированию или воспроизведению данных доставки, подаваемых в способе, который основан на стандарте MPEG-DASH, или информацию управления, такую как генерирование или воспроизведение MPD или файла МР4.

Далее будет описан пример операции видеопроцессора 1332, имеющего такую конфигурацию. Например, видеосигнал, подаваемый в видеопроцессор 1332 из устройства 1321 соединения и т.п., преобразуют в цифровые данные изображения в заданном формате, таком как формат YCbCr 4:2:2, в модуле 1401 обработки входных видеоданных, и последовательно записывают в запоминающем устройстве 1405 кадра. Такие цифровые данные изображения считывают с помощью первого модуля 1402 увеличения и уменьшения изображения или второго модуля 1403 увеличения и уменьшения изображения, выполняют для них преобразование формата и обработку увеличения или уменьшения в заданном формате, таком как формат YCbCr 4:2:0, и затем их снова записывают в запоминающее устройство 1405 кадра. Такие данные изображения кодируют с помощью механизма 1407 кодирования/декодирования, и записывают в буфере 1408A ES видеоданных, как видеопоток.

Кроме того, аудиосигнал, вводимый в видеопроцессор 1332 из устройства 1321 соединения, кодируют аудиокодером 1410, и затем записывают в буфер 1409A ES аудиоданных, как аудиопоток.

Видеопоток буфера 1408A ES видеоданных и аудиопоток буфера 1409A ES аудиоданных считывают и мультиплексируют с помощью мультиплексора (MUX) 1412, для преобразования в поток транспортирования, данные файла и т.п. Поток транспортирования, генерируемый мультиплексором (MUX) 1412, размещают в буфере 1414 потока, и затем выводят во внешнюю сеть, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п. Кроме того, данные файла, генерируемые мультиплексором (MUX) 1412, размещают в буфере 1414 потока, и выводят, например, в устройство 1321 соединения (фиг. 29) для записи на любой из различных видов носителей записи.

Кроме того, модуль потока транспортирования, подаваемый в видеопроцессор 1332 из внешней сети, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п., размещают в буфере 1414 потока и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. Кроме того, например, данные файла, считываемые с любого из различных видов носителей записи через устройство 1321 соединения и подаваемые в видеопроцессор 1332, размещают в буфере потока 1414 и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. То есть поток транспортирования или данные файла, подаваемые в видеопроцессор 1332, разделяют на видеопоток и аудиопоток с помощью демультиплексора (DMUX) 1413.

Аудиопоток подают в аудиодекодер 1411 через буфер 1409В аудио ES, для декодирования, и воспроизводят аудиосигнал. Кроме того, видеопоток записывают в буфер 1408В видео ES, затем последовательно считывают с помощью механизма 1407 кодирования/декодирования для декодирования и записывают в запоминающем устройстве 1405 кадра. Для декодированных данных изображения выполняют обработку увеличения и уменьшения с помощью второго модуля 1403 обработки увеличения и уменьшения изображения, и записывают в запоминающем устройстве 1405 кадра. Затем декодированные данные изображения считывают с помощью модуля 1404 обработки вывода видеоданных, выполняют преобразование формата в заданном формате, таком как формат YCbCr 4:2:2, и дополнительно преобразуют в аналоговый сигнал, и видеосигнал воспроизводят для вывода.

Модуль 1415 обработки МР4 получает данные изображения, сохраненные, например, в запоминающем устройстве 1405 кадра, через механизм 1407 кодирования/декодирования, кодирует данные изображения для генерирования кодированных данных и дополнительно генерирует файл МР4, в котором содержатся кодированные данные. Модуль 1415 обработки МР4 подает сгенерированный файл МР4 в механизм 1407 кодирования/декодирования. Механизм 1407 кодирования/декодирования выводит переданный файл МР4 наружу из видеопроцессора 1332 через, например, видеобуфер 1408A ES, модуль 1412 мультиплексирования (MUX), буфер 1414 потока и т.п. и выводит файл МР4 во внешнюю сеть через устройство 1321 соединения, широкополосный модем 1333 и т.п.

Например, модуль 1415 обработки МР4 получает, через механизм 1407 кодирования/декодирования, файл МР4, полученный из внешней сети через устройство 1321 соединения, широкополосный модем 1333 и т.п., и сохраненный в буфере 1408В видео ES, анализирует файл МР4 для выделения кодированных данных и дополнительно декодирует кодированные данные. Модуль 1415 обработки МР4 подает полученные данные изображения в механизм 1407 кодирования/декодирования. Механизм 1407 кодирования/декодирования подает переданные данные изображения в модуль 1404 обработки вывода видеоданных через запоминающее устройство 1405 кадра и выводит данные изображения, как видеосигнал, наружу из видеопроцессора 1332.

В качестве обработки модуля 1415 обработки МР4, может применяться способ каждого из вариантов осуществления, описанных выше. Таким образом, модуль 1415 обработки МР4 может включать в себя модуль 121 обработки разделения экрана, модуль 122 кодирования изображения, модуль 123 генерирования файла и модуль 126 обработки загрузки на сервер (фиг. 12) устройства 101 генерирования данных изображения (фиг. 11). В этом случае, модуль 1415 обработки МР4 разделяет и кодирует изображение для каждого мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, и загружает файлы МР4 в сервер 102 доставки через устройство 1321 соединения и т.п. Таким образом, модуль 1415 обработки МР4 может генерировать различные файлы МР4, описанные выше в вариантах осуществления.

Модуль 1415 обработки МР4 может включать в себя модуль 154 получения файла, модуль 155 декодирования изображения, 156 модуль комбинирования элемента мозаичного изображения (фиг. 13) устройства 103 терминала (фиг. 11). В этом случае, модуль 1415 обработки МР4 загружает файл МР4, включающий в себя данные элементов мозаичного изображения, включенные в требуемый диапазон с сервера 102 доставки, через устройство 1321 соединения и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения из файла МР4, соответствующим образом комбинирует полученные данные изображения (изображения элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и выводит данные изображения, как видеосигнал, наружу из видеопроцессора 1332. Таким образом, модуль 1415 обработки МР4 может обрабатывать различные файлы МР4, описанные выше в вариантах осуществления, для получения требуемых данных изображения.

Таким образом, видеопроцессор 1332 (то есть видеонабор 1300) может реализовать адаптивную подачу данных частичных изображений.

Например, модуль 1416 обработки MPEG-DASH получает данные изображения, сохраненные в запоминающем устройстве 1405 кадра, через механизм 1407 кодирования/декодирования, генерирует MPD, администрирующий данными изображения, и подает файл MPD в механизм 1407 кодирования/декодирования. Например, механизм 1407 кодирования/декодирования выводит переданный файл MPD наружу из видеопроцессора 1332 через буфер 1408А видео ES, модуль 1412 мультиплексирования (MUX), буфер 1414 потока и т.п., и выводит файл MPD во внешнюю сеть через устройство 1321 соединения, широкополосный модем 1333 и т.п.

Модуль 1416 обработки MPEG-DASH может кодировать данные изображения, для генерирования файла МР4, в котором содержатся кодированные данные, и генерировать MPD, администрирующее файлом МР4, и выводить файл MPD во внешнюю сеть. Модуль 1416 обработки MPEG-DASH может выводить файл МР4 вместе с файлом MPD во внешнюю сеть.

Например, модуль 1416 обработки MPEG-DASH получает, через механизм 1407 кодирования/декодирования, файл MPD, полученный из внешней сети через устройство 1321 соединения, широкополосный модем 1333 и т.п., и сохраненный в буфере 1408В видео ES, анализирует файл MPD и получает требуемые данные изображения на основе MPD. Например, когда файлом МР4, включающим в себя кодированные данные, полученные в результате кодирования данных изображения, администрируют с использованием MPD, модуль 1416 обработки MPEG-DASH получает файл МР4, соответствующий требуемому изображению, на основе MPD из внешней сети, декодирует кодированные данные, включенные в файл МР4, и подает данные изображения, полученные в результате декодирования, в механизм 1407 кодирования/декодирования. Механизм 1407 кодирования/декодирования подает передаваемые данные изображения в модуль 1404 обработки вывода видеоданных через запоминающее устройство 1405 кадра, и выводит данные изображения, как видеосигнал, наружу из видеопроцессора 1332.

В качестве обработки модуля 1416 обработки MPEG-DASH, может применяться способ по каждому варианту осуществления, описанному выше. Таким образом, модуль 1416 обработки MPEG-DASH может включать в себя от модуля 121 обработки разделения экрана до модуля 126 обработки загрузки на сервер (включая в себя модуль 141 генерирования MPD типа элемента мозаичного изображения на фиг. 12) устройства 101 генерирования доставки данных (фиг. 11). В этом случае, модуль 1416 обработки MPEG-DASH разделяет и кодирует изображение для каждого элемента мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, генерирует MPD, администрирующее файлом МР4, и выгружает их в сервер 102 доставки через устройство 1321 соединения и т.п. Таким образом, модуль 1416 обработки MPEG-DASH может генерировать разные MPD, описанные в вариантах осуществления.

Модуль 1416 обработки MPEG-DASH может включать в себя от модуля 151 получения MPD до модуля 156 комбинирования элемента мозаичного изображения (каждый модуль обработки, кроме модуля 157 дисплея на фиг. 13) устройства 103 терминала (фиг. 11). В этом случае, модуль 1416 обработки MPEG-DASH анализирует MPD, загружает файл МР4, включающий в себя данные элементов мозаичного изображения, включенные в требуемый диапазон, из сервера 102 доставки через устройство 1321 соединения и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения из файла МР4, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и выводит эти данные изображения, как видеосигнал, наружу из видеопроцессора 1332. Таким образом, модуль 1416 обработки MPEG-DASH может обрабатывать различные MPD, описанные выше в вариантах осуществления, для получения требуемых данных изображения.

Таким образом, видеопроцессор 1332 (то есть видеонабор 1300) может реализовать адаптивную подачу данных частичных изображений.

В модуле 1415 обработки МР4 и модуле 1416 обработки MPEG-DASH, настоящая технология (функция устройства 101 генерирования данных доставки или устройства 103 терминала, описанных выше) может быть реализована с использованием аппаратных средств, таких как логическая схема, на основе программного обеспечения, такого как встроенная программа, или может быть реализована с использованием обоих подходов.

Другой пример конфигурации видеопроцессора

На фиг. 71 показан иллюстрируются другие примеры схематичной конфигурации видеопроцессора 1332, в котором применяется настоящее раскрытие. В случае примера на фиг. 71, видеопроцессор 1332 имеет функции кодирования и декодирования видеоданных в заданной схеме.

Более конкретно, как представлено на фиг. 71, видеопроцессор 1332 включает в себя модуль 1511 управления, интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображений и внутренне запоминающее устройство 1515. Видеопроцессор 1332 включает в себя механизм 1516 кодека, интерфейс 1517 запоминающего устройства, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX), сетевой интерфейс 1519 и видеоинтерфейс 1520.

Модуль 1511 управления управляет операцией каждого модуля обработки в видеопроцессоре 1332, таком как интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображений и механизм 1516 кодека.

Как представлено на фиг. 71, например, модуль 1511 управления включает в себя основное CPU 1531, вспомогательное CPU 1532 и системный контроллер 1533. Основное CPU 1531 выполняет программу и т.п., для управления операцией каждого модуля обработки в видеопроцессоре 1332. Основное CPU 1531 генерирует сигнал управления в соответствии с программой и т.п., и подает сигнал управления в каждый модуль обработки (то есть управляет операцией каждого модуля обработки). Вспомогательное CPU 1532 используется, как вспомогательное устройство для основного CPU 1531. Например, вспомогательное CPU 1532 выполняет порожденную обработку или подпрограмму для программы, и т.п. выполняемой основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и вспомогательного CPU 1532, например, обозначает программы, выполняемые основным CPU 1531 и вспомогательным CPU 1532.

Интерфейс 1512 дисплея выводит данные изображения, например, в устройство 1321 соединения под управлением модуля 1511 управления. Например, интерфейс 1512 дисплея преобразует данные изображения, такие как цифровые данные, в аналоговый сигнал, и выводит данные изображения, как воспроизводимый видеосигнал, или данные изображения цифровых данных, в устройство монитора и т.п. устройства 1321 соединения.

Механизм 1513 дисплея выполняет различную обработку преобразования, такую как преобразование формата, преобразование размера и преобразование цветовой гаммы данных изображения для соответствия спецификации аппаратных средств устройства монитора, и т.п., отображающего изображение под управлением модуля 1511 управления.

Механизм 1514 обработки изображений выполняет заданную обработку изображений, такую как обработка фильтра, для данных изображения, например, для улучшения качества изображения под управлением модуля 1511 управления.

Внутреннее запоминающее устройство 1515 представляет собой запоминающее устройство, совместно используемое механизмом 1513 дисплея, механизмом 1514 обработки изображений и механизмом 1516 кодека, и предусмотренное внутри видеопроцессора 1332. Например, внутреннее запоминающее устройство 1515 используется для передачи и приема данных между механизмом 1513 дисплея, механизмом 1514 обработки изображений и механизмом 1516 кодека. Например, внутреннее запоминающее устройство 1515 сохраняет данные, подаваемые из механизма 1513 дисплея, механизма 1514 обработки изображений или механизма 1516 кодека, и подает эти данные в механизм 1513 дисплея, механизм 1514 обработки изображений или механизм 1516 кодека, в соответствии с необходимостью (например, в соответствии с запросом). Внутреннее запоминающее устройство 1515 может быть реализовано с использованием любого устройства сохранения, но во многих случаях внутреннее запоминающее устройство 1515, в общем, используется для сохранения данных с малым объемом, таких как параметры или данные изображения в единицах блоков. Поэтому внутреннее запоминающее устройство 1515, предпочтительно, реализовано, например, на основе полупроводникового запоминающего устройства с относительно малой емкостью (по сравнению, например, с внешним запоминающим устройством 1312) и высокой скоростью отклика, такого как статическое оперативное запоминающее устройство (SRAM).

Механизм 1516 кодека выполняет обработку, относящуюся к кодированию или декодированию данных изображения. Можно использовать любые схемы кодирования и декодирования, которым соответствует механизм 1516 кодека, и количество схем может быть одна или множество. Например, механизм 1516 кодека может включать в себя функции кодека, в соответствии с множеством схем кодирования и декодирования, и может кодировать данные изображения, используя функцию кодека, выбранную из него, и декодировать кодированные данные.

В примере, представленном на фиг. 56, в качестве функциональных блоков обработки, относящихся к кодеку, включен механизм 1516 кодека, например, MPEG 2 video 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (масштабируемый) 1544, и HEVC/H.265 (многовидовый) 1545 и включает в себя MPEG-DASH 1551 и модуль 1552обработки МР4.

MPEG 2 video 1541 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме MPEG 2. AVC/H.264 1542 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме AVC. HEVC/H.265 1543 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме HEVC. HEVC/H.265 (масштабируемый) 1544 представляет собой функциональный блок, который выполняет масштабируемое кодирование или масштабируемое декодирование данных изображения в схеме HEVC. HEVC/H.265 (многовидовый) 1545 представляет собой функциональный блок, который выполняет многовидовое кодирование или многовидовое декодирование данных изображения в схеме HEVC.

MPEG-DASH 1551 выполняет обработку, относящуюся к генерированию или воспроизведению данных доставки, или информации управления, передаваемой в способе, который основан на стандарте MPEG-DASH, такую как генерирование или воспроизведение MPD или файла МР4. Модуль 1552 обработки МР4 выполняет обработку, относящуюся к файлу МР4, такую как генерирование или воспроизведение файла МР4. Когда MPEG-DASH 1551 и модуль 1552 обработки МР4 выполняют кодирование и декодирование данных изображения, MPEG-DASH 1551 и модуль 1552 обработки МР4 используют видеоданные 1541 MPEG 2 для HEVC/H.265 (многовидовый) 1545, описанные выше.

Интерфейс 1517 запоминающего устройства представляет собой интерфейс для внешнего запоминающего устройства 1312. Данные, подаваемые из механизма 1514 обработки изображений или из механизма 1516 кодека, поступают во внешнее запоминающее устройство 1312 через интерфейс 1517 запоминающего устройства. Данные, считываемые из внешнего запоминающего устройства 1312, поступают в видеопроцессор 1332 (механизм 1514 обработки изображений или механизм 1516 кодека) через интерфейс 1517 запоминающего устройства.

Модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) мультиплексирует или демультиплексирует различного вида данные, относящиеся к изображениям, таким как данные изображения, видеосигналы и потоки битов кодированных данных. Можно использовать любые способы мультиплексирования и демультиплексирования. Например, во время мультиплексирования, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может собирать множество частей данных в одну часть данных и может также добавлять заданную информацию заголовка и т.п. к данным. Во время демультиплексирования модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) разделяет одну часть данных на множество частей данных и также может добавлять заданную информацию заголовка и т.п. к каждой из частей разделенных данных. Таким образом, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может преобразовывать формат данных, используя мультиплексирование и демультиплексирование. Например, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может преобразовывать данные в поток транспортирования, который представляет собой поток битов, в формат передачи или данные (данные файла) с форматом файла для записи путем мультиплексирования потока битов. Конечно, обратное преобразование также может быть выполнено, используя демультиплексирование.

Сетевой интерфейс 1519 представляет собой, например, интерфейс для широкополосного модема 1333, устройства 1321 соединения и т.п. Видеоинтерфейс 1520 представляет собой, например, интерфейс для устройства 1321 соединения, камеры 1322 и т.п.

Далее будет описан пример операции видеопроцессора 1332. Например, когда поток транспортирования принимают из внешней сети через устройство 1321 соединения, широкополосный модем 1333 и т.п., поток транспортирования подают в модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) через сетевой интерфейс 1519 для демультиплексирования и затем декодируют с помощью механизма 1516 кодека. Например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, подвергают заданной обработке изображения в механизме 1514 обработки изображения, подвергают заданному преобразованию в механизме 1513 дисплея и подают, например, в устройство 1321 соединения через интерфейс 1512 дисплея, и затем изображение отображают на мониторе. Например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, повторно кодируют с помощью механизма 1516 кодека, мультиплексируют, используя модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) для преобразования в данные файла, выводят, например, в устройство 1321 соединения через видеоинтерфейс 1520, и записывают на различные носители записи.

Кроме того, например, данные файла кодированных данных, считываемые с носителя записи (не показан) с помощью устройства 1321 соединения и т.п., и полученные в результате кодирования данных изображения, подают в модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) через видеоинтерфейс 1520 для демультиплексирования и затем декодируют в механизме 1516 кодека. Данные изображения, полученные в результате декодирования в механизме 1516 кодека, подвергают заданной обработке изображений, используя механизм 1514 обработки изображений, подвергают заданному преобразованию в механизме 1513 дисплея и подают, например, в устройство 1321 соединения через интерфейс 1512 дисплея, и затем изображение отображают на мониторе. Например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, повторно кодируют в механизме 1516 кодека, мультиплексируют модулем 1518 мультиплексирования и демультиплексирования (MUX DMUX) для преобразования в поток транспортирования, подают, например, в устройство 1321 соединения или в широкополосный модем 1333 через сетевой интерфейс 1519 и передают в другое устройство (не показано).

Передача и прием данных изображения или других данных между модулями обработки в видеопроцессоре 1332 выполняется, используя, например, внутреннее запоминающее устройство 1515 или внешнее запоминающее устройство 1312. Модуль администрирования 1313 питанием управляет подачей питания, например, в модуль 1511 управления.

Модуль 1552 обработки МР4 механизма 1516 кодека получает данные изображения, считанные, например, из внешнего запоминающего устройства 1312, кодирует данные изображения, используя любые из видео MPEG 2 1541 - HEVC/H.265 (многовидовый) 1545, для генерирования кодированных данных, и дополнительно генерирует файл МР4, в котором содержатся кодированные данные. Модуль 1552 обработки МР4 подает сгенерированный файл МР4 во внешнее запоминающее устройство 1312 через, например, интерфейс 1517 запоминающего устройства для сохранения файла МР4. Например, файл МР4 считывают с помощью интерфейса 1517 запоминающего устройства, и выводят наружу из видеопроцессора 1332 через модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) или сетевой интерфейс 1519 и выводят во внешнюю сеть через устройство 1321 соединения, широкополосный модем 1333 и т.п.

Например, модуль 1552 обработки МР4 получает, через интерфейс 1517 запоминающего устройства, файл МР4, полученный из внешней сети, через устройство 1321 соединения, широкополосный модем 1333 и т.п., подаваемый во внешнее запоминающее устройство 1312 через сетевой интерфейс 1519, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX), интерфейс 1517 запоминающего устройства и т.п., и сохраняет его. Модуль 1552 обработки МР4 анализирует полученный файл МР4, выделяет кодированные данные и дополнительно декодирует кодированные данные, используя любые из видео MPEG 2 1541 - HEVC/H.265 (многовидовый) 1545. Модуль 1552 обработки МР4 подает полученные данные изображения во внешнее запоминающее устройство 1312 через, например, интерфейс 1517 запоминающего устройства для сохранения данных изображения. Например, данные изображения считывают с помощью интерфейса 1517 запоминающего устройства и подают, например, в устройство 1321 соединения через механизм 1514 обработки изображений, механизм 1513 дисплея, интерфейс 1512 дисплея и т.п., таким образом, что изображение отображается на мониторе.

В качестве обработки модуля 1552 обработки МР4, может применяться способ каждого из вариантов осуществления, описанных выше. Таким образом, модуль 1552 обработки МР4 может включать в себя модуль 121 обработки разделения экрана, модуль 122 кодирования изображения, модуль 123 генерирования файла и модуль 126 обработки загрузки на сервер (фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). В этом случае модуль 1552 обработки МР4 разделяет и кодирует изображение каждого элемента мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, и выгружает файлы МР4 в сервер 102 доставки через устройство 1321 соединения и т.п. Таким образом, модуль 1552 обработки МР4 может генерировать различные файлы МР4, описанные выше в вариантах осуществления.

Модуль 1552 обработки МР4 может включать в себя модуль 154 получения файла, модуль 155 декодирования изображения, модуль 156 комбинирования мозаичного изображения (фиг. 13) устройства 103 терминала (фиг. 11). В этом случае, модуль 1552 обработки МР4 загружает файл МР4, включающий в себя данные элементов мозаичного изображения, включенных в требуемый диапазон, из сервера 102 доставки через устройство 1321 соединения и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения из файла МР4, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и выводит данные изображения, как видеосигнал, наружу из видеопроцессора 1332. Таким образом, модуль 1551 обработки МР4 может обрабатывать различные файлы МР4, описанные выше в вариантах осуществления, для получения требуемых данных изображения.

Таким образом, видеопроцессор 1332 (то есть видеонабор 1300) может реализовать адаптивную подачу данных частичных изображений.

MPEG-DASH 1551 получает данные изображения, считанные, например, из внешнего запоминающего устройства 1312, и генерирует MPD, администрирующий данными изображения. MPEG-DASH 1551 подает сгенерированный файл MPD во внешнее запоминающее устройство 1312, например, через интерфейс 1517 запоминающего устройства, для сохранения файла MPD. Например, файл МР4 считывают с помощью интерфейса 1517 запоминающего устройства, выводят наружу из видеопроцессора 1332 через модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) или сетевой интерфейс 1519, и выводят во внешнюю сеть через устройство 1321 соединения, широкополосный модем 1333 и т.п.

MPEG-DASH 1551 может кодировать данные изображения для генерирования файла МР4, в котором содержатся кодированные данные, и генерировать MPD, администрирующий файлом МР4, и выводить файл MPD во внешнюю сеть. MPEG-DASH 1551 может выводить файл МР4 вместе с файлом MPD во внешнюю сеть.

Например, MPEG-DASH 1551 получает, через интерфейс 1517 запоминающего устройства, файл MPD, полученный из внешней сети, через устройство 1321 соединения, широкополосный модем 1333 и т.п., подаваемый во внешнее запоминающее устройство 1312 через сетевой интерфейс 1519, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX), интерфейс 1517 запоминающего устройства и т.п., и сохраняемый в нем. MPEG-DASH 1551 анализирует полученный MPD и получает требуемые данные изображения на основе MPD. Например, когда файлом МР4, включающим в себя кодированные данные, полученные в результате кодирования данных изображения, администрируют с использованием MPD, MPEG-DASH 1551 получает файл МР4, соответствующий требуемому изображению, из внешней сети на основе MPD, выделяет кодированные данные, включенные в файл МР4, дополнительно декодирует кодированные данные, используя любой из видео MPEG 2 1541 - HEVC/H.265 (многовидовый) 1545. MPEG-DASH 1551 подает полученные данные изображения во внешнее запоминающее устройство, например, через интерфейс 1517 запоминающего устройства, для сохранения данных изображения. Например, данные изображения считывают с помощью интерфейса 1517 запоминающего устройства и подают, например, в устройство 1321 соединения через механизм 1514 обработки изображений, механизм 1513 дисплея, интерфейс 1512 дисплея и т.п., таким образом, что изображение отображается на мониторе.

В качестве обработки MPEG-DASH 1551, может применяться способ каждого варианта осуществления, описанного выше. Таким образом, MPEG-DASH 1551 может включать в себя от модуля 121 обработки разделения экрана до модуля 126 обработки загрузки на сервер (включая в себя модуль 141 генерирования MPD типа элемента мозаичного изображения на фиг. 12) устройства 101 генерирования данных доставки (фиг. 11). В этом случае, MPEG-DASH 1551 разделяет и кодирует изображение каждого элемента мозаичного изображения, генерирует файлы МР4, в которых содержатся данные каждого элемента мозаичного изображения, генерирует MPD, администрируемые файлом МР4, и загружает их на сервер 102 доставки через устройство 1321 соединения и т.п. Таким образом, MPEG-DASH 1551 может генерировать различные MPD, описанные в вариантах осуществления.

MPEG-DASH 1551 может включать в себя от модуля 151 получения MPD элемента мозаичного изображения до модуля 156 комбинирования изображения (каждый модуль обработки, кроме модуля 157 дисплея на фиг. 13) устройства 103 терминала (фиг. 11). В этом случае, MPEG-DASH 1551 анализирует MPD, загружает файл МР4, включающий в себя данные элементов мозаичного изображения, включенные в требуемый диапазон, из сервера 102 доставки через устройство 1321 соединения и т.п., выделяет и декодирует кодированные данные элементов мозаичного изображения из файла МР4, соответствующим образом комбинирует полученные данные изображения (элемента мозаичного изображения) для элементов мозаичного изображения, для генерирования данных изображения в требуемом диапазоне, и выводит данные изображения, как видеосигнал, наружу из видеопроцессора 1332. Таким образом, MPEG-DASH 1551 может обрабатывать различные MPD, описанные выше в вариантах осуществления, для получения требуемых данных изображения.

Таким образом, видеопроцессор 1332 (то есть видеонабор 1300) может реализовать адаптивную подачу данных частичных изображений.

В МР4 1551 и в модуле 1552 обработки МР4 настоящая технология (функция устройства 101 генерирования данных доставки или устройство 103 терминала, описанных выше) может быть реализована с использованием аппаратных средств, таких как логическая схема, может быть реализована на основе программного обеспечения, такого как встроенная программа, или может быть реализована с использованием обоих подходов.

Две конфигурации видеопроцессора 1332 были представлены в качестве примеров, но конфигурация видеопроцессора 1332 является произвольной и может представлять собой другую конфигурацию, чем две конфигурации, описанные выше. Видеопроцессор 1332 может быть выполнен как одиночная полупроводниковая микросхема или может быть выполнен как множество полупроводниковых микросхем. Например, может использоваться 3-х мерная многослойная LSI, в которой множество полупроводников размещены слоями. Видеопроцессор 1332 может быть реализован, используя множество LSI.

Примеры применения в устройствах

Видеонабор 1300 может быть встроен в различные устройства, которые обрабатывают данные изображения. Например, видеонабор 1300 может быть встроен в телевизионное устройство 900 (фиг. 67) или в мобильный телефон 920 (фиг. 68). В результате встраивания видеонабора 1300, устройство может получать те же преимущества, как и преимущества, описанные со ссылкой на фиг. 1-66.

Часть каждой конфигурации описанного выше видеонабора 1300 может также быть воплощена, как конфигурация, в которой применяется настоящая технология, если только часть конфигурации включает в себя видеопроцессор 1332. Например, только видеопроцессор 1332 может быть воплощен, как видеопроцессор, в котором применяется настоящая технология. Например, видеомодуль 1331 или процессор, обозначенный пунктирной линией 1341, как описано выше, может быть воплощен, как процессор, модуль и т.п. в котором применяется настоящая технология. Кроме того, например, видеомодуль 1311, внешний модуль 1312, модуль администрирования 1313 питанием и входной модуль 1314 могут быть скомбинированы для воплощения, как видеомодуль 1361, в котором применяется настоящая технология. Возможно, получить те же преимущества, как и преимущества, описанные со ссылкой на фиг. 1-66, независимо от конфигурации.

Таким образом, любая конфигурация может быть встроена в различные устройства, обрабатывающие данные изображения, как в случае видеонабора 1300, если только конфигурация включает в себя видеопроцессор 1332. Например, видеопроцессор 1332 или процессор, обозначенный пунктирной линией 1341, видеомодуль 1311, или видеомодуль 1361, могут быть встроены в телевизионное устройство 900 (фиг. 67), мобильный телефон 920 (фиг. 68) и т.п. В результате встраивания любой конфигурации, в которой применяется настоящая технология, устройство может получать те же преимущества, что и преимущества, описанные со ссылкой на фиг. 1-66, как в видеонаборе 1300.

Преимущества, описанные в настоящем описании, представляют собой просто примеры, и не ограничены, и могут быть получены другие преимущества.

В настоящем описании система означает набор из множества составляющих элементов (устройства, модули (компоненты) и т.п.), и все эти составляющие элементы могут быть включены или могут не быть включены в один корпус. В соответствии с этим, множество устройств, размещенных в отдельных корпусах и соединенных через сеть, и одно устройство, в котором размещены множество модулей в одном корпусе, все представляют собой систему.

Конфигурация, описанная выше, как одно устройство (или модуль обработки), может быть разделена и может быть выполнена, как множество устройств (или модулей обработки). В отличие от этого, конфигурация, описанная выше, как множество устройств (или модулей обработки), может быть собрана из и выполнена, как одно устройство (или модуль обработки). Другие конфигурации, кроме описанных выше конфигураций, конечно, могут быть добавлены к конфигурациям устройств (или модулям обработки). Кроме того, если только конфигурации или операции, по существу, являются такими же во всей системе, части конфигураций определенных устройств (или модулей обработки) могут быть включены в конфигурации других устройств (или других модулей обработки).

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время, как настоящее раскрытие, конечно, не ограничено представленными выше примерами. Специалист в данной области техники может обнаружить различные модификации и изменения в пределах объема приложенной формулы изобретения, и при этом следует понимать, что они, естественно, попадают в пределы технического объема настоящего раскрытия.

Например, в настоящей технологии, возможно реализовать конфигурацию "облачных" вычислений, в которой одна функция распределена и обрабатывается совместно множеством устройств через сети.

Каждый этап, описанный в представленных выше блок-схемах последовательности операций, может быть выполнен одним устройством и также может быть распределен и может выполняться множеством устройств.

Когда множество обработок включено в один этап, множество обработок, включенных в один этап, может быть выполнено одним устройством и может также быть распределено и выполняться множеством устройств.

Устройство обработки информации, в соответствии с описанными выше вариантами осуществления, может применяться для различных электронных устройств, таких как передатчик или приемник при доставке с использованием спутниковой широковещательной передачи, при кабельной многоадресной передаче, такой как кабельное телевидение, или через Интернет, и доставки в терминал, используя сотовую передачу данных, устройство записи, записывающее изображение на носителе, таком как оптический диск, магнитный диск или запоминающее устройство флэш, или устройство воспроизведения, воспроизводящее изображение с носителя сохранения.

В настоящем описании были описаны примеры, в которых различные части информации мультиплексируют в потоке кодирования и передают со стороны кодирования на сторону декодирования. Однако способы передачи информации не ограничены этими примерами. Например, информация может быть передана или записана, как отдельные части данных, ассоциированные с битовым потоком кодирования, без мультиплексирования в битовом потоке кодирования. Здесь термин "ассоциированный" означает, что изображение (которое может представлять собой часть изображения, такую как срез или блок), обозначенное в битовом потоке, и информация, соответствующая изображению, могут быть соединены во время декодирования. Таким образом, информация может быть передана вдоль другого пути передачи из битового потока изображения. Информация может быть записана на другой носитель записи (или в другой области записи того же носителя записи) из битового потока изображения. Кроме того, битовый поток и изображение могут быть взаимно ассоциированы, например, в любой модуль, такой как множество кадров, один кадр или часть кадра.

Кроме того, настоящая технология также может быть выполнена следующим образом.

(1) Устройство обработки информации, включающее в себя:

модуль генерирования информации частичного изображения, выполненный с возможностью генерировать информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и

модуль генерирования метаданных, выполненный с возможностью генерирования метаданных, предназначенных для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя информацию частичного изображения, генерируемую модулем генерирования информации частичного изображения.

(2) В устройстве обработки информации, описанном в (1), информация частичного изображения включает в себя

тип обзора, обозначающий, представляет ли собой изображение, соответствующее информации частичного изображения, частичное изображение; информацию, относящуюся к размеру всего изображения;

информацию, обозначающую положение частичного изображения во всем изображении; и

информацию идентификации группы, идентифицирующую группу, которая представляет собой группу, которой принадлежат частичные изображения, и которая представляет собой группу частичных изображений, которые могут отображаться, как одно изображение.

(3) В устройстве обработки информации по (1) или (2),

модуль генерирования метаданных сохраняет информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных наборах адаптации (AdaptationSet) метаданных, и может назначать потоки битов множества частичных изображений во взаимно разные наборы адаптации.

(4) В устройстве обработки информации, описанном в любом одном из (1)-(3),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной группе во взаимно разных представлениях (Representation), принадлежащих одному набору адаптации (AdaptationSet) метаданных, и назначает потоки битов множеству частичных изображений во взаимно разных представлениях.

(5) В устройстве обработки информации, описанном в любом одном из (1)-(4),

модуль генерирования метаданных сохраняет информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной той же группе во взаимно разных наборах адаптации (AdaptationSet) метаданных, и назначает множество файлов, для которых один поток битов, включающий в себя множество частичных изображений, разделяют для каждого частичного изображения для взаимно разных наборов адаптации.

(6) В устройстве обработки информации, описанном в любом из пп. (1)-(5), модуль генерирования информации частичного изображения может дополнительно генерировать информацию частичного изображения, относящуюся к информации управления, включенной в поток битов, и

модуль генерирования метаданных может сохранять информацию частичного изображения информации управления в другом наборе адаптации, чем информация частичного изображения каждого частичного изображения и может назначать файл информации управления для набора адаптации.

(7) В устройстве обработки информации, описанном в любом одном из (1)-(6),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной и той же группе во взаимно разных представлениях (Representation), принадлежащих одному набору адаптации (AdaptationSet) всех изображений метаданных, и назначает потоки битов множеству частичных изображений для взаимно разных представлений.

(8) В устройстве обработки информации, описанном в любом одном из пп. (1)-(7), модуль генерирования информации частичного изображения может дополнительно генерировать информацию частичного изображения, относящуюся информации управления, включенной в один поток битов, включающую в себя множество частичных изображений, принадлежащих одной группе. Модуль генерирования метаданных может сохранять информацию частичного изображения, относящуюся к множеству частичных изображений, во взаимно разных представлениях (Representation), принадлежащих одному набору адаптации (AdaptationSet) метаданных, и может назначать множество файлов, в которых поток битов разделяют для каждого частичного изображения во взаимно разных представлениях, и может сохранять информацию частичного изображения в информации управления в другом представлении, чем информация частичного изображения, относящаяся к каждому частичному изображению, и может назначать файл информации управления для представления.

(9) В устройстве обработки информации, описанном в любом одном из пп. (1)-(8),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной группе во взаимно разных вспомогательных представлениях (Sub-Representation), принадлежащих одному представлению (Representation), принадлежащему одному набору адаптации (Adaptationset) метаданных, и назначает потоки битов множества частичных изображений для взаимно разных вспомогательных представлений.

(10) В устройстве обработки информации, описанном в любом одном из (1)-(9), модуль генерирования информации частичного изображения может дополнительно генерировать информацию о сегменте, обозначающую, что информация, относящаяся к потоку битов, присутствует во вспомогательном представлении (Sub-Representation), и информация частичного изображения, относящаяся к информации управления, включена в один поток битов, включающих в себя множество частичных изображений, принадлежащих одной группе. Модуль генерирования метаданных может сохранять информацию частичного изображения информации управления, и информацию сегмента в одном представлении (Representation), принадлежащем одному набору адаптации (Adaptationset) метаданных, и может назначать файл информации управления для представления, и может сохранять информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных вспомогательных представлениях, принадлежащих представлению, и может назначать множество файлов, для которых поток битов разделяют для каждого частичного изображения во взаимно разные вспомогательного представления.

(11) В устройстве обработки информации, описанном в любом одном из пп. (1)-(10), модуль генерирования информации частичного изображения может дополнительно генерировать информацию о сегменте, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation), и информация частичного изображения, относящаяся к информации управления, включена в один поток битов, включающий в себя множество частичных изображений, принадлежащих одной группе. Модуль генерирования метаданных может содержать информацию частичного изображения информации управления и информацию сегмента в одном представлении (Representation), принадлежащем одному набору адаптации, (AdaptationSet) метаданных, и может назначать поток битов для представления, и может содержать информацию частичного изображения, относящуюся к множеству частичных изображений, во взаимно разных вспомогательных представлениях, принадлежащих представлению, и назначать информацию, обозначающую места положения данных частичных изображений в потоке битов во взаимно разных вспомогательных представлениях.

(12) В устройстве обработки информации, описанном в любом одном из пп. (1)-(11), модуль генерирования информации частичного изображения может дополнительно генерировать многосегментную информацию, обозначающую, что множество частей информации, относящихся к потокам битов в одно и то же время присутствует под представлением (Representation). Модуль генерирования метаданных может содержать многосегментную информацию в одном представлении (Representation), принадлежащем одному набору адаптации (AdaptationSet) метаданных, и может содержать информацию частичного изображения, относящуюся к множеству частичных изображений, принадлежащих одной и той же группе во взаимно разных сегментах, принадлежащих представлению, и может назначать потоки битов множеству частичных изображений для взаимно разных сегментов.

(13) В устройстве обработки информации, описанном в любом одном из (1)-(12), модуль генерирования информации частичного изображения может дополнительно генерировать информацию сегмента, обозначающую, что информация, относящаяся к потоку битов, не присутствует под вспомогательным представлением (Sub-Representation), и информацию частичного изображения, относящуюся к одному потоку битов, включающему в себя множество частичных изображений, принадлежащих одной и той же группе. Модуль генерирования метаданных может сохранять информацию сегмента в одном представлении (Representation), принадлежащем одному набору адаптации (AdaptationSet) метаданных, может сохранять информацию частичного изображения в одном сегменте (Segment), принадлежащем представлению, и может назначать поток битов для сегмента, и может назначать информацию, обозначающую места расположения данных частичного изображения в потоке битов, во взаимно разных подсегментах (Sub-Segments), принадлежащих сегменту.

(14) Устройство обработки информации, описанное в любом одном из (1)-(13), дополнительно включает в себя:

модуль кодирования, выполненный с возможностью кодирования данных изображения всего изображения и частичных изображений, и генерирования потока битов.

(15) Устройство обработки информации, описанное в любом одном из (1)-(14), дополнительно включает в себя:

модуль обработки разделения экрана, выполненный с возможностью генерирования данных изображения каждого частичного изображения из данных изображения всего изображения.

(16) Способ обработки информации включает в себя:

генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и

генерируют метаданные, предназначенные для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя информацию сгенерированного частичного изображения.

(17) Устройство обработки информации включает в себя:

модуль анализа, выполненный с возможностью анализа метаданных, включающих в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и использования для подачи потока битов всего изображения, и подачи потока битов частичного изображения, и для получения информации частичного изображения;

модуль выбора, выполненный с возможностью выбора потока битов требуемого частичного изображения, используя информацию частичного изображения, полученную модулем анализа; и

модуль получения потока битов, выполненный с возможностью получения потока битов, выбранного модулем выбора.

(18) Устройство обработки информации, описанное в (17), может дополнительно включать в себя модуль получения метаданных, выполненный с возможностью получения метаданных.

(19) Устройство обработки информации, описанное в (17) или (18), может дополнительно включать в себя:

модуль декодирования, выполненный с возможностью декодирования потока битов, получаемого модулем получения потока битов.

(20) Способ обработки информации включает в себя:

анализируют метаданные, включающие в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и используемую для подачи потока битов всего изображения, и подают поток битов частичного изображения, и получают информацию частичного изображения;

выбирают поток битов требуемого частичного изображения, используя полученную информацию частичного изображения; и

получают выбранный поток битов.

(21) Устройство обработки информации включает в себя:

модуль генерирования информации частичного изображения, выполненный с возможностью генерировать информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и

модуль генерирования метаданных, выполненный с возможностью генерирования метаданных, предназначенных для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя информацию частичного изображения, генерируемую модулем генерирования информации частичного изображения,

в котором информация частичного изображения включает в себя информацию идентификации, обозначающую, является ли источник содержания набора адаптации (AdaptationSet), в котором сохраняют информацию частичного изображения, таким же, как и источник содержания другого набора адаптации.

(22) В устройстве обработки информации, описанном в (21), информация частичного изображения может дополнительно включать в себя информацию, обозначающую местоположение частичного изображения во всем изображении, информацию, относящуюся к размеру частичного изображения и информацию, относящуюся к размеру всего изображения.

(23) В устройстве обработки информации, описанном в (21) или (22), информация частичного изображения может дополнительно включать в себя информацию идентификации, обозначающую, определяет ли набор адаптации, в котором сохранена информация частичного изображения, весь поток битов или часть потока битов.

(24) В устройстве обработки информации, описанном в любом одном из (21)-(23), информация частичного изображения может дополнительно включать в себя информацию, обозначающую, какая информация конфигурирует часть потока битов, которой соответствует набор адаптации, содержащий информацию частичного изображения.

(25) В устройстве обработки информации, описанном в любом одном из (21)-(24), информация частичного изображения может дополнительно включать в себя информацию, обозначающую, разделена ли на треки часть потока битов, которой соответствует набор адаптации, содержащий информацию частичного изображения.

(26) В устройстве обработки информации, описанном в любом одном из (21)-(25), информация частичного изображения может дополнительно включать в себя информацию идентификации частичного изображения, которому соответствует набор адаптации, содержащий информацию частичного изображения.

(27) В устройстве обработки информации, описанном в любом одном из (21)-(26), информация частичного изображения может дополнительно включать в себя ссылку на треки и экстрактор. Ссылка на треки и экстрактор может быть сохранена в треках, соответствующих множеству частичных изображений, и может относиться к срезам сохранения основного трека частичных изображений.

(28) Способ обработки информации включает в себя:

генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, информация частичного изображения, включающая в себя информацию идентификации, обозначающую, является ли источник содержания набора адаптации (AdaptationSet), в котором содержится информация частичного изображения, таким же, как и источник содержания другого набора адаптации; и

генерируют метаданные, предназначенные для использования, для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя сгенерированную информацию частичного изображения.

(29) Устройство обработки информации включает в себя:

модуль анализа, выполненный с возможностью анализа метаданных, включающих в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и использования для подачи потока битов всего изображения, и подачи потока битов частичного изображения, и для получения информации частичного изображения;

модуль выбора, выполненный с возможностью выбора потока битов требуемого частичного изображения, используя информацию частичного изображения, полученную модулем анализа; и

модуль получения потока битов, выполненный с возможностью получения потока битов, выбранного модулем выбора,

в котором информация частичного изображения включает в себя информацию идентификации, обозначающую, является ли источник содержания набора адаптации (AdaptationSet), в котором содержится информация частичного изображения, таким же, как и источник содержания другого набора адаптации.

(30) Способ обработки информации включает в себя:

анализируют метаданные, включающие в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения и используется для подачи потока битов всего изображения, и подачи потока битов частичного изображения, и получают информацию частичного изображения, информация частичного изображения, включающая в себя информацию идентификации, обозначающую, является ли источник содержания набора адаптации (AdaptationSet), в котором содержится информация частичного изображения, таким же, как и источник содержания другого набора адаптации;

выбирают поток битов требуемого частичного изображения, используя полученную информацию частичного изображения; и

получают выбранный поток битов.

(41) Устройство обработки информации включает в себя:

модуль генерирования информации частичного изображения, выполненный с возможностью генерирования информации частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и

модуль генерирования метаданных, выполненный с возможностью генерирования метаданных, предназначенных для использования для подачи потока всего изображения и подачи битов частичного изображения, используя информацию частичного изображения, сгенерированную модулем генерирования информации частичного изображения.

(42) В устройстве обработки информации, описанном в (41),

информация частичного изображения включает в себя информацию о положении, обозначающую положение частичного изображения во всем изображении.

(43) В устройстве обработки информации, описанном в (42),

информация о положении обозначает положение верхней левой части частичного изображения.

(44) В устройстве обработки информации, описанном в любом одном из (41)-(43),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных наборах адаптации (AdaptationSet) метаданных, и назначает потоки битов множеству частичных изображений по взаимно разных наборах адаптации.

(45) Устройство обработки информации, описанное в любом одном из (41)-(44),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных наборах адаптации (AdaptationSet) метаданных, и назначает множество файлов, для которых один поток битов, включающий в себя множество частичных изображения, разделен для каждого частичного изображения для взаимно разных наборов адаптации.

(46) В устройстве обработки информации, описанном в любом из (41)-(45),

модуль генерирования метаданных содержит информацию частичного изображения, относящуюся к множеству частичных изображений во взаимно разных вспомогательных представлениях (Sub-Representation), принадлежащих одному представлению (Representation), принадлежащему одному набору адаптации (AdaptationSet) метаданных, и назначает потоки битов множества частичных изображений во взаимно разных вспомогательных представлениях.

(47) В устройстве обработки информации, описанном в (46),

модуль генерирования информации частичного изображения дополнительно генерирует информацию, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation).

(48) В устройстве обработки информации, описанном в (46) или (47),

каждый из потока битов множества частичных изображений содержится в TRACK одного файла МР4.

(49) В устройстве обработки информации, описанном в п. (48),

модуль генерирования метаданных дополнительно генерирует информацию, обозначающую место расположения данных в одном файле МР4.

(50) В устройстве обработки информации, описанном в любом из (41)-(49),

информация частичного изображения дополнительно включает в себя информацию, относящуюся к размеру всего изображения.

(51) В устройстве обработки информации, описанном в любом из (41)-(50),

информация частичного изображения дополнительно включает в себя информацию идентификации группы, идентифицирующую группу, которая представляет собой группу, которой принадлежат частичные изображения, и которая представляет собой группу частичных изображений, которые могут отображаться, как одно изображение.

(52) Устройство обработки информации, описанное по любому одному из (41)-(51), может дополнительно включать в себя:

модуль кодирования, выполненный с возможностью кодировать данные изображения всего изображения и частичного изображения, и генерировать поток битов.

(53) Устройство обработки информации, описанное в любом одном из (41)-(52), может дополнительно включать в себя:

модуль обработки разделения экрана, выполненный с возможностью генерировать данные изображения каждого частичного изображения из данных изображения всего изображения.

(54) В устройстве обработки информации, описанном в любом одном из (41)-(53),

информация частичного изображения включает в себя информацию, обозначающую количество частичных изображений, формирующих все изображение, информацию идентификации, обозначающую, что размеры частичных изображений равны, и информацию, обозначающую положение и размер каждого частичного изображения, когда размеры частичных изображений не равны.

(55) Способ обработки информации включает в себя:

генерируют информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения; и

генерируют метаданные, предназначенные для использования для подачи потока битов всего изображения и подачи потока битов частичного изображения, используя сгенерированную информацию частичного изображения.

(56)Устройство обработки информации включает в себя:

модуль анализа, выполненный с возможностью анализа метаданных, включающих в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения и используется для подачи потока битов всего изображения и подачи потока битов частичного изображения, и для получения информации частичного изображения;

модуль выбора, выполненный с возможностью выбора потока битов требуемого частичного изображения, используя информацию частичного изображения, полученную модулем анализа; и

модуль получения потока битов, выполненный с возможностью получения потока битов, выбранного модулем выбора.

(57) В устройстве обработки информации, описанном в (56),

информация частичного изображения включает в себя информацию положения, обозначающую положение частичного изображения во всем изображении.

(58) В устройстве обработки информации, описанном в (57),

информация положения обозначает положение верхней левой части частичного изображения.

(59) В устройстве обработки информации, описанном в любом одном из (56)-(58),

модуль анализа анализирует метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений, во взаимно разных наборах адаптации (AdaptationSet), и потоки битов множества частичных изображений назначают во взаимно разных наборах адаптации.

(60) В устройстве обработки информации, описанном в любом одном из (56)-(59),

модуль анализа анализирует метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений, во взаимно разных наборах адаптации (AdaptationSet), и множество файлов, для которых один поток битов, включающий в себя множество частичных изображений, разделен для каждого частичного изображения, назначают для взаимных наборов адаптации.

(61) В устройстве обработки информации, описанном в любом одном из (56)-(60),

модуль анализа анализирует метаданные, в которых содержится информация частичного изображения, относящаяся к множеству частичных изображений во взаимно разных вспомогательных представлениях (Sub-Representation), принадлежащих одному представлению (Representation), принадлежащему одному набору адаптации (AdaptationSet), и потоки битов множества частичных изображений назначают для взаимно разных вспомогательных представлений.

(62) В устройстве обработки информации, описанном в (61),

информация частичного изображения включает в себя информацию, обозначающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением (Sub-Representation).

(63) В устройстве обработки информации, описанном в (61) или (62),

каждый из потоков битов множества частичных изображений содержит TRACK одного файла МР4.

(64) В устройстве обработки информации, описанном в (63),

метаданные включают в себя информацию, обозначающую местоположение данных одного файла МР4.

(65) В устройстве обработки информации, описанном в любом одном из (56)-(64),

информация частичного изображения дополнительно включает в себя информацию, относящуюся к размеру всего изображения.

(66) В устройстве обработки информации, описанном в любом одном из (56)-(65),

информация частичного изображения дополнительно включает в себя информацию идентификации группы, идентифицирующую группу, которая представляет собой группу, которой принадлежат частичные изображения, и которая представляет собой группу частичных изображений, которые могут отображаться, как одно изображение.

(67) Устройство обработки информации, описанное в любом одном из (56)-(66), может дополнительно включать в себя:

модуль декодирования, выполненный с возможностью декодирования потока битов, полученного модулем получения потока битов.

(68) Устройство обработки информации, описанное в (67), может дополнительно включать в себя:

модуль обработки комбинирования экрана, выполненный с возможностью генерировать данные изображения всего изображения из данных изображения частичного изображения, полученных модулем декодирования, декодирующим поток битов.

(69) Устройство обработки информации, описанное в любом одном из (56)-(68),

информация частичного изображения включает в себя информацию, обозначающую количество частичных изображений, формирующих все изображение, информацию идентификации, обозначающую, что размеры частичных изображений равны, и информацию, обозначающую положение и размер каждого частичного изображения, когда размеры частичных изображений не равны.

(70) Способ обработки информации включает в себя:

анализируют метаданные, включающие в себя информацию частичного изображения, которая представляет собой информацию, относящуюся к каждому частичному изображению, которое представляет собой часть всего изображения, и используется для подачи потока битов всего изображения и подачи потока битов частичного изображения и получения информации частичного изображения;

выбирают поток битов требуемого частичного изображения, используя полученную информацию частичного изображения; и

получают выбранный поток битов.

Список номеров ссылочных позиций

100 система доставки

101 устройство генерирования данных доставки

102 сервер доставки

103 устройство терминала

104 сеть

121 модуль обработки разделения экрана

122 модуль кодирования изображения

123 модуль генерирования файла

124 модуль генерирования информации изображения типа элемента мозаичного изображения

125 модуль генерирования MPD

126 модуль обработки выгрузки в сервер

131-133 модуль обработки кодирования

141 модуль генерирования MPD типа элемента мозаичного изображения

151 модуль получения MPD

152 модуль обработки анализа

153 модуль выбора элемента мозаичного изображения

154 модуль получения файла

155 модуль декодирования изображения

156 модуль комбинирования элемента мозаичного изображения

157 модуль дисплея

161-163 модули обработки декодирования

171 модуль обработки информации изображения типа элемента мозаичного изображения

Изобретение относится к устройству и способу обработки информации, адаптивно подающим данные частичного изображения. Технический результат заключается в обеспечении адаптивной подачи данных частичного изображения. Предложено устройство обработки информации, включающее: модуль генерирования информации частичного изображения, выполненный с возможностью генерировать информацию частичного изображения, представляющую собой информацию, относящуюся к каждому частичному изображению, представляющему собой часть всего изображения; и модуль генерирования метаданных, выполненный с возможностью генерирования метаданных, подлежащих использованию для подачи потока битов всего изображения и подачи потока битов частичного изображения, с использованием информации частичного изображения, генерируемой модулем генерирования информации частичного изображения. 2 н. и 10 з.п. ф-лы, 71 ил.

1. Устройство обработки информации, содержащее:

модуль генерирования информации частичного изображения, выполненный с возможностью генерировать информацию частичного изображения, представляющую собой информацию, относящуюся к каждому частичному изображению, представляющему собой часть всего изображения;

модуль генерирования метаданных, выполненный с возможностью

устанавливать информацию частичного изображения, относящуюся к множеству частичных изображений, во взаимно различных вспомогательных представлениях; и

генерировать метаданные, подлежащие использованию для подачи потока битов всего изображения и подачи потока битов частичного изображения, включающие в себя информацию частичного изображения, относящуюся к множеству частичных изображений, во взаимно различных вспомогательных представлениях, принадлежащих к одному представлению, принадлежащему к одному набору адаптации метаданных;

при этом информация частичного изображения включает в себя информацию о положении, указывающую положение частичного изображения на всем изображении; и выбор потока битов требуемого частичного изображения основан на информации о положении.

2. Устройство обработки информации по п. 1, в котором информация частичного изображения включает в себя тип вида (viewtype), указывающий, является ли информация частичного изображения частичным изображением.

3. Устройство обработки информации по п. 1, в котором информация частичного изображения включает в себя информацию идентификации группы для идентификации группы частичных изображений, отображаемых как одно изображение.

4. Устройство обработки информации по п. 1, в котором информация о положении указывает положение верхней левой части частичного изображения.

5. Устройство обработки информации по п. 1, в котором модуль генерирования метаданных выполнен с возможностью хранить информацию частичного изображения каждого из множества частичных изображений во взаимно различных наборах адаптации метаданных и назначать потоки битов множества частичных изображений взаимно различным наборам адаптации.

6. Устройство обработки информации по п. 1, в котором блок генерирования информации частичного изображения дополнительно выполнен с возможностью генерировать информацию, указывающую, что информация, относящаяся к потоку битов, присутствует под вспомогательным представлением.

7. Устройство обработки информации по п. 1, в котором каждый из потоков битов множества частичных изображений хранится в TRACK одного файла MP4.

8. Устройство обработки информации по п. 7, в котором модуль генерирования метаданных дополнительно выполнен с возможностью генерировать информацию, указывающую место расположения данных в упомянутом одном файле MP4.

9. Устройство обработки информации по п. 1, в котором информация частичного изображения включает в себя информацию, относящуюся к размеру всего изображения.

10. Устройство обработки информации по п. 1, в котором частичное изображение представляет собой элемент мозаичного изображения при высокоэффективном кодировании видеоданных (HEVC).

11. Устройство обработки информации по п. 1, в котором информация частичного изображения включает в себя информацию, указывающую количество частичных изображений, формирующих все изображение, информацию идентификации, указывающую, равны ли размеры частичных изображений, и информацию, указывающую положение и размер каждого частичного изображения, когда размеры частичных изображений не равны.

12. Способ обработки информации, содержащий этапы, на которых:

генерируют информацию частичного изображения, представляющую собой информацию, относящуюся к каждому частичному изображению, составляющему часть всего изображения;

устанавливают информацию частичного изображения, относящуюся к каждому из множества частичных изображений, во взаимно различных вспомогательных представлениях; и

генерируют метаданные, подлежащие использованию для подачи потока битов всего изображения и подачи потока битов частичного изображения, включающие в себя информацию частичного изображения, относящуюся к множеству частичных изображений, во взаимно различных вспомогательных представлениях, принадлежащих к одному представлению, принадлежащему к одному набору адаптации метаданных,

при этом информация частичного изображения включает в себя информацию о положении, указывающую положение частичного изображения на всем изображении; и выбор потока битов требуемого частичного изображения основан на информации о положении.