УСТРОЙСТВО ПЕРЕДАЧИ, СПОСОБ ПЕРЕДАЧИ, УСТРОЙСТВО ПРИЕМА И СПОСОБ ПРИЕМА Российский патент 2018 года по МПК H04N21/235 H04N21/854 H04N19/23 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема, и, в частности, относится к устройству передачи и т.п., которое обеспечивает услугу распределения компоновки множества изображений.

Уровень техники

В настоящее время реализуется или предлагаются технологии отображения с множеством окон, в которых множество потоков, получаемых в результате широковещательной передачи или через сеть, многократно декодируют и большое количество множества декодированных изображений отображают на одном устройстве отображения.

Например, когда множество изображений отображают в, так называемом, стиле PinP (изображение в изображении), пользователь может одновременно просматривать изображение программы одного канала, отображаемого в большом основном окне, и изображение программы другого канала, отображаемого в малом подокне. Кроме того, например, когда изображения программ разных каналов отображаются в правой половине и в левой половине дисплея рядом друг с другом, пользователь может одновременно просматривать изображения программ двух каналов.

Например, в Патентном документе 1 раскрыта технология, в которой, когда вводят инструкцию на отображение с множеством окон в состоянии нормального отображения, состояние отображения соответствующим образом переключают на отображение с множеством окон.

Патентный документ 1: Выложенная заявка на японский патент, №2000-13712

Раскрытие изобретения

Задача, решаемая изобретением

Например, сторона передачи может передавать данные изображения множества изображений в компоновке множества изображений, и сторона приема может обрабатывать данные множества изображений, получать изображение в виде компоновки множества изображений и отображать изображение в виде компоновки множества изображений. В этом случае сторона приема должна размещать множество изображений соответствующим образом.

Цель настоящей технологии состоит в том, чтобы успешно предоставлять услугу распределения компоновки множества изображений.

Средство решения задачи

В соответствии с концепцией настоящей технологии обеспечивается устройство передачи, включающее в себя:

модуль передачи для передачи контейнера заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные изображений для множества изображений услуги распределения компоновки множества изображений; и

модуль вставки информации для вставки информации о положении в уровень видеопотока, при этом информация о положении представляет положения компоновки множества изображений.

В соответствии с настоящей технологией, модуль передачи передает контейнер в заданном формате, содержащий заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений в услуге распределения компоновки множества изображений. Например, контейнер может представлять собой поток транспортирования (TS MPEG 2), используемый, как стандарт цифровой широковещательной передачи. В качестве альтернативы, например, контейнер может представлять собой контейнер, имеющий другой формат, такой как ММТ или МР4, используемый для распределения через Интернет. Модуль вставки информации вставляет информацию о положении на уровне видеопотока, при этом информация о положении представляет положения компоновки множества изображений.

Как описано выше, в соответствии с настоящей технологией, информацию о положении вставляют на уровне видеопотока, информация о положении представляет положение компоновки множества изображений. Таким образом, на стороне приема можно соответствующим образом и просто размещать множество изображений.

Следует отметить, что в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию о смещении в уровень видеопотока, информация о смещении используется для регулировки временных характеристик отображения множества изображений. Поэтому сторона приема имеет возможность регулировать временные характеристики отображения множества изображений в изображении, скомпонованном из множества изображений, и может согласовывать моменты времени начала отображения для множества изображений.

Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа в уровень видеопотока, при этом информация типа представляет тип компоновки множества изображений. Поэтому сторона приема может соответствующим образом распознавать тип размещения множества изображений и соответствующим образом и просто размещать множество изображений. Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию о сроке существования на уровне видеопотока, при этом информация о сроке существования представляет, выполняется или нет управление временем разрешенного отображения множества изображений. Благодаря такой информации, например, сторона приема может автоматически управлять удалением данных изображения, сохраненных в буфере виртуального отображения.

Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа в уровень видеопотока, при этом информация типа представляет тип поворота множества изображений во время отображения. Поэтому возможно отображать множество изображений в состоянии поворота, которое требует обеспечить сторона услуги.

Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию идентификации на уровне контейнера, при этом информация идентификации идентифицирует услугу распределения компоновки для множества изображений. Поэтому сторона приема может просто распознавать услугу распределения компоновки множества изображений и может подготовиться к этой обработке. В этом случае, например, модуль вставки информации может дополнительно вставлять информацию идентификации на уровне контейнера, информация идентификации идентифицирует, является или нет услуга распределения компоновки множества изображений смешанной услугой движущегося/неподвижного изображения.

Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию об общем количестве видеопотоков, относящихся к услуге распределения компоновки, для множества изображений на уровне контейнера. Поэтому сторона приема может просто определить общее количество видеопотоков, предназначенных для обработки, и может соответствующим образом их обрабатывать.

Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа на уровне контейнера, при этом информация типа представляет, является ли каждый видеопоток потоком движущегося изображения, потоком неподвижного изображения или смешанным потоком, смешанный поток, содержащий неподвижные изображения и движущиеся изображения в смешанном виде. Поэтому сторона приема имеет возможность определять общее количество видеопотоков для простой обработки, и может соответствующим образом их обрабатывать.

Кроме того, в соответствии с концепцией настоящей технологии, обеспечивается устройство приема, включающее в себя:

модуль приема для приема заданного количество видеопотоков, содержащих кодированные данные изображения для множества изображений в услуге распределения компоновки множества изображений, при этом информацию положения вставляют в заданное количество видеопотоков, причем информация о положении представляет положение компоновки для множества изображений; модуль декодера, который декодирует заданное количество видеопотоков и получает данные изображения множества изображений; и модуль обработки, который размещает данные изображения для множества декодированных изображений на основе информация положения и получает данные изображения для изображения в виде размещенного множества изображений.

В соответствии с настоящей технологией, модуль приема принимает заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений в услуге распределения компоновки множества изображений, причем информацию о положении вставляют в заданное количество видеопотоков, информация о положении, представляющая положения компоновки для множества изображений. Модуль декодера декодирует заданное количество видеопотоков и получает данные изображения для множества изображений.

Кроме того, модуль обработки размещает данные изображения из множества декодируемых изображений на основе информации положения и получает данные изображения для изображения в виде компоновки множества изображений. Например, устройство приема может дополнительно включать в себя: буфер декодера, который временно хранит данные изображения множества изображений, полученных модулем декодера; и буфер виртуального отображения, который временно хранит данные изображения компоновки множества изображений, в которой модуль обработки может последовательно считывать данные изображения множества изображений из буфера декодера, и записывать данные изображения множества изображений в областях, соответствующих положениям компоновки информации положения буфера виртуального отображения.

Как описано выше, в соответствии с настоящей технологией, данные изображения множества декодированных изображений размещают на основе информации положения и получают данные изображения в виде компоновки множества изображений. Поэтому возможно эффективно и соответствующим образом получать данные изображения для изображения, скомпонованного из множества изображений.

Следует отметить, что в соответствии с настоящей технологией, например, устройство приема может дополнительно включать в себя контроллер отображения, который считывает данные изображения, соответствующие части или всем областям отображения для изображения, скомпонованного в виде множества изображений, из виртуального буфера отображения и отображает изображения в части или во всех областях изображения. В этом случае, например, устройство приема может дополнительно включать в себя модуль операции пользователя, который информирует контроллер отображения об области отображения. Поэтому, например, возможно изменять изображения, отображаемые на устройстве отображения, и отображать большое изображение, скомпонованное из множества изображений, с возможностью прокрутки на основе операции пользователя, например, на устройстве отображения малого размера (с малым разрешением). Кроме того, в этом случае, например, устройство приема может дополнительно включать в себя модуль операции пользователя, который информирует контроллер отображения о количестве устройств отображения, изображений области отображения, отображаемых на устройствах отображения.

Кроме того, в соответствии с настоящей технологией, например, устройство приема может дополнительно включать в себя модуль передачи запроса, который передает на сторону передачи запросов на остановку и возобновление передачи заданного количества видеопотоков. Поэтому, например, пользователь может просматривать изображение, скомпонованное из множества изображений, содержащее неподвижные изображения, в произвольные моменты времени без переполнения буфера, в котором временно содержатся данные изображения.

Кроме того, в соответствии с другой концепцией настоящей технологии, обеспечивается устройство передачи, включающее в себя:

генератор метафайла для генерирования метафайла, содержащего информацию, используемую в терминале клиента для получения заданного количества видеопотоков, заданное количество видеопотоков, содержащее кодированные данные изображения из множества изображений услуги распределения компоновки множества изображений, сервер распределения, выполненный с возможностью распределения услуги распределения компоновки множества изображений через сеть; и

модуль передачи метафайла для передачи сгенерированного метафайла на терминал клиента через сеть в ответ на запрос на передачу из терминала клиента, в котором информацию о положении вставляют на уровне видеопотока, при этом информация о положении представляет положение компоновки множества изображений, и генератор метафайла генерирует метафайл, содержащий информацию, требующую постоянного считывания заданного количества видеопотоков.

В соответствии с настоящей технологией, генератор метафайла генерирует метафайл, содержащий информацию, подлежащую использованию терминалом клиента, для получения заданного количества видеопотоков. Заданное количество видеопотоков содержит кодированные данные изображения множества изображений для услуги распределения компоновки множества изображений, причем сервер распределения выполнен с возможностью распределения услуги распределения компоновки множества изображений через сеть. В этом случае информацию о положении вставляют на уровне видеопотока, при этом информация о положении представляет положение размещения множества изображений.

Модуль передачи метафайла передает метафайл в терминал клиента через сеть в ответ на запрос на передачу из терминала клиента. Генератор метафайла генерирует метафайл, содержащий информацию, представляющую требование постоянного считывания заданного количества видеопотоков.

Как описано выше, в соответствии с настоящей технологией, метафайл содержит информацию, представляющую необходимость постоянно считывать заданное количество видеопотоков. Поэтому сторона приема постоянно считывает заданное количество видеопотоков на основе информации метафайла. Таким образом, становится возможным успешно получить данные изображения для изображения, скомпонованного из множества изображений.

Следует отметить, что в соответствии с настоящей технологией, например, генератор метафайла может генерировать метафайл, дополнительно содержащий информацию идентификации, информация идентификации идентифицирует, является ли заданное количество видеопотоков потоками неподвижного изображения или потоками движущегося изображения. Поэтому терминал клиента выполнен с возможностью простого определения, является ли заданное количество видеопотоков потоками неподвижного изображения или потоками движущегося изображения.

Эффект изобретения

В соответствии с настоящей технологией можно успешно обеспечить услугу распределения компоновки множества изображений. Следует отметить, что эффекты не обязательно ограничены описанными здесь и могут представлять собой любой эффект, описанный в настоящем раскрытии.

Краткое описание чертежей

Фиг. 1 - Блок-схема, представляющая пример структуры системы распределения по варианту осуществления.

Фиг. 2 - Схема, представляющая пример горизонтальной/вертикальной двумерной компоновки множества изображений.

Фиг. 3 - Схема, представляющая пример горизонтальной одномерной компоновки множества изображений.

Фиг. 4 - Схема, представляющая пример группового изображения, содержащего неподвижные изображения.

Фиг. 5 - Схема, представляющая пример группового изображения, содержащего движущиеся изображения.

Фиг. 6 - Схема, представляющая пример группового изображения, содержащего движущиеся изображения.

Фиг. 7 - Схема, представляющая пример группового изображения из неподвижных изображений и движущихся изображений.

Фиг. 8 - Схема, представляющая пример распределения услуги неподвижных изображений (Still pictures) при использовании одного потока.

Фиг. 9 - Схема, представляющая пример распределения услуги неподвижных изображений (Still pictures) при использовании множества потоков.

Фиг. 10 - Схема, представляющая пример распределения смешанной услуги неподвижных изображений (Still pictures) и движущихся изображений (Moving pictures) при использовании одного потока.

Фиг. 11 - Блок-схема, представляющая пример структуры генератора данных передачи, который генерирует поток транспортирования.

Фиг. 12 - Схема, представляющая пример структуры потока транспортирования при распределении с использованием одного потока.

Фиг. 13 - Схема, представляющая пример структуры потока транспортирования при распределении с использованием множества потоков.

Фиг. 14 - Схема, представляющая пример структуры (Синтаксис) тэга группового изображения SEI (Group_picture_tag SEI).

Фиг. 15 - Схема, представляющая содержание (Семантика) основной информации примера структуры тэга группового изображения SEI.

Фиг. 16 - Схема, представляющая пример поворота во время отображения на основе "display_coordinate".

Фиг. 17 - Схема, представляющая пример расчета временных характеристик СТР отображения изображений в групповом изображении.

Фиг. 18 - Схема, представляющая пример перехода различных видов информации тэга группового изображения SEI во временной последовательности.

Фиг. 19 - Схема, представляющая пример структуры (Синтаксис) дескриптора услуги с множеством потоков (multi_stream_service_descriptor).

Фиг. 20 - Схема, представляющая содержание (Семантика) основной информации примера структуры дескриптора услуги с множеством потоков.

Фиг. 21 - Схема, представляющая пример структуры (Синтаксис) дескриптора смешанного потока (mixed_stream_descriptor), и содержание (Семантика) основной информации примера структуры.

Фиг. 22 - Схема, представляющая пример структуры (Синтаксис) изображения дескриптора срока существования изображения (Picture_lifetime_descriptor) и содержание (Семантика) основной информации примера структуры.

Фиг. 23 - Схема, представляющая пример соотношения между областями отображения и изображениями на виртуальном устройстве отображения.

Фиг. 24 - Схема, представляющая пример положения и размера области отображения на виртуальном устройстве отображения.

Фиг. 25 - Схема, представляющая пример соотношения между областью отображения и изображением на виртуальном устройстве отображения.

Фиг. 26 - Схема, представляющая пример положения и размер области отображения на виртуальном устройстве отображения.

Фиг. 27 - Схема, представляющая пример структуры устройства отображения для отображения панорамного изображения.

Фиг. 28 - Схемы, каждая представляющая пример определения области отображения, где групповое изображение содержит семь изображений, непрерывных в горизонтальном направлении.

Фиг. 29 - Блок-схема, представляющая пример структуры системы распределения потока на основе DASH.

Фиг. 30 - Схема, представляющая структуру уровня файла MPD.

Фиг. 31 - Схема, представляющая пример взаимосвязи структур, которые расположены на нескольких уровнях в файле MPD.

Фиг. 32 - Схема, представляющая пример потока генерирования сегмента DASH и файла DASH MPD на основе содержания.

Фиг. 33 - Схема, представляющая пример структуры клиента IPTV системы распределения потока.

Фиг. 34 - Схема, представляющая общую последовательность системы распределения потока на основе DASH.

Фиг. 35 - Схема, представляющая пример структуры фрагментированного потока МР4, содержащего поток видеоданных.

Фиг. 36 - Схема, представляющая пример описания файла MPD услуги распределения компоновки множества изображений.

Фиг. 37 - Схема, представляющая пример описания файла MPD услуги распределения компоновки множества изображений.

Осуществление изобретения

Ниже будет описан вариант осуществления изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание будет представлено в следующем порядке.

1. Вариант осуществления

2. Пример модификации

1. Вариант осуществления

Пример структуры системы распределения

На фиг. 1 показан пример структуры системы 10 распределения. В системе 10 распределения, станция 110 широковещательной передачи, сервер 120 распределения сети и сервер 130 распределения NTP (протокол времени в сети) расположены на стороне передачи, и приемник 200 размещен на стороне приема.

Станция 110 широковещательной передачи обеспечивает линейные услуги неподвижных изображений и движущихся изображений через путь передачи RF, или услуги загрузки неподвижных изображений и движущихся изображений. Станция 110 широковещательной передачи передает контейнеры MPEG2-TS (ниже просто называются "потоком транспортирования"), например, мультиплексные данные дистрибутива широковещательной передачи. В этом варианте осуществления поток транспортирования включает в себя заданное количество видеопотоков, каждый из которых включает в себя кодированные данные изображения, состоящие из множества изображений (кадров) в услуге распределения компоновки множества изображений.

Примеры компоновки множества изображений включают в себя: горизонтальную/вертикальную двумерную компоновку множества изображений, в которой множество изображений расположены двумерно в горизонтальном/вертикальном направлениях; горизонтальную одномерную компоновку множества изображений, в которой множество изображений в одномерном представлении расположены в горизонтальном направлении; вертикальной одномерной компоновки множества изображений, в которой множество изображений расположены в одномерной компоновке в вертикальном направлении; и т.п.

На уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, вставлена информация о смещении для регулировки временных характеристик отображения множества изображений, информации о типе, представляющей тип компоновки множества изображений, информации о типе, представляющей тип поворота при отображении множества изображений, и т.п. Например, если данные изображения кодированы на основе AVC (усовершенствованное кодирование видеоданных), HEVC (высокоэффективное кодирование видеоданных), и т.п., такую информацию вставляют во вновь определенное сообщение SEI.

На фиг. 2 показан пример горизонтальной/вертикальной двумерной компоновки множества изображений. В этом примере четыре изображения размещены в горизонтальном направлении, и четыре изображения размещены в вертикальном направлении. Изображение с компоновкой из множества изображений (ниже, в случае необходимости, называется "групповым изображением") содержащей 4×4 изображения, имеет разрешение, соответствующее виртуальному устройству отображения. Например, если одно изображение имеет разрешение HD, тогда групповое изображение имеет разрешение 8 K.

Каждые из от "0000" до "1111" представляют 4-битные данные, то есть, информацию о положении каждого изображения. В данном случае, первые 2 бита представляют любое одно положение четверти виртуального устройства отображения. Кроме того, последние 2 бита представляют любое одно положение малой четверти каждой четверти. Кроме того, "тип получения изображения" представляет собой информацию типа, представляющую тип компоновки множества изображений. Тип получения изображения, равный type=011, означает горизонтальную/вертикальную двумерную компоновку множества изображений.

На фиг. 3 показан пример горизонтальной одномерной компоновки множества изображений. В этом примере пять изображений размещены в горизонтальном направлении. Групповое изображение, содержащее пять изображений, имеет разрешение, соответствующее виртуальному устройству отображения. Например, если одно изображение имеет разрешение HD, групповое изображение имеет разрешение в пять раз большее, чем разрешение HD в горизонтальном направлении.

"1110", "1111", "0000", "0001" или "0010" представляют 4 бита данных информации положения каждого изображения. Например, в случае горизонтальной одномерной компоновки множества изображений, информация о положении переднего изображения представляет собой "0000", информация о положении N-ого изображения справа от переднего составляет "0000+N", и информация о положении N-ого изображения слева от переднего представляет собой "0000-N".

Следует отметить, что описание примера вертикальной одномерной компоновки множества изображений будет исключено, поскольку оно аналогично примеру горизонтальной одномерной компоновки множества изображений.

Кроме того, на уровне потока транспортирования, вставлена информация идентификации, которая означает услугу распределения компоновки множества изображений, информация идентификации, которая идентифицирует, представляет ли собой услуга распределения услугу смешанного движущегося/неподвижного изображения или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п. Такая информация описана во вновь определенном дескрипторе, который вставляют, например, ниже таблицы карты программы (РМТ).

Один видеопоток содержит кодированные данные изображения одного изображения или множества изображений. Кроме того, видеопоток представляет собой поток движущегося изображения, поток неподвижного изображения или смешанный поток движущегося/неподвижного изображения.

На фиг. 4 показан пример группового изображения из неподвижных изображений. В этом примере групповое изображение содержит 2×2 изображения (неподвижные изображения). Кроме того, в этом примере, один видеопоток передает кодированные данные изображения для изображений с разделением по времени. В этом случае сторона приема последовательно декодирует кодированные данные для изображений, и данные изображения каждого изображения записывают в область буфера для виртуального устройства отображения на основе его информации положения.

На фиг. 5 показан пример группового изображения для движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (движущиеся изображения). Кроме того, в этом примере, один видеопоток передает кодированные данные для изображения с разделением по времени. В этом случае, сторона приема последовательно декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройства отображения на основе его информация о положении.

На фиг. 6 показан пример группового изображения для движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (движущиеся изображения). Кроме того, в этом примере, четыре потока видеоданных передают кодированные данные изображения для изображений. В этом случае, сторона приема декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройства отображения на основе его информации положения.

На фиг. 7 показан пример группового изображения неподвижных изображений и движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (неподвижные изображения, движущиеся изображения). Кроме того, в этом примере один видеопоток передает кодированные данные изображения для изображений. В этом случае изображение 3 (кадр 3) содержит, как неподвижные изображения, так и движущиеся изображения. В этом случае, сторона приема декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройстве отображения на основе его информации положения.

На фиг. 8 показан пример распределения услуги неподвижного изображения (Still picture), используя один поток. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. В этом примере представлено кодирование HEVC. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся кодированные данные изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).

Вначале кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4) передают последовательно. Затем передают обновленные кодированные данные изображения для изображения 3 (Picture 3). Затем, дополнительно, передают обновленные кодированные данные изображения для изображения 3 (Picture 3). Затем последовательно передают обновленные кодированные данные изображения для изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4).

Следует отметить, что "group_picture_start" означает начало группового изображения, которое должно обновляться и должно отображаться в определенный момент времени. В то же время, "group_picture_end" означает конец обновления группового изображения и отображение его в определенный момент времени. Такую информацию вставляют на уровень видеопотока, как описано ниже. То же относится к следующим примерам.

На фиг. 9 показан пример распределения услуги неподвижного изображения (Still picture), используя множество потоков. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся кодированные данные изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).

Вначале последовательно передают кодированные данные изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4), используя видеопотоки 1-4, соответственно. Затем передают обновленные кодированные данные изображения для изображения 3 (Picture 3), и используя видеопоток 3. Затем дополнительно передают обновленные кодированные данные изображения для изображения 3 (Picture 3), используя видеопоток 3. Затем передают последовательно обновленные кодированные данные изображения для изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4), используя видеопотоки 1-4, соответственно.

На фиг. 10 показан пример распределения смешанной услуги неподвижных изображений (Still pictures) и движущихся изображений (Moving pictures), используя один поток. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся данные кодированного изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).

Вначале последовательно передают кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4). Затем передают кодированные данные изображения движущегося изображения для изображения 3 (Picture 3). Затем последовательно передают обновленные кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4).

На фиг. 11 показан пример структуры генератора 110 данных передачи, который генерирует поток транспортирования станции 110 широковещательной передачи. Генератор 110 данных передачи включает в себя модуль вывода 112 движущегося/неподвижного изображения, видеокодер 113 и мультиплексор 114.

Модуль 112 вывода движущегося/неподвижного изображения выводит данные изображения для множества изображений в услуге распределения компоновки множества изображений. Модуль 112 вывода движущегося /неподвижного изображения включает в себя, например, камеру, которая снимает изображение объекта, и выводит данные изображения, считыватель данных изображения, который считывает данные изображения с носителя записи и выводит данные изображения, и т.п. В услуге неподвижного изображения (например, см. фиг. 4) выводят данные изображения множества неподвижных изображений. В услуге движущегося изображения (например, см. фиг. 5 и фиг. 6) выводят данные изображения множества движущихся изображений. Кроме того, в смешанной услуге движущегося/неподвижного изображения (например, см. фиг. 7), выводят данные изображения множества движущихся изображений и неподвижных изображений.

Видеокодер 113 кодирует данные изображения множества изображений, выводимых из модуля 112 вывода движущегося/неподвижного изображения на основе, например, AVC, HEVC и т.п. и получает кодированные данные изображения. Кроме того, видеокодер 113 генерирует заданное количество видеопотоков (элементарных видеопотоков), содержащих кодированные данные изображения, используя блок форматирования потока на последнем этапе. В этом случае один видеопоток содержит кодированные данные изображения для одного изображения в компоновке множества изображений, или может содержать кодированные данные изображения для множества изображений в компоновке множества изображений.

Здесь видеокодер 113 вставляет на уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, информацию смещения для регулирования временных характеристик отображения множества изображений, информацию о типе, представляющую тип компоновки множества изображений, информацию о типе, представляющую тип поворота при отображении множества изображений, и т.п.. Если данные изображения кодированы на основе AVC (усовершенствованное видеокодирование), HEVC (высокоэффективное видеокодирование) и т.п., такую информацию вставляют во вновь определенное сообщение SEI. Такая информация будет описана подробно ниже.

Мультиплексор 114 генерирует пакеты видеопотоков, сгенерированных видеокодером 113, мультиплексирует эти пакеты и генерирует поток транспортирования. Здесь, мультиплексор 114 вставляет на уровне контейнера (уровень системы) информацию идентификации, которая обозначает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, представляет ли собой услуга распределения смешанную услугу движущегося/неподвижного изображения, или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений и т.п. Такая информация описана во вновь определенном дескрипторе, который вставляют, например, ниже таблицы карты программы (РМТ). Такая информация будет описана подробно ниже.

Поведение генератора 110 данных передачи по фиг. 11 будет описано в общих чертах. Модуль 112 вывода движущегося/неподвижного изображения выводит данные изображения, состоящие из множества изображений услуги распределения компоновки множества изображений. Данные изображения подают в видеокодер 113. Видеокодер 113 кодирует данные изображения, например, на основе AVC, HEVC и т.п. и получает кодированные данные изображения. Кроме того, видеокодер 113 генерирует заданное количество видеопотоков, содержащих кодированные данные изображения.

В это время, видеокодер 113 вставляет, на уровне видеопотока, например, используя вновь определенное сообщение SEI, в дополнение к информации положения, представляющей положения компоновки множества изображений, информацию смещения для регулирования временных характеристик отображения множества изображений, Информацию типа, представляющую тип компоновки множества изображений, информацию типа, представляющую тип поворота при отображении множества изображений, и т.п..

Кроме того, заданное количество видеопотоков, которые выводят из видеокодера 113, подают в мультиплексор 114. Мультиплексор 114 генерирует пакеты видеопотоков, мультиплексирует эти пакеты и генерирует поток транспортирования. В это время мультиплексор 114 вставляет, в уровень потока транспортирования, используя вновь определенный дескриптор, информацию идентификации, которая означает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, представляет ли собой услуга распределения смешанную услугу движущегося/неподвижного изображения или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п.

Структура TS, структура сообщения SEI и структура дескриптора

На фиг. 12 показан пример структуры потока транспортирования при распределении с использованием одного потока. Поток транспортирования содержит один видеопоток. Другими словами, в соответствии со структурным примером, имеется пакет PES "видео PES1" видеопотока, содержащего кодированные данные изображения. Видеопоток содержит кодированные данные изображения множества изображений услуги распределения компоновки множества изображений.

В видеопоток вставляют сообщение тэга SEI группового изображения (Group_picture_tag SEI), для каждого модуля доступа кодированных данных изображения каждого изображения. Благодаря использованию сообщения SEI, как описано выше, на уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, вставляют информацию смещения, для регулирования временных характеристик отображения множества изображений, информацию типа, представляющую тип компоновки множества изображений, информацию типа, представляющую тип поворота при отображении множества изображений, и т.п.

Кроме того, поток TS транспортирования содержит РМТ (таблица карты программы) как PSI (информация, специфичная для программы). PSI представляет собой информацию, описывающую программы, которым принадлежат элементарные потоки, содержащиеся в потоке транспортирования.

РМТ содержит цикл программ, который описывает общую информацию программ. Дескриптор услуги с множественным потоком (multi_stream_service_descriptor) вставляют ниже цикла программы. Кроме того, РМТ содержит элементарный цикл, имеющий информацию об элементарных потоках. В соответствии со структурным примером, РМТ содержит элементарный цикл видеоданных (видеоцикл ES1).

В элементарном цикле видеоданных, в соответствии с видеопотоком (видео PES1), также размещена информация, такая как тип потока и идентификатор пакета (PID), и также размещен дескриптор, который описывает информацию о видеопотоке. В качестве таких дескрипторов вставлен дескриптор смешанного потока (mixed_stream_descriptor) и дескриптор срока существования изображения (Picture_lifetime_descriptor).

Благодаря использованию дескрипторов, вставленных ниже РМТ, как описано выше, вставляют информацию идентификации, которая означает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, является ли услуга смешанной услугой распределения движущегося/неподвижного изображения или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п.

На фиг. 13 показан пример структуры потока транспортирования при распределении с использованием множества потоков, то есть, четырех потоков в данном случае. Поток транспортирования содержит четыре видеопотока. Другими словами, в соответствии со структурным примером, существуют пакеты PES "видео PES1, видео PES2, видео PES3 и видео PES4" видеопотока, содержащего кодированные данные изображения. Видеопоток содержит кодированные данные изображения множества изображений в услуге распределения компоновки множества изображений.

В видеопотоках вставляют сообщение тэга SEI группового изображения (Group_picture_tag SEI), для каждого модуля доступа кодированных данных изображения каждого изображения. Благодаря использованию сообщения SEI, как описано выше, в уровень видеопотока, в дополнение к информации положения, представляющей положения размещения множества изображений, вставляют информацию смещения для регулирования временных характеристик отображения множества изображений и информацию типа, представляющую тип компоновки множества изображений, информацию типа, представляющую тип поворота при отображении множества изображений, и т.п.

Кроме того, поток TS транспортирования содержит РМТ (таблицу карты программы) и PSI (информацию, специфичную для программы). PSI представляет собой информацию, описывающую программы, которым принадлежат элементарные потоки, содержащиеся в потоке транспортирования.

РМТ содержит цикл программы, который описывает общую информацию о программах. Дескриптор услуги множества потоков (multi_stream_service_descriptor) вставляют ниже цикла программы. Кроме того, РМТ содержит элементарный цикл, имеющий информацию об элементарных потоках. В соответствии со структурным примером, РМТ содержит четыре элементарных цикла видеоданных (видеоцикл ES1, видеоцикл ES2, видеоцикл ES3, и видеоцикл ES4).

В элементарных видеоциклах, соответствующих каждому видеопотоку, размещена информация, такая как тип потока и идентификатор пакета (PID), и также размещен дескриптор, который описывает информацию видеопотока. Дескрипторы, как таковые, вставляют в дескриптор смешанного потока (mixed_stream_descriptor) и дескриптор срока существования изображения (Picture_lifetime_descriptor).

Благодаря использованию дескрипторов, вставляемых ниже РМТ, как описано выше, вставляют информацию идентификации, которая означает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, является или нет услуга распределения смешанной услугой движущегося/неподвижного изображения, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений и т.п.

На фиг. 14 показан пример структуры (синтаксис) тэга SEI группового изображения (Group_picture_tag SEI). Кроме того, на фиг. 15 представлено содержание (семантика) основной информации примера структуры. 8-битное поле "group_picture_id" представляет собой информацию ассоциации для собранного отображения, включающего в себя множество изображений, включающих в себя неподвижные изображения. Другими словами, изображения группового изображения (multi-image-arranged image) имеет одинаковый "group_picture_id".

3-битное поле "picture_rendering_type" представляет тип компоновки, то есть, тип компоновки множества изображений для изображений в групповом изображении. "001" означает горизонтальную одномерную компоновку множества изображений, "010" означает вертикальную одномерную компоновку множества изображений, и "011" означает горизонтальную/вертикальную двумерную компоновку множества изображений. Благодаря такой информации принимающая сторона может распознавать тип компоновки множества изображений соответствующим образом, и может соответствующим образом размещать множество изображений.

1-битное поле "lifetime_controlled" представляет, ограничено или нет разрешенное время отображения. "1" означает, что разрешенное время отображения ограничено. В этом случае отображение разрешено на время NTP, определенное на основе системного уровня (уровня содержания. "0" означает, что разрешенное время отображения не ограничено, то есть, что разрешено отображать в течение неопределенного периода. Благодаря такой информации, например, сторона приема может автоматически управлять буфером виртуального устройства отображения для удаления данных изображения, сохраненных в нем.

4-битное поле "location_ID" представляет положения размещения изображений в групповом изображении (см. фиг. 2 и фиг. 3). 8-битное поле "version_number" представляет собой повышающееся значение, представляющее обновление изображений. На основе этой информация, например, возможно последовательно обновлять неподвижные изображения в группе изображений. 4-битное поле "number_of_pictures" представляет собой общее количество изображений в групповом изображении, то есть, максимальное количество одновременно отображаемых изображений, имеющих одинаковый "group_picture_id".

3-битное поле "display_coordinate" представляет тип поворота во время отображения. "010" означает отображение с поворотом на 90 градусов по часовой стрелке каждого изображения. "011" означает отображение с поворотом против часовой стрелки на 90 градусов каждого изображения. "110" означает отображение с поворотом на 90 градусов по часовой стрелке всего группового изображения. "111" означает отображение с поворотом на 90 градусов против часовой стрелки всего группового изображения. Благодаря такой информации, можно отображать множество изображений в групповом изображении в состоянии поворота, которое желает представить сторона услуги.

На фиг. 16 показан пример поворота во время отображения на основе "display_coordinate". Этот пример представляет горизонтальную/вертикальную двумерную компоновку множества изображений, в которой групповое изображение содержит 2×2 изображения. На фиг. 16(а) показан пример, в котором "display_coordinate" представляет собой "110". Отображаемое изображение получают путем поворота всего группового изображения, то есть, декодированного изображения по часовой стрелке на 90 градусов. Далее, на фиг. 16 (b) показан пример, в котором "display_coordinate" представляет собой "010". Отображаемое изображение получают путем поворота соответствующих изображений (картинок, то есть, декодированного изображения, по часовой стрелке на 90 градусов.

Снова, как показано на фиг. 14, 1-битное поле "group_picture_start" представляет начало группового изображения, которое должно быть обновлено и должно отображаться в определенный момент времени. 1-битное поле "group_picture_end" представляет конец группового изображения, которое должно быть обновлено и должно отображаться в определенный момент времени. 8-битное поле "PTD (расстояние времени представления)" представляет собой значение смещения, которое используется для одновременного отображения изображения в групповом изображении. Другими словами, "PTD" представляет собой информацию смещения, которая используется для регулировки временных характеристик отображения множества изображений в групповом изображении.

Временные характеристики отображения CTP (i) изображения (i) в групповом изображении могут быть получены на основе PTD (i), как представлено в следующей математической формуле (1). Здесь PTD (max) представляет собой PTD изображения, имеющего последнее время характеристики отображения (PTS) среди изображений, имеющих одинаковый "group_picture_id" между "group_picture_start" и "group_picture_end".

На фиг. 17 показан пример расчета временных характеристик СТР отображения изображений в групповом изображении. Этот пример является таким, как показано на фиг. 17(а), для горизонтальной/вертикальной двумерной компоновки множества изображений, в которой групповое изображение содержит 2×2 изображения (Picture 1, Picture 2, Picture 3 и Picture 4). В этом случае, как показано на фиг. 17(b), например, PTS изображений представляют собой Р1, Р2, Р3 и Р4, и 1, 2, 3 и 4 установлены, как PTD изображений. Удовлетворяется условие PTD (max)=4.

В этом случае получают "Р1+(4-1)×1/90000", как временные характеристики отображения СТР 1 изображения 1 (Picture 1). Кроме того, "Р2+(4-2)×1/90000" получают, как характеристики отображения СТР 2 изображения 2 (Picture 2). Кроме того, "Р3+(4-3)×1/90000" получают, как временные характеристики отображения СТР 3 изображения 3 (Picture 3). Кроме того, "Р4+(4-4)×1/90000=Р4" получают, как временные характеристики отображения СТР 4 для изображения 4 (Picture 4). Следует отметить, что временные характеристики отображения для изображений в групповом изображении сдвинуты на разные установочные значения СТР.

На фиг. 18 показан пример перехода различных видов информации тэга группового изображения SEI во временной последовательности. На фиг. 18 прямоугольник с номером в кружке представляет модуль доступа. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся данные кодированного изображения для каждого из от изображения 1 (Picture 1) до изображения 4 (Picture 4) (см. фиг. 17(а)).

Вначале последовательно передают кодированные данные изображения для неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4), имеющих "1" в качестве "group_picture_id". В этом случае кодированные данные изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4) содержат от "1" до "4" в качестве "location_id", "1", как "version_number", и "0", как "display_coordinate". Кроме того, в этом случае, кодированные данные изображения для изображения 1 (Picture 1) содержат "group_picture_start", представляющий начало услуги группового изображения, и кодированные данные изображения для изображения 4 (Picture 4) содержат "group_picture_end", представляющий конец услуги группового изображения.

Затем передают обновленные кодированные данные изображения для изображения 2 (Picture 2). В этом случае кодированные данные изображения для изображения 2 (Picture 2) содержат "2", как "location_id", "2", как "version_number", и "0", как "display_coordinate". Кроме того, в этом случае, кодированные данные изображения для изображения 2 (Picture 2) содержат "group_picture_start", представляющий начало услуги группового изображения, и "group_picture_end", представляющий конец услуги группового изображения.

Затем дополнительно передают обновленные кодированные данные изображения для изображения 2 (Picture 2). В этом случае кодированные данные изображения для изображения 2 (Picture 2) содержат "2", как "location_id", "3", как "version_number", и "0", как "display_coordinate". Кроме того, в этом случае, кодированные данные изображения для изображения 2 (Picture 2) содержат "group_picture_start", представляющий начало услуги группового изображения, и "group_picture_end", представляющий конец услуги группового изображения.

Затем последовательно передают обновленные кодированные данные изображения для неподвижных изображений, таких как от изображения 1 (Picture 1) до изображения 4 (Picture 4). В этом случае кодированные данные изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4) содержат от "1" до "4", как "location_id", "4", как "version_number", и "1", как "display_coordinate". Кроме того, в этом случае, кодированные данные изображения для изображения 1 (Picture 1) содержат "group_picture_start", представляющий начало услуги группового изображения, и кодированные данные изображения для изображения 4 (Picture 4) содержат "group_picture_end", представляющий конец услуги группового изображения.

На фиг. 19 показан пример структуры (синтаксис) дескриптора услуги с множеством потоков (multi_stream_service_descriptor). Кроме того, на фиг. 20 показано содержание (семантика) основной информации примера структуры.

8-битное поле "multi_stream_service_descriptor_tag" представляет тип дескриптора, то есть, дескриптор услуги с множеством потоков в этом примере. 8-битное поле "multi_stream_service_descriptor_length" представляет длину (размер) дескриптора, то есть, количество следующих байтов, в качестве длины дескриптора. 1-битное поле "multiple_stream_service_flag" представляет собой флаг, представляющий услугу множественного распределения, то есть, услугу распределения компоновки множества изображений. "1" представляет услугу с множеством распределений, и "0" представляет услугу "без множества распределений". Благодаря такой информации, сторона приема может распознавать просто услугу распределения компоновки множества изображений и может подготовиться к этой обработке.

1-битное поле "moving_picture_still_picture_mixed_service" представляет собой флаг, показывающий смешанную услугу неподвижного/движущегося изображения. "1" означает смешанную услугу неподвижного/движущегося изображения, и "0" означает несмешанную услугу. 4-битное поле "number_of_streams" представляет общее количество потоков, относящихся к услуге с множеством распределений. От "0001" до "1111" означает от 1 потока до 15 потоков, соответственно. Благодаря такой информации, сторона приема может знать общее количество видеопотоков для простой обработки и обрабатывает их соответствующим образом.

На фиг. 21(а) показан пример структуры (синтаксис) дескриптора смешанного потока (mixed_stream_descriptor). Кроме того, на фиг. 21(b) показано содержание (семантика) основной информации примера структуры.

8-битное поле "mixed_stream_descriptor tag" представляет тип дескриптора, то есть, дескриптора смешанного потока в этом примере. 8-битное поле длина "mixed_stream_descriptor" представляет длину (размер) дескриптора и количество следующих байтов, как длину дескриптора. 2-битное поле "service_stream_type" представляет тип потока. "01" означает поток движущегося изображения, "10" означает поток неподвижного изображения, и "11" означает смешанный поток неподвижного/движущегося изображения. Благодаря такой информации, сторона приема может знать общее количество видеопотоков для простой обработки и обрабатывает их соответствующим образом.

На фиг. 22(а) показан пример структуры (синтаксис) изображения дескриптора срока существования изображения (Picture_lifetime_descriptor). Кроме того, на фиг. 22(b) показано содержание (семантика) основной информации примера структуры.

8-битное поле "Picture_lifetime_descriptor tag" представляет тип дескриптора, то есть, дескриптор срока существования изображения в этом примере. 8-битное поле длина "Picture_lifetime_descriptor" представляет длину (размер) дескриптора, то есть, количество следующих байтов, в качестве длины дескриптора. 16-битное поле "number_of_group_pictures" представляет количество групповых изображений, идентифицированных "group_picture_id". 64-битное поле "NTP" представляет собой значение тактовой частоты, определенное NTP (Протоколом времени сети), и может быть установлено для каждого группового изображения.

Снова, как показано на фиг. 1, сервер 120 распределения сети предоставляет линейные услуги, предоставляющие неподвижные изображения и движущиеся изображения, или услуги загрузки, предоставляющие неподвижные изображения и движущиеся изображения через сеть передачи данных. Сервер 120 распределения сети распределяет контейнеры МР4, например, как данные распределения IP. Аналогично упомянутым выше потокам транспортирования из станции 110 широковещательной передачи, МР4 содержит заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений (изображений) для услуги распределения компоновки множества изображений. В ответ на команду воспроизведения со стороны приема сервер 120 распределения сети передает поток передачи, в котором последовательно размещены пакеты IP МР4 для стороны приема через сеть передачи данных.

На уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, вставлена информация смещения для регулирования временной характеристики отображения множества изображений, информация типа, представляющая тип компоновки множества изображений, информация типа, представляющая тип поворота, когда отображают множество изображений, и т.п. Кроме того, в уровень контейнера (системный уровень), вставляют информацию идентификации, которая обозначает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, является ли услуга распределения смешанной услугой движущегося/неподвижного изображения, или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п.

Снова, со ссылкой на фиг. 1, приемник 200 включает в себя тюнер 201, демультиплексор 202, буфер 203 сжатых данных (буфер декодирования), декодер 204 и буфер 205 не сжатых данных (буфер декодера). Кроме того, приемник 200 включает в себя буфер 206 виртуального устройства отображения (буфер VP), преобразователь 207 масштаба, устройство 208 отображения (устройство экрана), шлюз/сетевой маршрутизатор 209, CPU 210 (центральное процессорное устройство), и модуль 211 операции пользователя.

CPU 210 управляет поведением соответствующих модулей приемника 200. Пользователь может вводить различные инструкции через модуль 211 операции пользователя. Модуль 211 операции пользователя включает в себя пульт дистанционного управления, модуль сенсорной панели, в которой вводят инструкции на основе близости/прикосновении, "мышь", клавиатуру, модуль ввода жеста, выполненный с возможностью детектировать вводимые инструкции, используя камеру, модуль ввода звука, в который вводят звуковые инструкции, и т.п.

Тюнер 201 принимает волны широковещательной передачи, передаваемые со стороны передачи через путь передачи RF, выполняет RF демодуляцию волн широковещательной передачи, и получает потоки транспортирования, как передаваемые в режиме широковещательной передачи мультиплексированные данные дистрибутива. В соответствии с этим вариантом осуществления, как описано выше, поток транспортирования содержит заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений (кадров) услуги распределения компоновки множества изображений.

Шлюз/сетевой маршрутизатор 209 принимает последовательность IP пакетов, передаваемых из сервера 120 распределения через сеть передачи данных, выполняет распаковку пакетов для серии IP пакетов, и получает МР4, как данные распределения IP. В соответствии с этим вариантом осуществления, аналогично упомянутому выше потоку транспортирования, МР4 содержит заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений (изображений) для услуги распределения компоновки множества изображений.

Демультиплексор 202 выделяет заданное количество видеопотоков из потока транспортирования (мультиплексированных данных широковещательной передачи - дистрибутива), полученных тюнером 201 или МР4 (данные распределения IP), полученных шлюзом/сетевым маршрутизатором 209, и временно сохраняет видеопотоки в буфере 203 сжатых данных. В это время демультиплексор 202 выделяет различную информацию, вставленную на уровне контейнера, и передает эту информацию в CPU 210. Как описано выше, в эту информацию вставлена информация идентификации, представляющая услугу распределения компоновки множества изображений, информация идентификации, идентифицирующая, представляет ли собой услуга распределения смешанную услугу движущегося/неподвижного изображения, или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п.

Следует отметить, что внешний носитель 212 хранения, например, HDD, соединен с демультиплексором 202, и демультиплексор 202 выполнен с возможностью записи и воспроизведения потока транспортирования (мультиплексированные данные, распространяемые путем широковещательной передачи), полученного тюнером 201 или МР4 (данные распределения IP), полученные шлюзом/сетевым маршрутизатором 209. Демультиплексор 202 выполнен с возможностью обработки воспроизводимых данных, полученных с носителя 212 хранения, аналогичным образом.

Декодер 204 выбирает заданное количество видеопотоков, сохраненных в буфере 203 сжатых данных в заданные моменты времени декодирования, декодирует видеопотоки, получает данных изображения для изображений в групповом изображении (изображение, скомпонованное из множества изображений) и временно сохраняет эти видеопотоки в буфере 205 не сжатых данных. В это время декодер 204 выделяет различную информацию, вставленную в уровень видеопотока, и передает эту информацию в CPU 210. В этой информации, как описано выше, в дополнение к информации положения, представляющей положения компоновки изображений, вставляют информацию смещения для регулировки времени отображения множества изображений, информацию типа, представляющую тип компоновки множества изображений, информацию типа, представляющую тип поворота при отображении изображения, и т.п.

Буфер 206 виртуального устройства отображения получает данные изображения для изображений в групповом изображении, сохраненных в буфере 205 не сжатых данных, и временно сохраняет данные изображения в областях, соответствующих изображениям, соответственно. Данные считывают из буфера 205 не сжатых данных в буфер 206 виртуального устройства отображения в моменты времени, зависящие от PTS (штамп времени представления), например (см. СТР на фиг. 17).

Преобразователь 207 масштаба считывает данные изображения части или всей области (области отображения) группового изображения из буфера 206 виртуального устройства отображения, масштабирует данные изображения, в соответствии с необходимостью, и передает изображение в устройство 208 отображения. Данные изображения масштабируют для того, чтобы, например, отрегулировать разрешение данных изображения области отображения, считываемых из буфера 206 виртуального устройства отображения в соответствии с разрешением устройств 208 отображения).

Моменты времени считывания (моменты времени отображения) из буфера 206 виртуального устройства отображения и, кроме того, положение и размер отображаемых областей, могут быть определены через модуль 211 операции пользователя. В этом случае, количество устройств 208 отображения для отображения изображения может быть определено через модуль 211 операции пользователя. Следует отметить, что множество устройств 208 отображения должно быть подготовлено с этой целью, хотя на фиг. 1 представлено только одно из устройств 208 отображения.

На фиг. 23 показан пример соотношения между областями отображения и изображениями на виртуальном устройстве отображения. В примере на фиг. 23, групповое изображение, содержащее 2×2 изображения Р1-Р4, представляет собой горизонтальную/вертикальную двумерную компоновку множества изображений. Размер области отображения на виртуальном устройстве отображения устанавливается на основе операции пользователя, и положение области отображения может изменяться на основе операции пользователя, в соответствии с необходимостью, как показано на фиг. 23. В этом случае отображается только изображение, соответствующее области отображения на устройствах 208 отображения среди изображений Р1-Р4 на виртуальном устройстве отображения.

Следует отметить, что, в этом случае, под управлением CPU 210, положение и размер текущей области отображения виртуального устройства отображения могут отображаться на устройствах 208 отображения или на другом, не показанном устройстве отображения. Благодаря такому отображению, пользователь может просто узнать положение и размер области отображения на виртуальном устройстве отображения, и может соответственно и эффективно определять положение и размер области отображения.

На фиг. 24(а) показан пример положения и размера области отображения на виртуальном устройстве отображения. На фиг. 24(b) показан пример указателя 250 положения, отображаемого на устройствах 208 отображения, в соответствии с этим. Индикатор 250 положения включает в себя схематический рисунок 250а, представляющий все виртуальное устройство отображения, и прямоугольный рисунок 250b, представляющий текущую область отображения, которая расположена на этой схеме, в соответствии с положением и размером области отображения.

Кроме того, на фиг. 25 показан пример взаимосвязи между областью отображения и изображением на виртуальном устройстве отображения. В примере на фиг. 25 группа изображений, содержащая пять изображений Р1-Р5, распложена в горизонтальной одномерной компоновке множества изображений. Размер области отображения на виртуальном устройстве отображения установлен на основе операции пользователя, и положение области отображения может изменяться на основе операции пользователя, в соответствии с необходимостью, как показано на фиг. 25. В этом случае только изображение, соответствующее области отображения, отображается на устройствах 208 отображения среди изображений Р1-Р5 на виртуальном устройстве отображения.

На фиг. 26(а) показан пример положения и размера области отображения виртуального устройства отображения. На фиг. 26(b) показан пример указателя 260 положения, отображаемого на устройстве 208 отображения, в соответствии с этим. Указатель 260 положения включает в себя диаграмму 260а, представляющую все виртуальное устройство отображения, и полосковую диаграмму 260b, представляющую центральное положение текущей области отображения, которая размещена на этой диаграмме, соответствующей центральному положению области отображения. Также, в этом случае, положение и размер области отображения могут быть представлены, используя прямоугольную диаграмму.

На фиг. 27 показан пример структуры устройства отображения для отображения панорамного изображения. Такое устройство отображения конструктивно было составлено путем соединения множества, то есть, трех в данном примере, плоских (показанных штрихпунктирными линиями) или изогнутых (показанных сплошными линиями) устройств 208 отображения в горизонтальном направлении, В данном случае, например, три непрерывных изображения избирательно отображают в горизонтальном направлении на трех устройствах 208 отображения, и, таким образом, отображается панорамное изображение.

На фиг. 28 показан пример определения области отображения, где групповое изображение содержит семь изображений, непрерывных в горизонтальном направлении. На фиг. 28(а) представлен пример определения положения области отображения, имеющей размер, например, трех изображений, которые используются для отображения части панорамного изображения на трех устройствах 208 отображения (например, см. фиг. 27). На фиг. 28(b) показан пример определения положения области отображения, имеющей размер, например, одного изображения, которое используется для отображения части панорамного изображения одного устройства 208 отображения.

Снова, со ссылкой на фиг. 1, если изображения в групповом изображении представляют собой неподвижные изображения, неподвижные изображения обновляют на основе операции пользователя. В таком случае данные изображения для "изображений, которые подлежат обновлению", считывают из буфера 206 виртуального устройства отображения на основе "location_id" и "version_number", и отображаемые изображения обновляют.

Например, рассмотрим упомянутый выше пример распределения по фиг. 18. Предположим, в этом случае, вначале данные изображения четырех изображений, имеющие "1" в качестве '"version_number" и от "1" до "4" в качестве "location_id", считывают из буфера 206 виртуального устройства отображения, и отображают групповое изображение, содержащее неподвижные изображения. В этой ситуации, если пользователь вводит операцию обновления, данные изображения для изображения, имеющие "2", в качестве "version_number" и "2" в качестве "location_id", считывают из буфера 206 виртуального устройства отображения и обновляют отображаемое изображение.

Кроме того, в этой ситуации, если пользователь вводит операцию обновления, данные изображения для изображения, имеющие "3" в качестве "version_number" и "2" в качестве "location_id", считывают из буфера 206 виртуального устройства отображения и отображаемое изображение снова обновляют. Кроме того, в этой ситуации, если пользователь вводит операцию обновления, данные изображения для четырех изображений, имеющие "4" в качестве "version_number" и от "1" до "4" в качестве "location_id", считывают из буфера 206 виртуального устройства отображения и обновляют четыре отображаемых изображения.

Если изображения в групповом изображении представляют собой неподвижные изображения, и если "0" будет установлен, как "lifetime_controlled", даже после того, как данные изображения будут считаны из буфера 206 виртуального устройства отображения и отображены на устройстве 208 отображения, данные изображения остаются в буфере 206 виртуального устройства отображения до тех пор, пока пользователь не введет инструкцию очистки. В то же время, если "1" установлена, как "lifetime_controlled", после того, как пройдет время NTP, определяемое на уровне системы (уровень контейнера), данные изображения соответствующего группового изображения автоматически удаляют из буфера 206 виртуального устройства отображения.

Если часть или все из множества изображений в групповом изображении представляют собой движущиеся изображения, данные изображения движущегося изображения считывают из буфера 205 не сжатых данных в буфере 206 виртуального устройства отображения в моменты времени, зависящие от PTCS, после того, как их считают в пределах заданного периода времени, и передадут в устройство 208 отображения через преобразователь 207 масштаба. Также, в этом случае, только данные изображения области отображения, размер и положение которой определяются пользователем, считывают в соответствии с необходимостью, и преобразователь 207 масштаба преобразует размер (преобразует разрешение).

Кроме того, пользователь вводит операцию поворота изображения через модуль 211 операции пользователя, и отображаемые изображения на устройствах 208 то, то есть все групповое изображение или изображения в групповом изображении, таким образом, может поворачиваться. Следует отметить, что поворотом изображений управляют в основном на основе информации "display_coordinate". В результате, возможно, отображать изображения в состоянии поворота, которое сторона услуги желает представить. Однако при этом возможно дополнительно поворачивать изображения на основе операции пользователя.

Кроме того, пользователь может выполнять операции с модулем 211 операции пользователя для передачи команды на воспроизведение, в дополнение к команде "пауза", команде возобновления воспроизведения, команде пропуска, команде окончания воспроизведения и т.п., в сервер 120 распределения по сети. Кроме того, например, перед тем, как произойдет переполнение буфера 206 виртуального устройства отображения, CPU 210, например, автоматически передает команду "пауза" в сервер 120 распределения сети, и, после этого, передает команду на возобновление воспроизведения, если буфер 206 виртуального устройства отображения имеет достаточную остаточную емкость.

Работа приемника 200 будет описана в общих чертах. Вначале будет описан приемник 200, принимающий волны широковещательной передачи. Тюнер 201 принимает линейную услугу неподвижного изображения и линейную услугу движущегося изображения, и получает поток транспортирования (мультиплексированные данные, распределяемые через широковещательную передачу). Поток транспортирования передают в демультиплексор 202.

Демультиплексор 202 выделяет заданное количество видеопотоков из потока транспортирования (мультиплексированные данные, распределяемые через широковещательную передачу), и временно сохраняет видеопотоки в буфере 203 сжатых данных. В это время демультиплексор 202 выделяет различную информацию, вставляемую на уровне контейнера, и передает эту информацию в CPU 210. Следует отметить, что демультиплексор 202 аналогичным образом обрабатывает поток транспортирования (мультиплексированные данные, распределяемые через широковещательную передачу), записанный на/воспроизводимый с носителя 212 хранения.

Декодер 204 производит выборку заданного количества видеопотоков, сохраненных в буфере 203 сжатых данных, в заданные моменты времени декодирования, декодирует видеопотоки, получает данные изображения из изображений в групповом изображении (изображение, скомпонованное из множества изображений), и временно сохраняет данные изображения в буфере 205 не сжатых данных. В это время декодер 204 выделяет различную информацию, вставленную на уровне видеопотока, и передает эту информацию в CPU 210.

Буфер 206 виртуального устройства отображения получает данные изображения для изображений в групповом изображении, сохраненном в буфере 205 не сжатых данных, и временно сохраняет эти данные изображения в областях, соответствующих изображениям, соответственно. Данные считывают из буфера 205 не сжатых данных в буфер 206 виртуального устройства отображения в моменты времени, зависящие, например, от PTS (штамп времени представления).

Как описано выше, из данных изображения для изображений в групповом изображении, сохраненных в буфере 206 виртуального устройства отображения, в произвольные моменты времени считывают область, положение и размер которой определяются пользователем, преобразователь 207 масштаба преобразует размер (разрешение), и, после этого ее передают в устройство 208 отображения. В результате, область отображения, которая определена пользователем из группы изображений, отображается на устройствах 208 отображения.

В этом случае, данные движущегося изображения линейной услуги отображаются после задержки на фиксированное время после приема услуги. В то же время, поскольку степень свободы в отношении времени просмотра услуги неподвижного изображения в большой степени зависит от предпочтений пользователей, пользователь вводит инструкции для обновления отображаемого содержания на нерегулярной основе. В связи с этим, величина задержки в приемнике 200 не является постоянной, независимо от периода времени отображения.

Буфер 206 виртуального устройства отображения поглощает разницу между временем задержки и ранее кодированными и распределенными временными характеристиками принимаемого потока. В линейной услуге, перед переполнением буфера 206 виртуального устройства отображения, приемник 200 определяет, что необходимо выполнить запись принимаемого потока на носителе 212 хранения для приостановления приема услуги и т.п.

Кроме того, когда приемник 200 принимает загружаемую услугу движущихся изображений или неподвижных изображений через волны широковещательной передачи, файлы, получаемые через тюнер 201 один раз сохраняют на носителе 212 хранения, или демультиплексор 202 сохраняет файлы на носителе 212 хранения, и декодер 204 одновременно декодирует эти файлы, буфер 206 виртуального устройства отображения генерирует групповое изображение, и это групповое изображение отображают.

Далее будет описано, как приемник 200 принимает данные, распределяемые по сети. Шлюз/сетевой маршрутизатор 209 принимает линейную услугу неподвижного изображения и линейную услугу движущегося изображения, и получает МР4 (данные распределения IP). MP4 передают в демультиплексор 202.

Демультиплексор 202 выделяет заданное количество видеопотоков из MP4 (данные распределения IP), и MP4 временно сохраняют в буфере 203 сжатых данных. В это время демультиплексор 202 выделяет различную информацию, вставленную на уровне контейнера, и передает эту информацию в CPU 210. Следует отметить, что демультиплексор 202 аналогичным образом обрабатывает MP4 (данные распределения IP), записанные на/воспроизводимые с носителя 212 хранения.

Декодер 204 выполняет выборку заданного количества видеопотоков, сохраненных в буфере 203 сжатых данных, в заданные моменты времени декодирования, декодирует эти видеопотоки, получает данные изображения для изображений в групповом изображении (изображение, скомпонованное из множества изображений) и временно сохраняет данные изображения в буфере 205 не сжатых данных. В это время декодер 204 выделяет различную информацию, вставленную на уровне видеопотока, и передает эту информацию в CPU 210.

Буфер 206 виртуального устройства отображения получает данные изображения для изображений в групповом изображении, сохраненных в буфере 205 не сжатых данных, и временно сохраняет эти данные изображения в областях, соответствующих изображениям, соответственно. Данные считывают из буфера 205 не сжатых данных в буфер 206 виртуального устройства отображения в моменты времени, например, зависящие от PTS (штамп времени представления).

Как описано выше, из данных изображения таких изображений, как групповое изображение, сохраненных в буфере 206 виртуального устройства отображения, считывают область, положение и размер которой определяет пользователь, в произвольные моменты времени, преобразователь 207 масштаба преобразует размер (разрешение), и после этого его передают в устройства 208 отображения. В результате, область отображения, которая определяется пользователем из группового изображения, отображается на устройствах 208 отображения.

В этом случае данные движущегося изображения линейной услуги отображают после задержки на фиксированное время после приема услуги. В то же время, поскольку степень свободы времени просмотра услуги неподвижного изображения в большой степени зависит от предпочтений пользователей, пользователь на нерегулярной основе вводит инструкции для обновления отображаемого содержания. В связи с этим, величина задержки приемника 200 не является постоянной, независимо от периода времени отображения.

Буфер 206 виртуального устройства отображения поглощает разность между временем задержки и ранее кодированными и распределенными временными характеристиками принимаемого потока. В линейной услуге (групповая передача), перед переполнением буфера 206 виртуального устройства отображения, приемник 200 определяет, следует ли выполнить запись принимаемого потока на носителе 212 хранения для приостановки приема услуги и т.п. В качестве альтернативы, приемник 200 немедленно начинает VOD (услуга одноадресной передачи), и передает команды управления воспроизведением (начало воспроизведения, пауза, возобновление воспроизведения, остановка и т.п.) в сервер распределения VOD.

Когда приемник 200 принимает услугу загрузки движущихся изображений или неподвижных изображений, используя распределение по сети, файлы, полученные через шлюз/сетевой маршрутизатор 209 один раз сохраняют на носителе 212 хранения, или демультиплексор 202 сохраняет эти файлы на носителе 212 хранения, и декодер 204 одновременно декодирует эти файлы, буфер 206 виртуального устройства отображения генерирует групповое изображение, и групповое изображение отображается.

В это время приемник 200 приостанавливает прием загрузки перед переполнением буфера 206 виртуального устройства отображения и устанавливает приемник, таким образом, чтобы возобновить загрузку позже. Аналогично приему линейной услуги, если буфер 206 виртуального устройства отображения не может воспринимать услугу распределения по сети, вместо этого, она воспринимается носителем 212 хранения, или приемник 200 начинает VOD (услугу одноадресной передачи) и передает команды управления воспроизведением (начало воспроизведения, пауза, возобновление, остановка и т.п.) в сервер распределения VOD.

Как описано выше, в соответствии с системой 10 распределения на фиг. 1, при передаче через путь передачи RF или через сеть передачи данных на сторону приема, контейнера заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные изображения из множества изображений услуги распределения компоновки множества изображений, информацию о положении (location_id), представляющую положения компоновки множества изображений вставляют на уровне видеопотока. В результате, например, сторона приема может эффективно и соответствующим образом размещать множество изображений в групповом изображении (изображение в компоновке множества изображений).

Кроме того, в соответствии с системой 10 распределения по фиг. 1, приемник 200 размещает данные изображения множества изображений в декодированном групповом изображении на основе информации положения и получает данные изображения в групповом изображении. В результате, например, возможно эффективно и соответствующим образом получить данные изображения группового изображения.

2. Пример модификации

Следует отметить, что настоящая технология применима для системы распределения, на основе MPEG-DASH. На фиг. 29 показан пример структуры системы 10А распределения на основе MPEG-DASH. В системе 10А распределения число N клиентов 13-1, 13-2…, 13-N IPTV связано со стримером 11 сегмента DASH и сервером 12 DASH-MPD через CDN (сеть доставки содержания) 14.

Стример 11 сегмента DASH генерирует сегмент потока на основе DASH (ниже называется "сегментом DASH") на основе мультимедийных данных (видеоданные, аудиоданные, данные субтитров и т.п.) заданного содержания и передает эти сегменты в ответ на запрос HTTP из клиента IPTV. Стример 11 сегмента DASH представляет собой сетевой сервер.

Кроме того, в ответ на запрос для сегмента заданного потока, передаваемого из клиента 13 (13-1, 13-2…, 13-N) IPTV через CDN 14, стример 11 сегмента DASH передает сегмент потока в клиент 13 IPTV, который передал запрос через CDN 14.

Сервер 12 DASH MPD представляет собой сервер, который генерирует файл MPD, который используется для получения сегмента DASH, сгенерированного стримером 11 сегмента DASH. Сервер 12 DASH MPD генерирует файл MPD на основе метаданных содержания из сервера управления содержанием (не показан на фиг. 29) и на основе адреса (url) сегмента, генерируемого стримером 11 сегмента DASH.

В соответствии с форматом MPD, атрибуты видеоданных, аудиоданных и других потоков описаны, используя элементы, называемые представлением. Например, файл MPD разделяют на представления, каждое из которых содержит заданное количество видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений, и описанные атрибуты. Кроме того, в файле MPD описана информация для постоянного считывания заданного количества видеопотоков. Если клиент 13 IPTV принимает услугу распределения компоновки множества изображений, клиент 13 IPTV получает заданное количество видеопотоков со ссылкой на описание файла MPD.

Как показано на фиг. 30, файл MPD имеет структуру уровня. В файле MPD информация, такая как формат сжатия, скорость кодирования, размер изображения и язык движущегося изображения, сохраненные в стримере 11 сегмента DASH, описана на нескольких уровнях, используя формат XML. Файл MPD содержит, в виде множества уровней, структуры, такие как период, набор адаптации, представление; информация сегмента, сегмент инициализации и сегмент среды.

Структура периода содержит информацию о программе (данные, такие как пара синхронно движущихся изображений и звук). Кроме того, структура набора адаптации в структуре периода генерирует группу выбора потока (группа представления). Кроме того, структура представления в структуре набора адаптации содержит информацию, такую как скорость кодирования движущегося изображения и звука, и громкость звука движущегося изображения.

Кроме того, структура информации сегмента в структуре представления содержит информацию о сегменте движущегося изображения или звука. Кроме того, структура сегмента инициализации в структуре информации сегмента содержит информацию об инициализации, такую как формат сжатия данных. Кроме того, структура сегмента среды в структуре информации сегмента содержит информацию, такую как адрес, который используется для получения сегмента движущегося изображения или звука.

На фиг. 31 показан пример взаимосвязи структур, которые расположены на множестве уровней в упомянутом выше файле MPD. Как показано на фиг. 31(а), представление среды, то есть всего файла MPD, содержит множество периодов, разделенных на основе интервалов времени. Например, первый период начинается в 0 секунд, следующий период начинается в 100 секунд и т.п.

Как показано на фиг. 31(b), период содержит множество представлений. Множество представлений разделено на группы на основе набора адаптации, то есть, каждая группа представления содержит, например, заданное количество видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений.

Как показано на фиг. 31(с), представление содержит информацию сегмента. Как показано на фиг. 31(d), информация сегмента содержит сегмент инициализации и множество мультимедийных сегментов, в каждом из которых описана информация каждого сегмента, при этом сегмент получают путем дополнительного разделения периода на меньшие части. Сегмент среды содержит информацию, такую как адрес (url), который используется для фактического получения данных видео- или аудиосегмента и т.п.

На фиг. 32 показан пример потока генерирования сегмента DASH и файла DASH MPD на основе содержания. Сервер 15 управления содержанием передает содержание в стример 11 сегмента DASH. Стример 11 сегмента DASH генерирует сегмент DASH каждого потока данных, на основе видеоданных, аудиоданных и т.п. содержания.

Кроме того, стример 11 сегмента DASH передает информацию об адресе (url) сегмента DASH каждого сгенерированного потока данных в сервер 12 DASH MPD. Сервер 15 управления содержанием передает метаданные содержания в сервер 12 DASH MPD. Сервер 12 DASH MPD генерирует файл DASH MPD на основе информации адреса сегмента DASH каждого потока данных и на основе метаданных содержания.

На фиг. 33 показан пример структуры клиента 13 IPTV (13-1 до 13-N). Клиент 13 IPTV включает в себя контроллер 131 формирования потока данных, модуль 132 доступа HTTP и блок 133 воспроизведения движущегося изображения. Контроллер 131 формирования потока данных получает файл MPD из сервера 12 DASH-MPD и анализирует содержание файла MPD.

Модуль 132 доступа HTTP запрашивает стример 11 сегмента DASH передать сегмент движущегося изображения или звука, используемого для воспроизведения движущегося изображения. Здесь, если модуль 132 доступа HTTP принимает услугу распределения компоновки множества изображений, модуль 132 доступа HTTP запрашивает, со ссылкой на описание файла MPD, передачу сегмента с заданным количеством видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений.

Модуль 132 доступа HTTP передает принятый сегмент движущегося изображения или звука в блок 133 воспроизведения движущегося изображения. Блок 133 воспроизведения движущегося изображения декодирует сегменты, переданные из модуля 132 доступа HTTP, получает данные изображения, состоящие из изображений в групповом изображении (изображение с компоновкой из множества изображений), данные звука в ассоциации с данными изображения, и т.п., и воспроизводит изображения и звук. Следует отметить, что модули клиента 13 IPTV обрабатывают, используя, например, программное обеспечение.

На фиг. 34 показана общая последовательность системы распределения потока на основе DASH. Все файлы DASH MPD и сегменты DASH распределяются через CDN (сеть доставки содержания) 14. В CDN 14 множество серверов кэш (серверы кэш DASH) имеют сетевую компоновку.

Сервер кэш принимает запрос HTTP из клиента 13 IPTV, для получения файлов MPD. Если сервер кэш имеет файлы MPD в локальном кэш MPD, сервер кэш возвращает отклик HTTP в клиент 13 IPTV. Кроме того, если сервер кэш не имеет файлы MPD в локальном кэш MPD, сервер кэш передает запрос в сервер 12 DASH MPD или верхний сервер кэш. Кроме того, сервер кэш принимает ответ HTTP, который означает, что файлы MPD сохранены, передает ответ HTTP в клиент 13 IPTV и помещает в кэш файлы MPD.

Кроме того, сервер кэш принимает запрос HTTP от клиента 13 IPTV для получения сегментов DASH. Если сервер кэш имеет сегменты DASH в локальном кэш сегмента, сервер кэш возвращает отклик HTTP в клиент 13 IPTV. Кроме того, если сервер кэш не имеет сегменты DASH в кэш локального сегмента, сервер кэш передает запрос в стример 11 сегмента DASH или в верхний сервер кэш. Кроме того, сервер кэш принимает ответ HTTP, который означает, что сегменты DASH сохранены, передает ответ HTTP в клиент 13 IPTV и помещает в кэш сегменты DASH.

В CDN 14 клиент 13-1 IPTV передает вначале запрос HTTP, сервер кэш на маршруте временно помещает в кэш сегменты DASH, предназначенные для распределения в клиент 13-1 IPTV, и помещенные в кэш сегменты DASH распределяются в размещенный далее по потоку клиент 13-2 IPTV, в ответ на запрос HTTP. В результате, становится возможным повысить эффективность распределения при потоковой передаче HTTP для большого количества клиентов IPTV.

CDN 14 включает в себя, в дополнение к множеству серверов кэш, заданное количество серверов управления кэш. Сервер управления кэш генерирует политику управления кэш на основе индекса кэш сегмента DASH каждого видеопотока в файле MPD, и распределяет политику управления кэш для каждого сервера кэш. Каждый сервер кэш помещает в кэш сегмент DASH каждого потока видеоданных на основе политики управления кэш.

На фиг. 35 показан пример структуры фрагментированного потока МР4. Фрагментированный поток МР4 видеоданных содержит фрагментированные МР4, которые получают путем формирования пакетов из видеопотока. Заданные изображения видеопотока вставляют в блок "mdat" фрагментированного МР4. Аналогично упомянутому выше варианту осуществления, сообщения SEI тэга группового изображения (Group_picture_tag SEI) вставляют в каждый модуль доступа видеопотока. Далее, аналогично упомянутому выше варианту осуществления, например, клиент 13 IPTV эффективно и соответствующим образом размещает изображения на основе информации положения ("location_id") для изображений в групповом изображении.

Следует отметить, что иногда поток транспортирования передают в том виде, как он есть, на основе DASH. В этом случае поток транспортирования, в который вставлены дескриптор услуги множественного потока (multi_stream_service_descriptor), дескриптор смешанного потока (mixed_stream_descriptor) и дескриптор срока существования изображения (Picture_lifetime_descriptor) передают в том виде, как он есть.

На каждой из фиг. 36 и фиг. 37 показан пример описания файла MPD услуги распределения компоновки множества изображений. На уровне "набора адаптации", на фиг. 36, описание "parallelStream="4"" означает/что следует постоянно считывать четыре потока. Кроме того, описание "frameRate="0"" означает, что частота фреймов равна 0, то есть, поток неподвижного изображения. Кроме того, как показано на фиг. 37, существуют четыре представления, соответствующие четырем потокам.

Как описано выше, в услуге распределения компоновки множества изображений, в файле MPD описано постоянное считывание заданного количества видеопотоков, которые содержат кодированные данные множества изображений услуги распределения компоновки множества изображений. В результате, клиент 13 IPTV позволяет успешно получать данные изображения для изображений в групповом изображении, то есть, изображений в групповом изображении.

Кроме того, в настоящей технологии могут использоваться следующие структуры.

(1) Устройство передачи, включающее в себя:

модуль передачи для передачи контейнера заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные изображения для множества изображений услуги распределения компоновки множества изображений; и

модуль вставки информации для вставки информации о положении в уровень видеопотока, при этом информация о положении представляет положения компоновки множества изображений.

(2) Устройство передачи по (1), в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации о смещении на уровне видеопотока, при этом информация о смещении используется для регулировки временных характеристик отображения множества изображений.

(3) Устройство передачи по (1) или (2), в котором модуль вставки информации дополнительно выполнен с возможностью вставки информации типа уровня видеопотока, при этом информация типа представляет тип компоновки множества изображений.

(4) Устройство передачи по любому из (1)-(3), в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации типа на уровень видеопотока, при этом информация типа представляет тип поворота множества изображений во время отображения.

(5) Устройство передачи по любому из (1)-(4), в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации о сроке существования на уровне видеопотока, при этом информация о сроке существования представляет, управляют или нет разрешенным для отображения временем множества изображений.

(6) Устройство передачи по любому из (1)-(5), в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации идентификации на уровень контейнера, при этом информация идентификации идентифицирует услугу распределения компоновки множества изображений.

(7) Устройство передачи данных по (6), в котором модуль вставки информации дополнительно выполнен с возможностью вставки информации идентификации на уровень контейнера, информация идентификации идентифицирует, представляет ли собой услуга распределения компоновки множества изображений услугу смешанного движущегося/неподвижного изображения, или нет.

(8) Устройство передачи по любому из (1)-(7), в котором модуль вставки информации дополнительно выполнен с возможностью вставки информации об общем количестве видеопотоков, относящихся к услуге распределения компоновки множества изображений, на уровень контейнера.

(9) Устройство связи по любому из (1)-(8), в котором модуль вставки информации дополнительно выполнен с возможностью вставки информации типа на уровень контейнера, при этом информация типа представляет, является ли каждый видеопоток потоком движущегося изображения, потоком неподвижного изображения или смешанным потоком, причем смешанный поток, содержащий неподвижные изображения и движущиеся изображения в смешанном виде.

(10) Способ передачи, включающий в себя:

этап передачи, на котором передают контейнер с заданным форматом, содержащий заданное количество видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений; и

этап вставки информации, на котором вставляют информацию положения уровня видеопотока, при этом информация положения представляет положения компоновки множества изображений.

(11) Устройство приема, включающее в себя:

модуль приема для приема заданного количества видеопотоков, содержащих кодированные данные изображения множества изображений услуги распределения компоновки множества изображений, информацию положения, вставленную в заданное число видеопотоков, при этом информация положения представляет положения компоновки множества изображений;

модуль декодера для декодирования заданного количества видеопотоков и получения данных изображения множества изображений; и модуль обработки для размещения данных изображения множества декодированных изображений на основе информации положения и получения данных изображения для изображения, скомпонованного множества изображений.

(12) Устройство приема по (11), дополнительно включающее в себя: декодированный буфер, в котором временно содержатся данные изображения множества изображений, полученных модулем декодера; и

буфер виртуального устройства отображения, который временно содержит данные изображения компоновки множества изображений, в котором модуль обработки последовательно считывает данные изображения множества изображений из буфера декодирования, и записывает данные изображения множества изображений в областях, соответствующих положениям компоновки информации положения буфера виртуального устройства отображения.

(13) Устройство приема по (12), дополнительно включающее в себя:

контроллер устройства отображения, который считывает данные изображения, соответствующие части или всем областям отображения для изображения, скомпонованного из множества изображений из буфера виртуального устройства отображения, и отображает изображения в части или во всех областях изображения.

(14) Устройство приема по п. (13), дополнительно включающее в себя:

модуль операции пользователя, который информирует контроллер устройства отображения об области отображения.

(15) Устройство приема по (14), дополнительно включающее в себя:

модуль операции пользователя для информирования контроллера устройства отображения о количестве устройств отображения, изображений в области отображения, отображаемых на устройствах отображения.

(16) Устройство приема по любому из (11)-(15), дополнительно включающее в себя:

модуль передачи запроса для передачи на сторону передачи запросов на остановку и возобновление передачи заданного количества видеопотоков.

(17) Способ приема, включающий в себя:

этап приема, на котором принимают контейнер заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений, информацию о положении вставленную в заданное количество видеопотоков, при этом информация о положении, представляющая положения компоновки множества изображений;

этап декодирования, на котором декодируют заданное количество видеопотоков и получают данные изображения для множества изображений; и

этап обработки, содержащий размещение данных изображения множества декодированных изображений на основе информации положения, и получение данных изображения для изображения, скомпонованного из множества изображений.

(18) Устройство передачи, включающее в себя:

генератор метафайла для генерирования метафайла, содержащего информацию, предназначенную для использования терминалом клиента для получения заданного количества видеопотоков, при этом заданное количество видеопотоков, содержащее кодированные данные изображения из множества изображений в услуге распределения компоновки множества изображений, сервер распределения выполнен с возможностью распределения услуги распределения компоновки множества изображений через сеть; и

модуль передачи метафайла для передачи сгенерированного метафайла на терминал клиента через сеть, в ответ на запрос на передачу из терминала клиента, в котором информацию о положении вставляют на уровне видеопотока, при этом информация о положении представляет положение компоновки множества изображений, и генератор метафайла для генерирования информации, содержащей метафайл, представляющей постоянно считываемое заданное количество видеопотоков.

(19) Устройство передачи по (18), в котором

генератор метафайла выполнен с возможностью генерирования метафайла, дополнительно содержащего информацию идентификации, при этом идентификация информации идентифицирует, является ли заданное количество видеопотоков потоками неподвижного изображения или потоками движущегося изображения.

В соответствии с основными свойствами настоящей технологии, при передаче через путь передачи RF или сеть передачи данных, контейнера с заданным форматом, содержащего заданное количество видеопотоков, содержащих кодированные данные изображения из множества изображений, в услуге распределения компоновки множества изображений, информацию о положении (location_id), представляющую положения компоновки множества изображений, вставляют на уровне видеопотока. В результате, например, сторона приема получает возможность эффективно и соответствующим образом размещать множество изображений в групповом изображении (изображении, скомпонованном из множества изображений) (см. фиг. 18).

Номера ссылочных позиций

10, 10А система распределения

11 стример сегмента DASH

12 сервер DASH MPD

13, 13-1 - 13-N клиент IPTV

14 CDN

15 сервер управления содержанием

110 станция широковещательной передачи

112 модуль вывода движущегося/неподвижного изображения

113 видеокодер

114 мультиплексор

200 приемник

201 тюнер,

202 демультиплексор

203 буфер сжатых данных

204 декодер

205 буфер не сжатых данных

206 буфер виртуального устройства отображения

207 преобразователь масштаба

208 устройство отображения

209 шлюз/сетевой маршрутизатор

210 CPU

211 модуль операции пользователя

212 носитель хранения

Изобретение относится к устройству передачи, которое обеспечивает услугу распределения компоновки множества изображений. Технический результат заключается в предоставлении услуги распределения компоновки множества изображений. Предложено, что сторона передачи передает контейнер в заданном формате, упомянутый контейнер, включающий в себя кодированные данные изображения для множества изображений, относящихся к услуге распределения компоновки множества изображений, и имеющий заданное количество видеопотоков. Информацию положения, указывающую положение компоновки множества изображений, вставляют на уровне видеопотока. Сторона приема принимает и декодирует заданное количество видеопотоков, получая, таким образом, данные изображения для множества изображений. Данные изображения для множества изображений размещают на основе информации положения, таким образом, получая данные изображения для группового изображения (изображения, скомпонованного множества изображений). 4 н. и 13 з.п. ф-лы, 37 ил.

1. Устройство передачи, содержащее:

модуль передачи для передачи контейнера заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные изображения для множества изображений услуги распределения компоновки множества изображений; и

модуль вставки информации для вставки информации о положении в уровень видеопотока, при этом информация о положении представляет положения компоновки множества изображений.

2. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации о смещении в уровень видеопотока, при этом информация о смещении используется для регулировки временных характеристик отображения множества изображений.

3. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации типа в уровень видеопотока, при этом информация типа представляет тип компоновки множества изображений.

4. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации типа в уровень видеопотока, при этом информация типа представляет тип поворота множества изображений в течение времени отображения.

5. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации о сроке существования на уровне видеопотока, при этом информация о сроке существования представляет, управляют ли разрешенным для отображения временем для множества изображений.

6. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации идентификации в уровень контейнера, при этом информация идентификации идентифицирует услугу распределения компоновки множества изображений.

7. Устройство передачи по п. 6, в котором модуль вставки информации дополнительно выполнен с возможностью вставки информации идентификации в уровень контейнера, при этом информация идентификации идентифицирует, представляет ли собой услуга распределения компоновки множества изображений услугу смешанного движущегося/неподвижного изображения.

8. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации об общем количестве видеопотоков, относящихся к услуге распределения компоновки множества изображений, в уровень контейнера.

9. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации типа в уровень контейнера, при этом информация типа представляет, является ли каждый видеопоток потоком движущегося изображения, потоком неподвижного изображения или смешанным потоком, причем смешанным потоком является поток, содержащий неподвижные изображения и движущиеся изображения в смешанном виде.

10. Способ передачи, содержащий:

этап передачи, на котором передают контейнер заданного формата, содержащий заданное количество видеопотоков, содержащих кодированные данные множества изображений услуги распределения компоновки множества изображений; и

этап вставки информации, на котором осуществляют вставку информации положения уровня видеопотока, при этом информация положения представляет положения компоновки множества изображений.

11. Устройство приема, содержащее:

модуль приема для приема заданного количества видеопотоков, каждый из которых содержит кодированные данные изображения множества изображений, информации положения, вставленной в заданное число видеопотоков, при этом информация положения представляет расположение положений изображений в заданном количестве видеопотоков;

модуль декодера для декодирования каждого из заданного количества видеопотоков и получения декодированных данных изображения заданного количества видеопотоков; и

модуль обработки для размещения декодированных данных изображения заданного количества видеопотоков на основе информации положения и получения данных изображения для изображения компоновки множества изображений, содержащего декодированные данные изображения заданного количества видеопотоков.

12. Устройство приема по п. 11, дополнительно содержащее:

буфер декодирования, в котором временно содержатся данные изображения множества изображений, полученных модулем декодера; и

буфер виртуального устройства отображения для временного хранения данных изображения компоновки множества изображений, при этом

модуль обработки выполнен с возможностью последовательного считывания данных изображения множества изображений из буфера декодирования и записи данных изображения множества изображений в областях, соответствующих положениям компоновки информации положения буфера виртуального устройства отображения.

13. Устройство приема по п. 12, дополнительно содержащее:

контроллер устройства отображения, выполненный с возможностью считывания данных изображения, соответствующих части или всем областям отображения для изображения, скомпонованного из множества изображений из буфера виртуального устройства отображения, и отображения изображений в части или во всех областях изображения.

14. Устройство приема по п. 13, дополнительно содержащее:

модуль операции пользователя, выполненный с возможностью информирования контроллера устройства отображения об области отображения.

15. Устройство приема по п. 14, дополнительно содержащее:

модуль операции пользователя, выполненный с возможностью информирования контроллера устройства отображения о количестве устройств отображения.

16. Устройство приема по п. 11, дополнительно содержащее:

модуль передачи запроса, выполненный с возможностью передачи на сторону передачи запросов на остановку и возобновление передачи заданного количества видеопотоков.

17. Способ приема, содержащий:

этап приема, на котором принимают контейнер заданного формата, содержащий заданное количество видеопотоков, каждый из которых содержит кодированные данные множества изображений, информацию о положении вставленную в заданное количество видеопотоков, при этом информация о положении представляет положения компоновки изображений в заданном количестве видеопотоков;

этап декодирования, на котором декодируют каждый из заданного количества видеопотоков и получают декодированные данные изображения заданного количества видеопотоков; и

этап обработки, на котором размещают декодированные данные изображения заданного количества видеопотоков на основе информации положения и полученных данных изображения для изображения, компоновки множества изображений, содержащего декодированные данные изображения заданного количества видеопотоков.