Область техники, к которой относится изобретение
Настоящее изобретение относится к передающему устройству, способу передачи данных и приемному устройству и более конкретно, к передающему устройству или к подобному устройству, которое передает заранее определенное количество блоков данных изображения в формате изображения высокого качества вместе с данными базового формата изображения.
Уровень техники
В прошлом использовалась технология, в которой данные в формате изображения высокого качества передаются вместе с данными в базовом формате изображения и приемная сторона выборочно использует данные базового формата изображения или данные в формате изображения высокого качества. Например, патентный документ 1 раскрывает способ выполнения кодирования медиа-контента посредством масштабирования, генерируя поток базового уровня для услуги передачи видео с низким разрешением и потока уровня расширения для услуги передачи видео высокого разрешения, и передачи сигнала вещания, включающего в себя потоки. Следует отметить, что, как формат высокого качества, в дополнение к функции высокой разрешающей способности, используется высокая частота кадров, высокий динамический диапазон, широкая цветовая палитра, увеличенная битовая длина и тому подобное.
Список литературы
Патентный документ
Патентный документ 1: национальная публикация заявки на патент Японии (выложенная для всеобщего ознакомления) № 2008-543142
Раскрытие сущности изобретения
Технические задачи, решаемые с помощью изобретения
Задачей настоящего изобретения является обеспечение успешной передачи заданного количества блоков данных в формате изображения высокого качества вместе с данными базового формата изображения.
Решения технических задач
Концепция настоящего изобретения включает в себя
передающее устройство, включающее в себя:
блок кодирования изображения, который генерирует основной видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения, и расширенный поток видеоданных, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
блок передачи, который передает контейнер предварительно определенного формата, включающий в себя основной поток видео и расширенный поток видеоданных, генерируемый блоком кодирования изображения,
в котором блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных в базовом формате изображения и каждый из заранее заданного количества блоков данных в формате изображения высокого качества.
В настоящем изобретении, блок кодирования изображения генерирует основной поток видеоданных, включающий в себя данные кодированного изображения данных в базовом формате изображения, и расширенный поток видеоданных, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества. Например, для данных базового формата изображения выполняется процесс кодирования с предсказанием данных в базовом формате изображения. Кроме того, для данных формата изображения высокого качества, выполняется процесс кодирования с предсказанием данных в формате изображения с высоким качеством или процесс кодирования с межкадровым предсказанием данных базового формата изображения или других данных формата изображения высокого качества.
Блок передачи передает контейнер предварительно определенного формата, включающий в себя основной поток видео и расширенный поток видеоданных, генерируемый блоком кодирования изображения. Например, контейнер может быть транспортным потоком (MPEG-2 TS), используемый в стандарте цифрового вещания. Кроме того, например, контейнер может быть MP4, используемый для интернет доставки или контейнера любого другого формата.
Блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Например, данные кодированного изображения могут иметь структуру NAL блока и блок кодирования изображения может вставить информацию идентификации в заголовок NAL блока. В этом случае, например, блок кодирования изображения может вставить информацию идентификации с помощью поля «nuh_layer_id» заголовка NAL блока. Кроме того, в данном случае, например, блок кодирования изображения может вставить информацию идентификации с помощью полей «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока.
Как было описано выше, в данном изобретении идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Таким образом, сторона приема может легко получить данные изображения в соответствии с возможностью отображения путем выборочного выполнения процесса декодирования заранее определенных данных кодированного изображения на основе идентификационной информации.
Следует отметить, что, в настоящем изобретении, например, может дополнительно использоваться блок вставки информации, который вставляет информацию, определяющую формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения в уровень контейнера. В этом случае, например, контейнер может быть MPEG-2 TS, и блок вставки информации может вставить информацию в цикл элементарного потока видео, соответствующий существующему видеопотоку согласно таблицы состава программы. В этом случае, сторона приема может определить формат данных кодированного изображения, идентифицированного информацией идентификации, предварительно вставленной в данные кодированного изображения в уровень контейнера.
Кроме того, еще одна концепция настоящего изобретения содержит приемное устройство, включающее в себя:
блок приема, который принимает контейнер заранее заданного формата, включающий в себя базовый формат изображения, включающий в себя данные кодированного изображения потока видеоданных данных базового формата изображения, и расширенный поток видеоданных, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных формата изображения высокого качества,
в котором идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества; и
блок обработки, который обрабатывает видеопотоки, содержащиеся в принятом контейнере, на основании информации идентификации и информации о возможности отображения.
В данном изобретении, блок приема принимает контейнер предварительно определенного формата, включающий в себя основной поток видео и расширенный поток видео. Здесь основной видеопоток включает в себя данные кодированного изображения данных базового формата изображения. Расширенный поток видео включает в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества.
Идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Например, данные кодированного изображения могут иметь структуру NAL блока, и идентификационная информация может быть вставлена в заголовок NAL блока. Блок обработки обрабатывает видеопотоки, содержащиеся в принятом контейнере, на основании информации идентификации и информации о возможностях отображения.
Как было описано выше, в данном изобретении расширенный поток видео, содержащийся в принятом контейнере, обрабатывается на основании идентификационной информации, идентифицирующей соответствующий формат, которая вставляется в данные кодированного изображения данных базового формата изображения и каждый из заданного количество блоков данных формата изображения высокого качества, и информации о возможностях отображения. Таким образом, можно выборочно выполнять процесс декодирования заранее определенных данных закодированного изображения и, таким образом можно легко получить данные изображения в соответствии с возможностью отображения.
Следует отметить, что в настоящем изобретении, например, информация, которая определяет формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, может быть вставлена в уровень контейнера, и блок обработки может определять формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
Кроме того, еще одна концепция настоящего технологии заключается в использовании передающего устройства, включающего в себя:
блок кодирования изображения, который генерирует видеопоток, включающий в себя данные кодированного изображения базового формата изображения и данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
блок передачи, который передает контейнер предварительно определенного формата, включающий в себя видеопоток, сгенерированный блоком кодирования изображения,
в котором блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
В настоящем изобретении блок кодирования изображения генерирует видеопоток, включающий в себя данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Например, для данных базового формата изображения выполняется процесс кодирования с предсказанием данных в базовом формате изображения. Кроме того, для данных формата изображения высокого качества, выполняется процесс кодирования с предсказанием данных в формате изображения с высоким качеством или процесс кодирования с межкадровым предсказанием данных базового формата изображения или других данных в формате изображения высокого качества.
Блок передачи передает контейнер предварительно определенного формата, включающий в себя видеопоток, сгенерированный блоком кодирования изображения. Например, контейнер может быть транспортным потоком (TS MPEG-2), используемым в стандарте цифрового вещания. Кроме того, например, контейнер может быть MP4, используемым для интернет доставки, или контейнером любого другого формата.
Блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Например, данные кодированного изображения могут иметь структуру NAL блока, и блок кодирования изображения может вставить информацию идентификации в заголовок NAL блока. В этом случае, например, блок кодирования изображения может вставить информацию идентификации с помощью поля «nuh_layer_id» заголовка NAL блока. Кроме того, в данном случае, например, блок кодирования изображения может вставить информацию идентификации с помощью полей «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока.
Как было описано выше, в настоящем изобретении идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блока данных в формате изображения высокого качества. Таким образом, сторона приема может легко получить данные изображения в соответствии с возможностью отображения путем выборочного выполнения процесса декодирования заранее определенных данных кодированного изображения на основе идентификационной информации.
Следует отметить, что, в настоящем изобретении, например, может дополнительно применяться блок вставки информации, который вставляет информацию, определяющую формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения в уровень контейнера. В этом случае, например, контейнер может быть MPEG-2 TS, и блок вставки информации может вставить информацию в цикл элементарного потока видео, соответствующий согласно таблице состава программы. В этом случае, сторона приема может определить формат данных кодированного изображения, обозначенного информацией идентификации, предварительно вставленной в данные кодированного изображения в уровне контейнера.
Кроме того, еще одна концепция настоящего изобретения заключается в использовании приемного устройства, включающего в себя:
блок приема, который принимает контейнер с заранее определенным форматом, включающим в себя видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения и данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества,
в котором идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества; и
блок обработки, который обрабатывает видеопоток, содержащийся в принятом контейнере, на основании информации идентификации и информации возможностей отображения.
В настоящем изобретении блок приема принимает контейнер предварительно определенного формата, включающий в себя видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
Идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Например, данные кодированного изображения могут иметь структуру NAL блока, и идентификационная информация может быть вставлена в заголовок NAL блока. Блок обработки обрабатывает видеопоток, содержащийся в принятом контейнере, на основании информации идентификации и информации о возможностях отображения.
Как было описано выше, в настоящем изобретении видеопоток, содержащийся в принятом контейнере, обрабатывается на основании идентификационной информации, идентифицирующей соответствующий формат, которая вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных формата изображения высокого качества и информации о возможностях отображения. Таким образом, можно выборочно выполнять процесс декодирования заранее определенных данных кодированного изображения и, таким образом, можно легко получить данные изображения в соответствии с возможностью отображения.
Следует отметить, что в настоящем изобретении, например, информация, которая определяет формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, может быть вставлена в уровень контейнера, и блок обработки может определять формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
Результаты изобретения
В соответствии с настоящим изобретением можно успешно передавать заданное количество блоков данных в формате изображения высокого качества вместе с данными в базовом формате изображения. Следует отметить, что результат описанный здесь, не обязательно ограничен и может включать в себя любой описанный в настоящем изобретении результат.
Краткое описание чертежей
Фиг. 1 представляет собой блок-схему, иллюстрирующую примерную конфигурацию приемопередающей системы в соответствии с вариантом осуществления.
Фиг. 2 показывает блок-схему, иллюстрирующую примерную конфигурацию передающего устройства.
Фиг. 3 показывает блок-схему, иллюстрирующую примерную конфигурацию блока генерирования данных изображения, который генерирует данные Vb базового формата изображения и три блока данных Vh1, Vh2 и Vh3 формата изображения высокого качества.
Фиг. 4 показывает блок-схему, иллюстрирующую примерную конфигурацию основной части блока кодирования.
Фиг. 5 (а) и 5 (b) представляют собой схемы, иллюстрирующие примерную структуру заголовка NAL блока и контент основных параметров в примерной структуре.
Фиг. 6 показывает схему, иллюстрирующую пример конфигурации данных Cb, Ch1, Ch2 и Ch3 закодированных изображений.
Фиг. 7 показывает схему, иллюстрирующую примерную структуру дескриптора масштабируемого расширения.
Фиг. 8 показывает схему, иллюстрирующую контент основной информации в примерной структуре дескриптора масштабируемого расширения.
Фиг. 9 показывает схему, иллюстрирующую соответствие между значением «nuh_layer_id» заголовка NAL блока и описанием дескриптора масштабируемого расширения.
Фиг. 10 показывает схему, иллюстрирующую примерную конфигурацию транспортного потока TS (в случае двух потоков).
Фиг. 11 показывает схему, иллюстрирующую примерную конфигурацию транспортного потока TS (в случае одного потока).
Фиг. 12 показывает блок-схему, иллюстрирующую примерную конфигурацию приемного устройства.
Фиг. 13 показывает блок-схему, иллюстрирующую примерную конфигурацию основной части блока декодирования.
Фиг. 14 (а) и 14 (b) показывают схемы, схематически иллюстрирующие выход данных буфера (cpb) сжатого потока данных и распределение данных Cb, Ch1, Ch2 и Ch3 кодированного изображения на соответствующие блоки декодирования, в соответствии с «nuh_layer_id» в случае двухпотоковой конфигурации.
Фиг. 15 (а) и 15 (b) показывают схемы, схематически иллюстрирующие выход данных буфера (cpb) сжатого потока данных и распределение данных Cb, Ch1, Ch2 и Ch3 кодированного изображения на соответствующие блоки декодирования, в соответствии с «nuh_layer_id» в случае однопотоковой конфигурации.
Фиг. 16 показывает блок-схему алгоритма, иллюстрирующую пример процесса определения диапазона декодирования на основании информации о возможностях отображения (информация о функциональных характеристиках дисплея).
Фиг. 17 показывает схему, иллюстрирующую пример конфигурации данных Cb, Ch1, Ch2 и Ch3.
Фиг. 18 показывает схему, иллюстрирующую соответствие между значениями «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока и описанием дескриптора масштабируемого расширения.
Фиг. 19 показывает блок-схему алгоритма, иллюстрирующую другой пример способа определения диапазона декодирования на основании информации о возможностях отображения (информация о функциональных характеристиках дисплея).
Подробное описание вариантов осуществления
Здесь и далее будут описаны способы осуществления изобретения (в дальнейшем именуемые как «варианты осуществления»). Обратите внимание, что описание будет предоставлено в следующем порядке.
1. Вариант осуществления
2. Примеры модификации
1. Вариант осуществления
Приемопередающая система
Фиг. 1 иллюстрирует примерную конфигурацию приемопередающей системы 10 в соответствии с вариантом осуществления. Приемопередающая система 10 включает в себя передающее устройство 100 и приемное устройство 200. Транспортный поток TS, выступающий в роли контейнера, содержится в вещательной волне или сетевом пакете и переданный из передающего устройства 100 в приемное устройство 200. В этом варианте осуществления рассматриваются две конфигурации: (1) двухпотоковая конфигурация, в котором транспортный поток TS включает в себя два видеопотока, то есть, основной поток видео и расширенный поток видео; (2) однопотоковая конфигурация, в которой транспортный поток TS включает в себя один видеопоток.
«Случай двухпотоковой конфигурации»
Передающее устройство 100 включает в себя транспортный поток TS, служащий в качестве контейнера, в вещательной волне или сетевом пакете, и передает результирующий сигнал. Два потока, то есть, основной поток видео и расширенный поток видео включены в состав транспортного потока TS. Основной поток видео включает в себя закодированные данные изображения данных базового формата изображения. Например, основной поток видео генерируется посредством выполнения процесса кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных базового формата изображения.
Расширенный поток видео включает в себя кодированные данные изображения каждого из заданного количества блоков данных в формате изображения высокого качества. Например, расширенный поток видео генерируется посредством выполнения процесса кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное заранее заданного числа блоков данных изображения высокого качества.
Идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Сторона приема может легко получить данные изображения в соответствии с возможностью отображения путем выборочного выполнения процесса декодирования заранее определенных закодированных данных изображений на основе идентификационной информации. В этом варианте осуществления идентификационная информация вставляется в заголовок NAL блока.
Информация, определяющая формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения, вставляется в слой контейнера. Приемная сторона может определить формат данных кодированного изображения, обозначенного информацией идентификации, предварительно вставленной в данные кодированного изображения в слой контейнера, на основе этой информации. В этом варианте осуществления информация вставляется в каждый цикл элементарного потока видео, соответствующий расширенному потоку видеоданных согласно таблице состава программ.
Приемное устройство 200 принимает транспортный поток TS, который содержится в вещательной волне или сетевом пакете, и передается из передающего устройства 100. Транспортный поток TS включает в себя основной видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения, и расширенный поток видео, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества, как описано выше.
Как было описано ранее, информация идентификации, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества. Приемное устройство 200 обрабатывает видео потоки, включенные в транспортный поток TS, на основании идентификационной информации и информации о возможностях отображения и получает данные изображения в соответствии с возможностью отображения.
«Случай однопотоковой конфигурации»
Передающее устройство 100 включает в себя транспортный поток TS, служащий в качестве контейнера, в вещательной волне или сетевом пакете, и передает результирующий сигнал. Один поток видео содержится в транспортном потоке TS. Поток видеоданных включает в себя кодированные данные изображения в базовом формате изображения и данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества. Например, видеопоток генерируется посредством выполнения процесса кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных в базовом формате изображения и заданное количество блоков данных в формате изображения высокого качества.
Идентификационная информация, идентифицирующая базовый формат или соответствующий формат высокого качества, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества. Сторона приема может легко получить данные изображения в соответствии с возможностью отображения путем выборочного выполнения процесса декодирования на заранее определенных данных закодированных изображений на основе идентификационной информации. В этом варианте осуществления идентификационная информация вставляется в заголовок NAL блока.
Информация, идентифицирующая формат данных кодированного изображения, обозначенного информацией идентификации, вставленной в данные кодированного изображения, вставляется в слой контейнера. Приемная сторона может определить формат данных кодированного изображения, обозначенного информацией идентификации, вставленной в данные кодированного изображения в слое контейнера заранее, на основе этой информации. В этом варианте осуществления информация вставляется в каждый цикл элементарного потока видео, соответствующий существующему согласно таблице состава программ.
Приемное устройство 200 принимает транспортный поток TS, который содержится в вещательной волне или сетевом пакете, и передается из передающего устройства 100. Транспортный поток TS включает в себя поток видео, включающий в себя данные кодированного изображения данных базового формата изображения и закодированные данные изображения каждого из заданного количества блоков данных формата изображения с высоким качеством, как это описано выше.
Как было описано ранее, информация идентификации, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных формата изображения с высоким качеством. Приемное устройство 200 обрабатывает видеопотоки, содержащиеся в транспортном потоке TS, на основании идентификационной информации и информации о возможностях отображения и получает данные изображения в соответствии с возможностью отображения.
«Конфигурация передающего устройства»
Фиг. 2 иллюстрирует примерную конфигурацию передающего устройства 100. Передающее устройство 100 использует данные Vb базового формата изображения и три блока данных Vh1, Vh2 и Vh3 формата изображения высокого качества как данные передачи изображения. Здесь, данные Vb базового формата изображения являются данными изображения низкого динамического диапазона (LDR), чья кадровая частота равна 50 Гц. Данные Vh1 формата изображения высокого качества представляют собой данные изображения LDR, чья частота кадров составляет 100 Гц. LDR данные изображения имеет диапазон яркости от 0% до 100% по отношению к яркости белого пика LDR изображения, в соответствии с предшествующим уровнем техники.
Данные Vh2 формата изображения высокого качества являются данными изображения высокого динамического диапазона (HDR), чья частота кадров равна 50 Гц. Данные Vh3 формата изображения высокого качества представляют собой данные изображения HDR, чья частота кадров составляет 100 Гц. Данные изображения HDR имеет яркость в диапазоне от 0 до 100% * N, например, от 0 до 1000% или более, когда предполагается, что яркость белого пика LDR изображения в соответствии с уровнем техники, должна быть 100%.
Фиг. 3 иллюстрирует примерную конфигурацию блока 150 генерирования данных изображения, который генерирует данные Vb базового формата изображения, и три блока данных Vh1, Vh2 и Vh3 формата изображения высокого качества. Блок 150 генерирования данных изображения включает в себя HDR камеру 151, блок 152 преобразования частоты кадров, блок 153 преобразования динамического диапазона и блок 154 преобразования частоты кадров.
HDR камера 151 формирует изображение предмета и выводит HDR данные изображения с частотой кадров 100 Гц, то есть, данные Vh3 формата изображения высокого качества. Блок 152 преобразования частоты кадров выполняет процесс преобразования частоты кадров данных Vh3 формата изображения высокого качества, выработанные HDR камерой 151, с 100 Гц до 50 Гц, и выводит HDR данные изображения с частотой кадров 50 Гц, что есть, данные Vh2 в формате изображения высокого качества.
Блок 153 преобразования динамического диапазона выполняет процесс преобразования из HDR в LDR данных Vh3 в формате высокого качества изображения, поступившие из HDR камеры 151, и выводит LDR данные изображения, чья частота кадров составляет 100 Гц, то есть, данные Vh1 формата изображения высокого качества. Блок 154 преобразования частоты кадров выполняет процесс преобразования частоты следования кадров данных Vh1 формата изображения высокого качества, выработанные блоком 153 преобразования динамического диапазона, с 100 Гц до 50 Гц, и выводит LDR данные изображения, чья частота кадров 50 Гц, то есть, данные Vb базового формата изображения.
Возвращаясь к фиг. 2, передающее устройство 100 включает в себя блок 101 управления, LDR блоки 102 и 103 фотоэлектрического преобразования, HDR блоки 104 и 105 фотоэлектрического преобразования, видеокодер 106, системный кодер 107 и блок 108 передачи. Блок 101 управления сконфигурирован с центральным процессором (CPU) и управляет работой соответствующих блоков передающего устройства 100 на основании управляющей программы.
LDR блок 102 фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для LDR изображения (LDR OETF кривая) к данным Vb базового формата изображения, и получает данные Vb' базового формата изображения для передачи. LDR блок 103 фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для LDR изображения к данным Vh1 формата изображения высокого качества, и получает данные Vh1’ формата изображения высокого качества для передачи.
HDR блок 104 фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для HDR изображения (HDR OETF кривая) к данным Vh2 формата изображения высокого качества, и получает данные Vh2’ в формате изображения высокого качества для передачи. HDR блок 105 фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для HDR изображения к данным Vh3 формата изображения высокого качества и получает данные Vh3’ в формате изображения высокого качества для передачи.
Видеокодер 106 включает в себя четыре блока 106-0, 106-1, 106-2 и 106-3 кодирования. Блок 106-0 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vb’ данных базового формата изображения для передачи, и получает данные Cb кодированного изображения. В этом случае, блок 106-0 кодирования осуществляет предсказание в пределах данных Vb' изображения.
Блок 106-1 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh1’ формата изображения высокого качества для передачи, и получает данные Ch1 закодированного изображения. В этом случае, для уменьшения ошибки предсказания блок 106-1 кодирования выборочно осуществляет процесс предсказания в пределах данных Vh1’ изображения или межкадрового предсказания с данными Vb' изображения в блоках кодирования блоков.
Блок 106-2 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh2’ формата изображения высокого качества для передачи, и получает данные Ch2 кодированного изображения. В этом случае, для уменьшения ошибки предсказания блок 106-2 кодирования выборочно осуществляет предсказание в пределах данных Vh2’ изображения или межкадровое предсказание с данными Vb' изображения в блоках кодирования блоков.
Блок 106-3 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh3’ формата изображения высокого качества для передачи, и получает данные Ch3 кодированного изображения. В этом случае, для уменьшения ошибки предсказания блок 106-3 кодирования выборочно осуществляет предсказание в пределах данных Vh3’ изображения или межкадровое предсказание с данными Vh2’ изображения в блоках кодирования блоков.
Фиг. 4 иллюстрирует примерную конфигурацию основной части блока 160 кодирования. Блок 160 кодирования может быть применен к блокам 106-1, 106-2 и 106-3 кодирования. Блок 160 кодирования включает в себя блок 161 внутриуровневого предсказания, блок 162 межуровневого предсказания, блок 163 регулировки предсказания, блок 164 выбора и блок 165 функции кодирования.
Блок 161 внутриуровневого предсказания выполняет процесс предсказания в пределах данных V1 изображения (внутриуровневое предсказание) данных V1 изображения, которые в данный момент кодированы, и получает предсказанные остаточные данные. Блок 162 межуровневого предсказания выполняет процесс межуровневого предсказания с данными V2 изображения для ссылки (межуровневое предсказание) на данные V1 изображения, которые в данный момент кодированы, и получает предсказанные остаточные данные.
Блок 163 регулировки предсказания выполняет следующий процесс в соответствии с типом масштабируемого расширения данных V1 изображения для данных V2 изображения так, что эффективно выполняется процесс в блоке 162 межуровневого предсказания. В случае динамического диапазона расширения осуществляется регулировка уровня для преобразования LDR в HDR. В случае пространственного масштабируемого расширения, выполняется процесс масштабирования для масштабирования блока другого уровня до заданного размера. В случае расширения частоты кадров, процесс опускается. В случае расширения цветовой палитры выполняется процесс сопоставления каждой величины яркости и цветности. В случае расширения битовой длины выполняется преобразование для выравнивания MSB пикселя.
Например, в случае блока 106-1 кодирования данные V1 изображения являются данными Vh1' в формате изображения высокого качества (100 Гц, LDR), данные V2 изображения являются данными Vb' базового формата изображения (50 Гц, LDR) и тип масштабируемого расширения является расширением частоты кадров. По этой причине, в блоке 163 регулировки предсказания данные Vb' изображения не изменяются.
Кроме того, например, в случае блока 106-2 кодирования, данные V1 изображения являются данными Vh2’ в формате изображения высокого качества (50 Гц, HDR), данные V2 изображения являются данными Vb’ базового формата изображения (50 Гц, LDR) и тип масштабируемого расширения является расширением динамического диапазона. По этой причине, в блоке 163 регулировки предсказания выполняется регулировка уровня для преобразования LDR в HDR данных Vb' изображения. Обратите внимание, что регулировка уровня может быть выполнена на основании информации, предоставленной из блока 153 преобразования динамического диапазона.
Кроме того, например, в случае блока 106-3 кодирования данные V1 изображения являются данными Vh3’ в формате изображения высокого качества (100 Гц, HDR), данные V2 изображения представляют собой данные Vh2’ в формате изображения высокого качества (50 Гц, HDR) и тип масштабируемого расширения является расширением частоты кадров. По этой причине, в блоке 163 регулировки предсказания данные Vb' изображения пропускаются без изменения.
Блок 164 выбора выборочно извлекает предсказанные остаточные данные, полученные с помощью блока 161 внутриуровневого предсказания или предсказанные остаточные данные, полученные с помощью блока 162 межуровневого предсказания, в единицах кодирования блоков, и передает выбранные предсказанные остаточные данные в блок 165 функции кодирования. В этом случае, блок 164 выбора выбирает, например, предсказанные остаточные данные, которые меньше в ошибке предсказания. Блок 165 функции кодирования выполняет процесс кодирования, такой как преобразование кодирования, квантование и энтропийное кодирование предсказанных остаточных данных, выбранных с помощью блока 164 выбора, и получает кодированные данные CV изображения.
Возвращаясь к фиг. 2, видеокодер 106 вставляет информацию идентификации, идентифицирующую соответствующий формат, в каждые закодированные данные Cb, Сh1, Сh2 и Сh3 изображения. Видеокодер 106 вставляет информацию идентификации в, например, заголовок NAL блока.
Фиг. 5 (а) иллюстрирует примерную структуру (синтаксис) заголовка NAL блока и фиг. 5 (b) иллюстрирует контент (семантику) основных параметров в примерной структуре. 1-битное поле «forbidden_zero_bit» в обязательном порядке равно 0. 6-битовое поле «nal_unit_type» указывает тип NAL блока. 6-битовое поле «nuh_layer_id» представляет собой идентификатор, указывающий тип расширения уровня потока. 3-битовое поле «nuh_temporal_id_plus1» указывает temporal_id (от 0 до 6) и имеет значение (от 1 до 7), полученное путем добавления 1.
В этом варианте осуществления 6-битовое поле «nuh_layer_id» указывает идентификационную информацию, идентифицирующую формат, соответствующий NAL блоку (данные кодированного изображения). Например, «0» указывает на базовый формат. «1» указывает на пространственное расширение. «2» означает расширение частоты кадров. «3» указывает на расширение битовой длины. «4» указывает на расширение динамического диапазона. «5» указывает на расширение цветовой палитры. «6» указывает на расширение частоты кадров и расширение динамического диапазона. «7» указывает на пространственное расширение и расширение частоты кадров.
Данные Cb кодируемого изображения соответствуют данным Vb базового формата изображения и «nuh_layer_id» данных Cb кодируемого изображения равен «0». Кроме того, данные Ch1 кодированного изображения соответствуют данным Vh1 формата изображения расширения частоты кадров и «nuh_layer_id» данных Ch1 кодированного изображения равен «2». Кроме того, данные Ch2 кодированного изображения соответствуют данным Vh2 формата изображения расширения динамического диапазона и «nuh_layer_id» данных Ch2 кодированного изображения равен «4». Кроме того, данные Ch3 кодированного изображения соответствуют данным Vh3 формата изображения расширения частоты кадров и расширения динамического диапазона, и «nuh_layer_id» данных Ch3 кодированного изображения равен «6».
Фиг. 6 показывает иллюстративную конфигурацию данных Cb, Сh1, Сh2 и Сh3 кодированного изображения. Горизонтальная ось указывает порядок отображения (порядок композиции изображения (РОС)), и время отображения переходит в более ранний временной момент при приближении к левой стороне, и идет в будущее время при приближении к правой стороне. Каждый из прямоугольных кадров указывает на изображение и стрелка указывает на опорное отношение изображения в процессе кодирования с предсказанием. В обоих режимах межуровневого предсказания и внутриуровневого предсказания, текущее изображение изменяется в единицах блоков, и направление предсказания и количество ссылок не ограничиваются примером, проиллюстрированным на фиг. 6.
Данные Cb кодированного изображения сконфигурированы закодированными данными изображения кадров «00», «01» .... . Данные Ch1 кодированного изображения конфигурируется данными кодированного изображения кадров «10», «11» ..., расположенных между каждыми двумя кадрами данных Cb кодированного изображения. Данные Ch2 кодированного изображения конфигурируется данными кодированного изображения кадров «20», «21», ... на тех же позициях, что и кадры данных Cb кодированного изображения. Кроме того, данные Ch3 кодированного изображения конфигурируется данными кодированного изображения кадров «30», «31», ..., расположенные между каждыми двумя кадрами данных Ch2 кодированного изображения.
Возвращаясь к фиг. 2, системный кодер 107 генерирует поток видеосигнала, используя данные Cb, Сh1, Сh2 и Сh3 кодированного изображения, генерируемые видеокодером 106, и генерирует транспортный поток TS посредством выполнения PES пакетирования и TS пакетирования. Затем блок 108 передачи включает в себя транспортный поток TS в радиовещательной волне или сетевом пакете и передает результирующий сигнал на приемное устройство 200.
Здесь, в случае двухпотоковой конфигурации, системный кодер 107 генерирует основной видеопоток, включающий в себя данные Cb кодированного изображения, и расширенный поток видеоданных, включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения. Другими словами, в этом случае транспортный поток TS включает в себя два видеопотока, то есть, основной видеопоток, включающий в себя данные Cb кодированного изображения, и расширенный поток видеоданных, включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения.
Кроме того, в случае однопотоковой конфигурации, системный кодер 107 формирует видеопоток, включающий в себя данные Cb, Сh1, Сh2 и Сh3 кодированного изображения. Другими словами, в этом случае транспортный поток TS включает в себя один видеопоток, включающий в себя данные Cb, Сh1, Сh2 и Сh3 кодированного изображения.
Системный кодер 107 вставляет информацию, определяющую формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения в слой контейнера (транспортный поток).
В этом варианте осуществления, в случае двухпотоковой конфигурации, дескриптор масштабируемого расширения вставляется в цикл элементарного видеопотока, соответствующий расширенному потоку видео (включающий в себя кодированные данные Ch1, Ch2, Ch3), существующие согласно таблице состава программ (РМТ). В этом случае, определяется формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные Ch1, Ch2 и Ch3 кодированного изображения.
Кроме того, в этом варианте осуществления, в случае однопотоковой конфигурации, дескриптор масштабируемого расширения вставляется в цикл элементарного видеопотока, соответствующий видеопотоку (включающий в себя данные Cb, Ch1, Ch2 и Ch3 кодированного изображения) существующего в согласно таблице состава программ (РМТ). В этом случае, определяется формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные Cb, Ch1, Ch2 и Ch3 кодированного изображения.
Фиг. 7 иллюстрирует примерную структуру (синтаксис) дескриптора масштабируемого расширения. Фиг. 8 иллюстрирует содержание (семантику) основной информации, содержащейся в примерной структуре, показанной на фиг. 7. 8-битовое поле «descriptor_tag» указывает тип дескриптора и указывает на то, что дескриптор является дескриптором масштабируемого расширения. 8-битовое поле «descriptor_length» указывает длину (размер) дескриптора, и указывает число последующих байтов, как длину дескриптора.
Флаг "Extended_spatial_resolution_flag" указывает, содержится ли или нет компонент расширения пространственного разрешения. «1» указывает на то, что компонент расширения пространственного разрешения содержится и «0» указывает на то, что компонент расширения пространственного разрешения не содержится. Флаг «Extended_frame_rate_flag» указывает, содержится или нет компонент расширения частоты кадров. «1» указывает на то, что компонент расширения частоты кадров содержится и «0» указывает на то, что компонент расширения частоты кадров отсутствует.
Флаг «Extended_bit_depth_flag» указывает, содержится ли или нет компонент расширения битовой длины. «1» указывает на то, что компонент расширения битовой длины содержится, а «0» указывает на то, что компонент расширения битовой длины отсутствует. Флаг «Extended_dynamic_range_flag» указывает, содержится ли или нет компонент расширения динамического диапазона. «1» указывает на то, что компонент расширения динамического диапазона содержится и «0» указывает на то, что компонент расширения динамического диапазона не содержится. Флаг «Extended_color_gamut_flag» указывает, содержится ли или нет компонент расширения цветовой палитры. «1» указывает на то, что компонент расширения цветовой палитры содержится и «0» указывает на то, что компонент расширения цветовой палитры отсутствует.
8-битовое поле «number_of_layerIDs» указывает на количество уровней, включенных в состав потока. Есть 6-битовых полей «LayerId», соответствующие по количеству числу уровней. Поле «LayerId» указывает на идентификатор уровня (layer_id).
Здесь, в случае двухпотоковой конфигурации, когда расширенный поток видео включает в себя данные Ch1, Ch2, Ch3 кодированного изображения, «Extended_spatial_resolution_flag», «Extended_bit_depth_flag» и «Extended_color_gamut_flag» установлены на «0» и «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1». Кроме того, «number_of_layerIDs» установлен на «3» и «2», «4» и «6» устанавливаются в порядке «LayerId».
Посредством этой установки, «LayerId» = «2» указывает на расширение частоты кадров и, таким образом, определяется «nuh_layer_id» = «2» заголовка NAL блока для указания данных кодированного изображения расширения частоты кадров. Кроме того, «LayerId» = «4» указывает на расширение динамического диапазона и, таким образом, определяется «nuh_layer_id» = «4» заголовка NAL блока для указания данных кодированного изображения расширения динамического диапазона. Кроме того, «LayerId» = «6» указывает на расширение частоты кадров и расширение динамического диапазона, и, таким образом, определяется «nuh_layer_id» = «6» заголовка NAL блока для указания данных кодированного изображения расширения частоты кадров и расширения динамического диапазона.
Кроме того, в случае однопотоковой конфигурации, когда поток видео включает в себя данные Cb, Сh1, Сh2 и Сh3 кодированного изображения, «Extended_spatial_resolution_flag», «Extended_bit_depth_flag» и «Extended_color_gamut_flag» установлены на «0» и «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1». Кроме того, «number_of_layerIDs» установлен на «4» и «0», «2», «4» и «6» устанавливаются в порядке «LayerId».
С помощью этой установки, «LayerId» = «0» указывает на базовый формат и, таким образом, определяется «nuh_layer_id» = «0» заголовка NAL блока для указания данных кодированного изображения базового формата. Кроме того, «LayerId» = «2» указывает на расширение частоты кадров и, таким образом, определяется «nuh_layer_id» = «2» заголовка NAL блока для указания данных кодированного изображения расширения частоты кадров. Кроме того, «LayerId» = «4» указывает на расширение динамического диапазона и, таким образом, определяется «nuh_layer_id» = «42 заголовка NAL блока для указания данных кодированного изображения расширения динамического диапазона. Кроме того, «LayerId» = «6» указывает на расширение частоты кадров и расширение динамического диапазона и, таким образом, определяется «nuh_layer_id» = «6» заголовка NAL блока для указания данных кодированного изображения расширения частоты кадров и расширение динамического диапазона.
Фиг. 9 иллюстрирует отношение соответствия между значениями «nuh_layer_id» заголовка NAL блока и описанием дескриптора масштабируемого расширения. Другими словами, когда данные кодированного изображения базового формата (основной компонент) «nuh_layer_id» = «0» содержится в потоке, то «0» установлен как «LayerId».
Кроме того, когда данные кодированного изображения пространственного расширения (компонент пространственного расширения) «nuh_layer_id» = «1» содержатся в потоке, то «Extended_spatial_resolution_flag» установлен на «1» и «1» установлен как «LayerId». Кроме того, когда данные кодированного изображения расширения частоты кадров (компонент расширения частоты кадров) «nuh_layer_id» = «2» содержатся в потоке, то «Extended_frame_rate_flag» установлен на «1» и «2» устанавливается как «LayerId». Кроме того, когда данные кодированного изображения расширения частоты кадров (компонент расширения битовой длины) «nuh_layer_id» = «3» содержаться в потоке, то «Extended_bit_depth_flag» установлен на «1» и «3» установлен как «LayerId».
Кроме того, когда данные кодированного изображения расширения динамического диапазона (компонент расширения динамического диапазона) «nuh_layer_id» = «4» содержится в потоке, то «Extended_dynamic_range_flag» установлен на «1» и «4» установлен как «LayerId». Кроме того, когда данные кодированного изображения расширения цветовой палитры (компонент расширения цветовой палитры) «nuh_layer_id» = «5» содержится в потоке, то «Extended_color_gamut_flag» установлен на «1» и «5» установлен как «LayerId».
Дополнительно, когда данные кодированного изображения расширения частоты кадров и расширения динамического диапазона (компонент расширения частоты кадров и компонент расширения динамического диапазона) «nuh_layer_id» = «6» содержится в потоке, то «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1» и «6» установлен как «LayerId». Кроме того, когда данные кодированного изображения пространственного расширения и расширения частоты кадров (компонент пространственного расширения и компонент расширения частоты кадров) «nuh_layer_id» = «7» содержится в потоке, то «Extended_spatial_resolution_flag» и «Extended_frame_rate_flag» установлены на «1» и «7» установлен как «LayerId».
Конфигурация транспортного потока TS
Фиг. 10 иллюстрирует примерную конфигурацию транспортного потока TS в случае двухпотоковой конфигурации. Два видеопотока, то есть, основной видеопоток STb и расширенный видеопоток STе включены в состав транспортного потока TS. В этой типичной конфигурации есть PES пакет «video PES» каждого видеопотока.
Идентификатор пакета (PID) основного видеопотока STb, например, представляет собой PID1. Данные кодированного изображения базового формата включены в состав основного видеопотока STb. В данных кодированного изображения базового формата, существуют NAL блоки, такие как AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS. В заголовках NAL блоков «nuh_layer_id» установлен, например, на «0» и указывает на данные кодированного изображения, относящиеся к базовому формату.
Кроме того, идентификатор пакета (PID) расширенного видеопотока STе является, например, PID2. Данные кодированного изображения трех форматов высокого качества, то есть, расширение частоты кадров, расширение динамического диапазона и расширение частота кадров и расширение динамического диапазона включаются в состав расширенного видеопотока STe. В данных кодированного изображения формата высокого качества есть NAL блоки, такие как AUD, SPS, PPS, PSEI, SLICE, SSEI и EOS.
Обратите внимание, что SPS в данных кодированного изображения базового формата и SPS в данных кодированного изображения формата высокого качества одни и те же в значении «nal_unit_type», но отличаются наличием или отсутствием расширения. Другими словами, SPS в данных кодированного изображения формата высокого качества включает в себя SPS расширение. Следует отметить, что, SPS базового формата и SPS формата высокого качества может иметь различные значения «nal_unit_type».
В заголовке NAL блока, составляющие кодированные данные изображения расширения частоты кадров «nuh_layer_id» установлен на «2» и указывает на данные кодированного изображения, относящиеся к расширению частоты кадров. Кроме того, в заголовке NAL блока, составляющие кодированные данные изображения расширения динамического диапазона «nuh_layer_id» установлен на «4» и указывает на данные кодированного изображения, относящиеся к расширению динамического диапазона. Кроме того, в заголовке NAL блока, составляющие кодированные данные изображения расширения частоты кадров и расширения динамического диапазона «nuh_layer_id» установлен на «6» и указывает на данные кодированного изображения, относящиеся к расширению частоты кадров и расширению динамического диапазона.
Дополнительно, таблица состава программ (PMT) содержится в транспортном потоке TS в качестве информации конкретной программы (PSI). PSI является информацией, указывающая программу, ассоциированную с каждым элементарным потоком в транспортном потоке.
Цикл программы, описывающий информацию, связанную со всеми программами, входит в РМТ. Дополнительно, цикл элементарного потока, включающий в себя информацию, ассоциированную с каждым элементарным потоком, содержится в РМТ. В этой типичной конфигурации, два цикла элементарного видеопотока (циклы ES видео) содержаться в ассоциации с двумя видеопотоками, то есть, основной видеопоток STb и расширенный видеопоток STе. Такая информация, как тип потока (ST0) и идентификатор пакета (PID1), находится в цикле элементарного видеопотока, соответствующий основному видеопотоку STb.
Дополнительно, в цикле элементарного видеопотока, соответствующего расширенному видеопотоку STе, имеется такая информация, как тип потока (ST1) и идентификатор пакета (PID2), и также содержится дескриптор, описывающий информацию, ассоциированную с расширенным видеопотоком STе. Дескриптор масштабированного расширения (см. фиг. 7) вставляется в качестве одного из дескрипторов.
В этом дескрипторе, «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1» и «number_of_layerIDs» установлен на «3» и «2», «4» и «6» устанавливаются в порядке, как «LayerId». Таким образом, «nuh_layer_id» = «2» заголовка NAL блока определяется, чтобы указать данные кодированного изображения расширения частоты кадров. Кроме того, определяется «nuh_layer_id» = «4» заголовка NAL блока для указания данных кодированного изображения расширения динамического диапазона. Кроме того, определяется «nuh_layer_id» = «6» заголовка NAL блока для указания данных кодированного изображения расширения частоты кадров и расширения динамического диапазона.
Фиг. 11 иллюстрирует примерную конфигурацию транспортного потока TS в случае конфигурации с одним потоком. Один видеопоток ST входит в состав транспортного потока TS. В этом варианте конфигурации существует PES пакет «video PES» видеопотока ST.
Идентификатор пакета (PID) видеопотока ST устанавливается, например, как PID1. В видеопотоке ST содержаться данные кодированного изображения базового формата и данные кодированные изображения трех форматов высокого качества, то есть, расширение частоты кадров, расширение динамического диапазона и расширение частоты кадров и расширение динамического диапазона.
В данных кодированного изображения базового формата, существуют NAL блоки, такие как AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS. В заголовках NAL блоков «nuh_layer_id» установлен, например, на «0» и указывает на данные кодированного изображения, относящиеся к базовому формату.
Дополнительно, в данных кодированного изображения формата высокого качества, есть NAL блоки, такие как AUD, SPS, PPS, PSEI, SLICE, SSEI и EOS. Следует отметить, что SPS в данных кодированного изображения базового формата и SPS в данных кодированного изображения формата высокого качества одни и те же в значении «nal_unit_type», но отличаются наличием или отсутствием расширения. Другими словами, SPS в данных кодированного изображения формата высокого качества включает в себя SPS расширение.
В заголовке NAL блока, составляющего данные кодированного изображения расширения частоты кадров, «nuh_layer_id» установлен на «2» и указывает на данные кодированного изображения, связанные с расширением частоты кадров. Кроме того, в заголовке NAL блока, составляющего данные кодированного изображения расширения динамического диапазона, «nuh_layer_id» установлен на «4» и указывает на данные кодированного изображения, связанные с расширением динамического диапазона. Кроме того, в заголовке NAL блока, составляющего данные кодированного изображения расширения частоты кадров и расширения динамического диапазона, «nuh_layer_id» установлен на «6» и указывает на данные кодированного изображения, связанные с расширением частоты кадров и расширением динамического диапазона.
Дополнительно, таблица состава программ (PMT) входит в состав транспортного потока TS в качестве информации конкретной программы (PSI). PSI является информацией, указывающей программу, связанную с каждым элементарным потоком в транспортном потоке.
Цикл программы, описывающий информацию, связанную со всеми программами, содержится в РМТ. Кроме того, цикл элементарного потока, включающий в себя информацию, ассоциированную с каждым элементарным потоком, входит в состав РМТ. В этой типичной конфигурации один цикл элементарного видеопотока (ES цикл видео) входит в состав с ассоциацией с одним видеопотоком ST.
В цикле элементарного видеопотока находится информация, такая как тип потока (ST0) и идентификатор пакета (PID1), и также находится дескриптор, описывающий информацию, ассоциированную с видеопотоком ST. Дескриптор масштабированного расширения (см. фиг. 7) вставляется в качестве одного из дескрипторов.
В этом дескрипторе «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1», «number_of_layerIDs» установлен на «4» и «0», «2», «4» и «6» устанавливаются в порядке, как «LayerId». Таким образом, «nuh_layer_id» = «0» заголовка NAL блока определяется для указания данных кодированного изображения базового формата. «Nuh_layer_id» = «2» заголовка NAL блока определяется для указания данных кодированного изображения расширения частоты кадров. Кроме того, «nuh_layer_id» = «4» заголовка NAL блока определяется для указания данных кодированного изображения расширения динамического диапазона. Кроме того, «nuh_layer_id» = «6» заголовка NAL блока определяется для указания данных кодированного изображения расширения частоты кадров и расширения динамического диапазона.
Далее приведено краткое описание работы передающего устройства 100, показанного на фиг. 2. Данные Vb базового формата изображения, выступающие в качестве LDR данных изображения, чья частота кадров равна 50 Гц, подаются в блок 102 LDR фотоэлектрического преобразования. Блок 102 LDR фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для LDR изображения (LDR OETF кривая) к данным Vb базового формата изображения и получает данные Vb’ базового формата изображения для передачи. Данные Vb' базового формата изображения подаются в блоки 106-0, 106-1 и 106-2 кодирования видеокодера 106.
Дополнительно, данные Vh1 в формате изображения высокого качества, выступающие в качестве LDR данных изображения, чья частота кадров составляет 100 Гц, подаются в блок 103 LDR фотоэлектрического преобразования. Блок 103 LDR фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для LDR изображения (LDR OETF кривая) к данным Vh1 формата изображения высокого качества и получает данные Vh1’ формата изображения высокого качества для передачи. Данные Vh1’ в формате изображения высокого качества подаются в блок 106-1 кодирования видеокодера 106.
Кроме того, данные Vh2 в формате изображения высокого качества, выступающие в качестве HDR данных изображения, с частотой кадров 50 Гц, подаются в блок 104 HDR фотоэлектрического преобразования. Блок 104 HDR фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для HDR изображения (HDR OETF кривая) к данным Vh2 формата изображения высокого качества и получает данные Vh2’ формата изображения высокого качества для передачи. Данные Vh2’ формата изображения высокого качества подаются в блоки 106-2 и 106-3 кодирования видеокодера 106.
Дополнительно, данные Vh3 в формате изображения высокого качества, выступающие в качестве HDR данных изображения, чья частота кадров составляет 100 Гц, подаются в блок 105 HDR фотоэлектрического преобразования. Блок 105 HDR фотоэлектрического преобразования применяет характеристику фотоэлектрического преобразования для HDR изображения (HDR OETF кривая) к данным Vh3 формата изображения высокого качества и получает данные Vh3’ формата изображения высокого качества для передачи. Данные Vh3’ в формате изображения высокого качества подаются в блок 106-3 кодирования видеокодера 106.
Видеокодер 106 выполняет процесс кодирования данных Vb’ базового формата изображения и данных Vh1', Vh2’ и Vh3' формата изображения высокого качества и генерирует данные Cb, Ch1, Ch2 и Сh3 кодированного изображения. Другими словами, блок 106-0 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vb’ базового формата изображения для передачи и получает данные Cb кодированные изображения.
Дополнительно, блок 106-1 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh1’ формата изображения высокого качества для передачи и получает данные Ch1 кодированного изображения. Кроме того, блок 106-2 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh2’ формата изображения высокого качества для передачи и получает данные Ch2 кодированного изображения. Кроме того, блок 106-3 кодирования выполняет процесс кодирования с предсказанием H.264/AVC, H.265/HEVC или тому подобное данных Vh3’ формата изображения высокого качества для передачи и получает данные Ch3 кодированного изображения.
Видеокодер 106 вставляет информацию идентификации, идентифицирующую соответствующий формат, в каждые данные Cb, Сh1, Сh2 и Сh3 кодированного изображения. Другими словами, видеокодер 106 вставляет информацию идентификации, идентифицирующую формат, соответствующего NAL блока (данные кодированного изображения), в поле «nuh_layer_id» заголовка NAL блока.
Данные Cb, Ch1, Ch2 и Ch3 кодированного изображения, полученные с помощью видеокодера 106, подаются в системный кодер 107. Системный кодер 107 генерирует видеопоток с использованием данных Cb, Ch1, Ch2 и Ch3 кодированного изображения и генерирует транспортный поток TS, выполняя PES пакетирование и TS пакетирование.
Здесь, в случае двухпотоковой конфигурации, генерируются два потока, то есть, основной видеопоток, включающий в себя данные Cb колированного изображения, и расширенный поток видеоданных, включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения. Кроме того, в случае однопотоковой конфигурации, генерируется один видеопоток, включающий в себя данные Cb, Ch1, Ch2 и Ch3 кодированного изображения.
Системный кодер 107 вставляет информацию, определяющую формат данных кодированного изображения, указанного информацией идентификации, вставленной в данные кодированного изображения в слой контейнера (транспортный поток).
Здесь, в случае двухпотоковой конфигурации, дескриптор масштабируемого расширения вставляется в цикл элементарного видеопотока, соответствующего расширенного потока видео (включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения), в соответствии с РМТ. Кроме того, в случае однопотоковой конфигурации дескриптор масштабированного расширения вставляется в цикл элементарного видеопотока, соответствующего видеопотока (включающий в себя данные Cb, Ch1, Ch2 и Ch3 кодированного изображения), в соответствии с РМТ.
Транспортный поток TS, сгенерированный системным кодером 107, передается в блок 108 передачи. Блок 108 передачи включает в себя транспортный поток TS в радиовещательной волне или сетевом пакете, и передает результирующий сигнал на приемное устройство 200.
«Конфигурация приемного устройства»
Фиг. 12 иллюстрирует пример конфигурации приемного устройства 200. Приемное устройство 200 имеет примерную конфигурацию, соответствующую примерной конфигурации передающего устройства 100, показанного на фиг. 2. Приемное устройство 200 включает в себя блок 201 управления, блок 202 приема, системный декодер 203, буфер 204 сжатого потока данных (cpb), видеодекодер 205, блоки 206 и 207 LDR электронно-оптического преобразования, блоки 208 и 209 HDR электронно-оптического преобразования и блок 210 отображения (дисплей).
Блок 201 управления выполнен с центральным процессором (CPU) и управляет работой соответствующих блоков приемного устройства 200 на основе управляющей программы. Блок 202 приема принимает транспортный поток TS, включенный в состав радиовещательные волны или сетевого пакета и переданный из передающего устройства 100. Системный декодер 203 извлекает видеопоток из транспортного потока TS.
В случае двухпотоковой конфигурации (см. фиг. 10), извлекаются два видеопотока, то есть, основной видеопоток, включающий в себя данные Cb кодированного изображения базового формата изображения, и расширенный потока видео, включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения формата изображения высокого качества. Кроме того, в случае однопотоковой конфигурации (см. фиг. 11), извлекается один видеопоток, включающий в себя данные Cb кодированного изображения базового формата изображения и данные Ch1, Ch2 и Ch3 кодированного изображения формата изображения высокого качества.
Кроме того, системный декодер 203 извлекает различную информацию, вставленную в слой контейнера (транспортный поток), и передает полученную информацию в блок 201 управления. Дескриптор масштабированного расширения также содержится в этой информации. На основании этого дескриптора блок 201 управления может определить формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения (в данном варианте осуществления «nuh_layer_id» заголовок NAL блока) в слое контейнера заранее.
Буфер 204 сжатых данных временно накапливает видеопоток, извлеченный системным декодером 203. Видеодекодер 205 включает в себя четыре блока 205-0, 205-1, 205-2, 205-3 декодирования. Блок 205-0 декодирования выполняет процесс декодирования данных Cb кодированного изображения базового формата (основной компонент) выборочно считанные из буфера 204 сжатых данных, и генерирует данные Vb’ базового формата изображения. В этом случае, блок 205-0 декодирования выполняет предсказание и компенсацию в пределах данных Vb' изображения.
Блок 205-1 декодирования выполняет процесс декодирования данных Ch1 кодированного изображения расширения частоты кадров (компонент расширения частоты кадров), выборочно считанных из буфера 204 сжатых данных, и генерирует данные Vh1’ формата изображения высокого качества. В этом случае, блок 205-1 декодирования выполняет предсказание и компенсацию в пределах данных Vh1’ изображения или межкадровое предсказание с компенсацией данных Vb’ изображения в блоках кодирования совместно с предсказанием в момент кодирования.
Блок 205-2 декодирования выполняет процесс декодирования данных Ch2 кодированного изображения расширения динамического диапазона (компонент расширения динамического диапазона), выборочно считанные из буфера 204 сжатых данных, и генерирует данные Vh2’ формата изображения высокого качества. В этом случае, блок 205-2 декодирования выполняет предсказание с компенсацией в пределах данных Vh2’ изображения или межкадровое предсказание с компенсацией данных Vb’ изображения в блоках кодирования совместно с предсказанием в момент кодирования.
Блок 205-3 декодирования выполняет процесс декодирования данных Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона (компонент расширения частоты кадров и компонента расширения динамического диапазона), выборочно считанные из буфера 204 сжатых данных, и генерирует данные Vh3’ формата изображения высокого качества. В этом случае, блок 205-3 декодирования выполняет предсказание с компенсацией в пределах данных Vh3’ изображения или межкадровое предсказание с компенсацией данных Vh2’ изображения в блоках кодирования совместно с предсказанием в момент кодирования.
Фиг. 13 иллюстрирует примерную конфигурацию основной части блока 250 декодирования. Блок 250 декодирования может быть применен к блокам 205-1, 205-2, 205-3 декодирования. Блок 250 декодирования выполняет процесс обратный процессу блока 165 кодирования, показанного на фиг. 4. Блок 250 декодирования включает в себя блок 251 функции декодирования, блок 252 внутриуровневого предсказания с компенсацией, блок 253 межуровневого предсказания с компенсацией, блок 254 регулировки предсказания и блок 255 выбора.
Блок 251 функции декодирования выполняет процесс декодирования данных CV кодированного изображения, а не процесс предсказания и компенсации, и получает остаточные данные предсказания. Блок 252 внутриуровневого предсказания с компенсацией выполняет предсказание и компенсацию в пределах данных V1 изображения (внутриуровневое предсказание с компенсацией) остаточных данных предсказания, и получает данные V1 изображения. Блок 253 межуровневого предсказания с компенсацией выполняет процесс межуровневого предсказания с компенсацией данных V2 изображения для ссылки (межуровневое предсказание с компенсацией) на остаточные данные предсказания, и получает данные V1 изображения.
Хотя подробное описание опущено, блок 254 регулировки предсказания выполняет процесс в соответствии с масштабируемым расширением данных V1 изображения для данных V2 изображения, аналогично работе блока 163 регулировки предсказания блока 160 кодирования, показанного на фиг. 4. Блок 255 выбора выборочно извлекает и выводит данные V1 изображения, полученные с помощью блока 252 внутриуровневого предсказания с компенсацией или данные V1 изображения, полученные с помощью блока 253 межуровневого предсказания с компенсацией в блоках кодирования совместно с предсказанием на время кодирования.
Возвращаясь к фиг. 12, блок 206 LDR электронно-оптического преобразования выполняет процесс электронно-оптического преобразования противоположной характеристики блоку 102 LDR фотоэлектрического преобразования в передающем устройстве 100 данных Vb’ в базовом формате изображения, полученные посредством блока 205-0 декодирования, и получает данные Vb базового формата изображения. Данные базового формата изображения представляют собой данные LDR изображения, чья частота кадров равна 50 Гц.
Дополнительно, блок 207 LDR электронно-оптического преобразования выполняет процесс электронно-оптического преобразования противоположной характеристике блоку 103 LDR фотоэлектрического преобразования в передающем устройстве 100 данных Vh1’ формата изображения высокого качества, полученный посредством блока 205-1 декодирования, и получает данные VH1 формата изображения высокого качества. Данные Vh1 формата изображения высокого качества представляют собой LDR данные изображения, чья частота кадров составляет 100 Гц.
Дополнительно, блок 208 HDR электронно-оптического преобразования выполняет процесс электрооптического преобразования противоположной характеристике блоку 104 HDR фотоэлектрического преобразования в передающем устройстве 100 данных Vh2’ формата изображения высокого качества, полученный посредством блока 205-2 декодирования, и получает данные Vh2 формата изображения высокого качества. Данные Vh2 изображения высокого качества представляют собой HDR данные изображения, чья частота кадров равна 50 Гц.
Дополнительно, блок 209 HDR электронно-оптического преобразования выполняет процесс электрооптического преобразования противоположной характеристике блоку 105 HDR фотоэлектрического преобразования в передающем устройстве 100 данных Vh3’ формата изображения высокого качества, полученные посредством блока 205-3 декодирования, и получает данные Vh3 формата изображения высокого качества. Данные Vh3 формата изображения высокого качества представляют собой HDR данные изображения, чья частота кадров составляет 100 Гц.
Блок 210 отображения оснащен, например, жидкокристаллическим дисплеем (LCD), органическим электролюминесцентной (органической EL) панелью или тому подобное. Блок 210 отображения отображает изображение в соответствии с какими-либо одними данными Vb базового формата изображения и данными Vh1, Vh2 и Vh3 формата изображения высокого качества, в соответствии с техническими характеристиками дисплея.
В этом случае, блок 201 управления управляет процессом поставки данных изображения в блок 210 отображения. Этот процесс управления осуществляется на основании идентификационной информации базового формата и формата высококачественного воспроизведения, вставленной в данные кодированного изображения, и информации о функциональных возможностях блока 209 отображения.
Другими словами, когда блок 210 отображения не может выполнять отображение изображения с высокой частотой кадров и отображение изображения с расширенным динамическим диапазоном, то процесс управления осуществляется таким образом, что данные Vb базового формата изображения, относящиеся к декодированию данных Cb кодированного изображения базового формата (основной компонент), подаются в блок 210 отображения. В этом случае, блок 201 управления выборочно извлекает данные Cb кодированного изображения базового формата из буфера 204 сжатых данных и передает данные Cb кодированного изображения базового формата в блок 205-0 декодирования. Затем блок 201 управления выполняет управление таким образом, что блок 205-0 декодирования декодирует данные Cb кодированного изображения и блок 206 LDR электрооптического преобразования выводит данные Vb базового формата изображения.
Кроме того, когда блок 210 отображения может выполнять отображение изображения с высокой частотой кадров, но не может выполнять отображение изображения расширенного динамического диапазона, управление осуществляется таким образом, что данные Vh1 в формате изображения высокого качества Vh1, относящиеся к декодированию данных Ch1 кодированного изображения расширения частоты кадров (компонент расширение частоты кадров), подаются в блок 210 отображения.
В этом случае, блок 201 управления выборочно извлекает данные Cb кодированного изображения базового формата из буфера 204 сжатых данных и передает данные Cb кодированного изображения базового формата в блок 205-0декодирования, и выборочно извлекает данные Ch1 кодированного изображения расширения частоты кадров из буфера 204 сжатых данных и передает данные Ch1 кодированного изображения расширения частоты кадров в блок 205-1 декодирования. Затем блок 201 управления выполняет процесс управления таким образом, что блок 205-0 декодирования декодирует данные Cb кодированного изображения, блок 205-1 декодирования декодирует данные Ch1 кодированного изображения, и блок 207 LDR электрооптического преобразования выводит данные Vh1 формата изображения высокого качества.
Дополнительно, когда блок 210 отображения не может выполнять отображение изображения с высокой частотой кадров, но может выполнять отображение изображения расширенного динамического диапазона, то процесс управления выполняется таким образом, что данные Vh2 в формате изображения высокого качества, относящиеся к декодированию данных Ch2 кодированного изображения расширения динамического диапазона (компонент расширения динамического диапазона), подаются в блок 210 отображения.
В этом случае, блок 201 управления выборочно извлекает данные Cb кодированного изображения базового формата из буфера 204 сжатых данных и передает данные Cb кодированного изображения базового формата в блок 205-0 декодирования и выборочно извлекает данные Ch2 кодированного изображения расширения динамического диапазона из буфера 204 сжатых данных и передает данные Ch2 кодированного изображения расширения динамического диапазона в блок 205-2 декодирования. Затем блок 201 управления выполняет управление таким образом, что блок 205-0 декодирования декодирует данные Cb кодированного изображения, блок 205-2 декодирования декодирует данные Ch2 кодированного изображения и блок 208 LDR электрооптического преобразования выводит данные Vh2 формата изображения высокого качества.
Дополнительно, когда блок 210 отображения может выполнять отображение изображения с высокой частотой кадров и отображение изображения высокого динамического диапазона, то процесс управления осуществляется таким образом, что данные Vh3 в формате изображения высокого качества, относящиеся к декодированию данных Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона (компонент расширения частоты кадров и компонент расширения динамического диапазона), подаются в блок 210 отображения.
В этом случае, блок 201 управления выборочно извлекает данные Cb кодированного изображения базового формата из буфера 204 сжатых данных и передает данные Cb кодированного изображения базового формата в блок 205-0 декодирования, выборочно извлекает данные Ch2 кодированного изображения расширения динамического диапазона из буфера 204 сжатых данных и передает данные Ch2 кодированного изображения расширения динамического диапазона в блок 205-1 декодирования и выборочно извлекает данные Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона из буфера 204 сжатых данных и передает данные Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона в блок 205-3 декодирования.
Затем, блок 201 управления выполняет процесс управления таким образом, что блок 205-0 декодирования декодирует данные Cb кодированного изображения, блок 205-2 декодирования декодирует данные Ch2 кодированного изображения, блок 205-3 декодирования декодирует данные Ch3 кодированного изображения и блок 209 HDR электронно-оптического преобразования выводит данные Vh3 в формате изображения высокого качества.
Фиг. 14 (а) и 14 (b) схематически иллюстрируют выработку буфера 204 сжатых данных (cpb) и распределение данных Cb, Ch1, Ch2 и Ch3 кодированного изображения на соответствующие блоки декодирования в соответствии с «nuh_layer_id» в случае двухпотоковой конфигурации.
В случае двухпотоковой конфигурации, как показано на фиг. 14 (а), данные Cb кодированного изображения базового формата, содержащиеся в основном видеопотоке (PID1), и данные кодированного изображения кадров данных Ch1, Ch2 и Ch3 кодированного изображения высококачественного формата, содержащиеся в расширенном потоке видео (PID2), последовательно считываются из буфера 204 сжатых данных (cpb).
Здесь, «00», «01», ... показывают данные кодированного изображения соответствующих изображений, составляющие данные Cb кодированного изображения, и «nuh_layer_id» заголовка NAL блока установлен на «0». Блок 201 управления определяет, что «nuh_layer_id» = «0», указывая на то, что данные кодированного изображения базового формата, так данные Cb кодированного изображения, включены в состав основного потока видео.
Кроме того, «10», «11», ... обозначают закодированные данные изображения соответствующих изображений, составляющих данные Ch1 кодированного изображения, и «nuh_layer_id» заголовка NAL блока установлен на «2». Блок 201 управления определяет, что «nuh_layer_id» = «2», что указывает на данные кодированного изображения расширения частоты кадров на основании определения с помощью дескриптора масштабированного расширения.
Дополнительно, «20», «21», ... обозначают данные кодированного изображения соответствующих изображений, составляющие данные Ch2 кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «4». Блок 201 управления определяет, что «nuh_layer_id» = «4», что указывает на данные кодированного изображения расширения динамического диапазона на основании определения с помощью дескриптора масштабированного расширения.
Кроме того, «30», «31», ... обозначают данные кодированного изображения соответствующих изображений, составляющих данные Ch3 кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «6». Блок 201 управления определяет, что «nuh_layer_id» = «6», что указывает на данные кодированного изображения расширения частоты кадров и расширения динамического диапазона на основании определения с помощью дескриптора масштабированного расширения.
Данные кодированного изображения соответствующих изображений, считанных из буфера 204 сжатых данных, передают в соответствующий блок декодирования на основании «nuh_layer_id», как показано на фиг. 14 (b). В этом случае, данные кодированного изображения уровня, не связанного с декодированием, считываются и отбрасываются. Изображенный пример представляет собой пример, в котором декодируются все данные.
Фиг. 15 (а) и 15 (b) схематически иллюстрируют выработку буфера 204 сжатых данных (cpb) и распределение данных Cb, Ch1, Ch2 и Ch3 кодированного изображения на соответствующие блоки декодирования в соответствии с «nuh_layer_id» в случае однопотоковой конфигурации.
В случае однопотоковой конфигурации, как это показано на фиг. 15 (а), данные Cb кодированного изображения базового формата, содержащиеся в одном видеопотоке (PID1), и данные кодированного изображения данных Ch1, Ch2 и Ch3 кодированного изображения высококачественного формата, последовательно считываются из буфера 204 сжатых данных (cpb).
Здесь, «00», «01», ... показывают данные кодированного изображения соответствующих изображений, составляющих данные Cb кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «0». Блок 201 управления определяет, что «nuh_layer_id» = «0», что указывает на данные кодированного изображения базового формата на основании определения с помощью дескриптора масштабируемого расширения.
Кроме того, «10», «11», ... обозначают данные кодированного изображения соответствующих изображений, составляющих данные Ch1 кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «2». Блок 201 управления определяет, что «nuh_layer_id» = «2», что указывает на данные кодированного изображения расширения частоты кадров на основании определения с помощью дескриптора масштабируемого расширения.
Дополнительно, «20», «21», ... обозначают данные кодированного изображения соответствующих изображений, составляющих данные Ch2 кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «4». Блок 201 управления определяет, что «nuh_layer_id» = «4», что указывает на данные кодированного изображения расширения динамического диапазона на основании определения с помощью дескриптора масштабируемого расширения.
Дополнительно, «30», «31», ... обозначают данные кодированного изображения соответствующих изображений, составляющих данные Ch3 кодированного изображения и «nuh_layer_id» заголовка NAL блока установлен на «6». Блок 201 управления определяет, что «nuh_layer_id» = «6», что указывает на данные кодированного изображения расширения частоты кадров и расширения динамического диапазона на основании определения с помощью дескриптора масштабируемого расширения.
Данные кодированного изображения соответствующих изображений, считанных из буфера 204 сжатых данных, передаются в соответствующий блок декодирования на основании «nuh_layer_id», как показано на фиг. 15 (b). В этом случае, данные кодированного изображения, не связанные с декодированием, считываются и отбрасываются. Изображенный пример представляет собой пример, в котором декодируются все данные.
Блок-схема алгоритма на фиг. 16 иллюстрирует пример способа, в котором блок 201 управления определяет диапазон декодирования на основании информации о возможностях отображения (информация о характеристиках дисплея). На этапе ST1, блок 201 управления запускает процесс.
Затем, на этапе ST2 блок 201 управления определяет «nuh_layer_id» каждого формата со ссылкой на дескриптор масштабируемого расширения. В этом варианте осуществления «nuh_layer_id» = «0» определяется в базовом формате, «nuh_layer_id» = «2» определяется в расширении частоты кадров, «nuh_layer_id» = «4» определяется в расширении динамического диапазона и «nuh_layer_id» = «6» определяется в расширении частоты кадров и расширении динамического диапазона.
Затем, на этапе ST3 блок 201 управления определяет, возможно или нет выполнить отображение 100p HDR, то есть, отображение HDR с частотой кадров 100 Гц. Когда можно выполнять отображение 100p HDR, то есть, отображение HDR с частотой кадров 100 Гц, то на этапе ST4 блок 201 управления устанавливает данные кодированного изображения, имеющие «nuh_layer_id» из «0», «4» и «6», то есть, данные Cb, Сh2 и Сh3 кодированного изображения, как диапазон декодирования, и затем, на этапе ST11 блок 201 управления завершает процесс.
Когда отображение 100p HDR, то есть, отображение HDR с частотой кадров 100 Гц, не возможно на этапе ST3, то на этапе ST5 блок 201 управления определяет, существует ли возможность или нет выполнить отображение 50p HDR, то есть, отображение HDR с частотой кадров 50 Гц. Когда можно выполнять отображение 50p HDR, то есть, отображение HDR с частотой 50 Гц, то на этапе ST6 блок 201 управления устанавливает данные кодированного изображения, имеющие «nuh_layer_id» из «0» и «4», то есть, данные Cb и Сh2 кодированного изображения, как диапазон декодирования, и затем, на этапе ST11 блок 201 управления завершает процесс.
Когда трудно выполнить отображение 50p HDR, то есть, отображение HDR с частотой 50 Гц на этапе ST5, то на этапе ST7 блок 201 управления определяет, существует ли возможность или нет выполнить отображение 100p LDR, то есть, отображение LDR с частотой кадров 100 Гц. Когда можно выполнять отображение 100p LDR, то есть, отображение LDR, частота кадров которого составляет 100 Гц на этапе ST8, то блок 201 управления устанавливает данные кодированного изображения, имеющие «nuh_layer_id» «0» и «2», то есть, данные Cb и Сh1 кодированного изображения, как диапазон декодирования, и затем на этапе ST11 блок 201 управления завершает процесс.
Когда сложно выполнить отображение 100p LDR, то есть, отображение LDR с частотой кадров 100 Гц на этапе ST7, то на этапе ST9 блок 201 управления определяет, возможно ли или нет выполнить отображение 50p LDR, то есть, отображение LDR с частотой кадров 50 Гц. Когда можно выполнять отображение 50p LDR, то есть, отображение LDR с частотой кадров 50 Гц, то на этапе ST10 блок управления 201 устанавливает данные кодированного изображения, имеющие «nuh_layer_id» на «0», то есть, данные Cb кодированного изображения, как диапазон декодирования и затем, на этапе ST11 блок 201 управления завершает процесс. Следует отметить, что, когда сложно выполнить отображение 50p LDR, то есть, отображение LDR с частотой кадров 50 Гц на этапе ST9, то на этапе ST11 блок 201 управления завершает процесс.
Ниже будет приведено краткое описание работы приемного устройства 200, показанного на фиг. 12. Блок 202 приема принимает транспортный поток TS, содержащийся в радиовещательной волне или сетевом пакете, и переданный из передающего устройства 100. Транспортный поток TS подается на системный декодер 203. Системный декодер 203 извлекает видеопоток из транспортного потока TS. Видеопоток временно накапливается в буфере 204 сжатых данных.
Здесь, в случае двухпотоковой конфигурации (см. фиг. 10), извлекаются два видеопотока, то есть, основной видеопоток, включающий в себя данные Cb кодированного изображения данных базового формата изображения, и расширенный видеопоток, включающий в себя данные Ch1, Ch2 и Ch3 кодированного изображения данных формата изображения высокого качества. Кроме того, в случае однопоточной конфигурации (см. фиг. 11), извлекается один видеопоток, включающий в себя данные Cb кодированного изображения данных базового формата изображения и данные Ch1, Ch2 и Ch3 кодированного изображения формата высокого качества.
Дополнительно, системный декодер 203 извлекает различную информацию, вставленную в уровень контейнера (транспортный поток), и передает полученную информацию в блок 201 управления. Дескриптор масштабируемого расширения также содержится в этой информации. На основании этого дескриптора блок 201 управления может определить формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения (в данном варианте осуществления «nuh_layer_id» заголовка NAL блока).
Когда блок 210 отображения не может выполнять отображение изображения с высокой частотой кадров и отображение изображения расширенного динамического диапазона, то данные Vb в базовом формате изображения подаются из блока 206 LDR электрооптического преобразования в блок 210 отображения. Блок 210 отображения отображает 50p LDR изображения на основании данных Vb базового формата изображения, то есть, LDR данные изображения, чья частота кадров равна 50 Гц.
В этом случае, данные Cb кодированного изображения базового формата, в котором «nuh_layer_id» заголовка NAL блока является «0», избирательно извлекаются из буфера 204 сжатых данных и подаются в блок 205-0 декодирования. Блок 205-0 декодирования выполняет процесс декодирования данных Cb кодированного изображения и генерирует данные Vb’ базового формата изображения. Данные Vb’ базового формата изображения подаются в блок 206 LDR электронно-оптического преобразования. Блок 206 LDR электронно-оптического преобразования выполняет электрооптическое преобразование данных Vb’ в базовом формате изображения и получает данные Vb базового формата изображения и поставляет данные Vb базового формата изображения в блок 210 отображения.
Дополнительно, когда блок 210 отображения может выполнять отображение изображения с высокой частотой кадров, но не может выполнять отображение изображение расширенного динамического диапазона, данные Vh1 в формате изображения высокого качества подаются из блока 207 LDR электронно-оптического преобразования в блок 210 отображения. Изображение, основанное на данных Vh1 формата изображения высокого качества, то есть, LDR данных изображения, частота кадров которого равна 100 Гц, отображается на блоке 210 отображения.
В этом случае, когда данные Cb кодированного изображения базового формата, в котором «nuh_layer_id» заголовка NAL блока равен «0», избирательно извлекаются из буфера 204 сжатых данных и подаются в блок 205-0 декодирования. Блок 205-0 декодирования выполняет процесс декодирования данных Cb кодированного изображения и генерирует данные Vb’ базового формата изображения.
Дополнительно, данные Ch1 кодированного изображения расширения частоты кадров, в котором «nuh_layer_id» заголовка NAL блока равно «2», селективно извлекают из буфера 204 сжатых данных и подаются в блок 205-1 декодирования. Блок 205-1 декодирования выполняет процесс декодирования данных Ch1 кодированного изображения со ссылкой на данные Vb’ базового формата изображения и генерирует данные Vh1’ формата изображения высокого качества.
Данные Vh1’ в формате изображения высокого качества, генерируемые блоком 205-1 декодирования, подаются в блок 207 LDR электрооптического преобразования. Блок 207 LDR электрооптического преобразования выполняет процесс электрооптического преобразования данных Vh1’ формата изображения высокого качества, получает данные Vh1 в формате изображения высокого качества и поставляет данные Vh1 формата изображения высокого качества в блок 210 отображения.
Кроме того, когда блок 210 отображения не может выполнять отображение изображения высокой частоты кадров, но в состоянии отображения изображения высокого динамического диапазона, данные Vh2 в формате изображения высокого качества подаются из блока 208 HDR электрооптического преобразователя в блок 210 отображения. Изображение, основанное на данных Vh2 формата изображения высокого качества, то есть, HDR данные изображения, чья частота кадров равна 50 Гц, отображается на блоке 210 отображения.
В этом случае, данные Cb кодирования изображения базового формата, в котором «nuh_layer_id» заголовка NAL блока равна «0», избирательно извлекаются из буфера 204 сжатых данных и подаются в блок 205-0 декодирования. Блок 205-0 декодирования выполняет процесс декодирования данных Cb кодированного изображения и генерирует данные Vb’ базового формата изображения.
Дополнительно, данные Ch2 кодированного изображения расширения динамического диапазона, в котором «nuh_layer_id» заголовка NAL блока равна «4», селективно извлекаются из буфера 204 сжатых данных и подаются в блок 205-2 декодирования. Блок 205-2 декодирования выполняет процесс декодирования данных Ch2 кодированного изображения со ссылкой на данные Vb’ базового формата изображения и генерирует данные Vh2’ формата изображения высокого качества.
Данные Vh2’ в формате изображения высокого качества, генерируемые блоком 205-2 декодирования, подаются в блок 208 HDR электронно-оптического преобразования. Блок 208 HDR электронно-оптического преобразования выполняет процесс электрооптического преобразования данных Vh2’ формата изображения высокого качества данные, получает данные Vh2 в формате изображения высокого качества и передает данные Vh2 в формате изображения высокого качества в блок 210 отображения.
Кроме того, когда блок 210 отображения может выполнять как отображение изображения высокой частоты кадров и отображение изображения расширенного динамического диапазона, то данные Vh3 в формате изображения высокого качества подаются из блока 209 HDR электронно-оптического преобразования в блок 210 отображения. Изображение, основанное на данных Vh3 формата изображения высокого качества, то есть, HDR данные изображения с частотой кадра равной 100 Гц, отображаются на блоке 210 отображения.
В этом случае, данные Cb кодированного изображения базового формата, в котором «nuh_layer_id» заголовка NAL блока равен «0», избирательно извлекаются из буфера 204 сжатых данных и подаются в блок 205-0 декодирования. Блок 205-0 декодирования выполняет процесс декодирования данных Cb кодированного изображения и генерирует данные Vb’ базового формата изображения.
Кроме того, данные Ch2 кодированного изображения расширения динамического диапазона, в котором «nuh_layer_id» заголовка NAL блока равен «4», селективно извлекаются из буфера 204 сжатых данных и подаются в блок 205-2 декодирования. Блок 205-2 декодирования выполняет процесс декодирования данных Ch2 кодированного изображения со ссылкой на данные Vb’ базового формата изображения и генерирует данные Vh2’ формата изображения высокого качества.
Кроме того, данные Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона, в котором «nuh_layer_id» заголовка NAL блока равен «6», селективно извлекаются из буфера 204 сжатых данных и подаются в блок 205-3 декодирования. Блок 205-3 декодирования выполняет процесс декодирования данных Ch2 кодированного изображения со ссылкой на данные Vh2’ формата изображения высокого качества и генерирует данные Vh3’ в формате изображения высокого качества.
Данные Vh3’ в формате изображения высокого качества, генерируемые блоком 205-3 декодирования, подаются в блок 209 HDR электронно-оптического преобразования. Блок 209 HDR электронно-оптического преобразования выполняет процесс электронно-оптического преобразования данных Vh3’ формата изображения высокого качества и получает данные Vh3 в формате изображения высокого качества и передает данные Vh3 в формате изображения высокого качества в блоку 210 отображения.
Как было описано выше, в приемопередающей системе 10, показанной на фиг. 1, передающее устройство 100 вставляет идентификационную информацию, идентифицирующую соответствующий формат в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного количества блоков данных формата изображения высокого качества. Таким образом, сторона приема выборочно выполняет процесс декодирования заранее определенных данных кодированного изображения на основании идентификационной информации и, следовательно, может легко получить данные изображения в зависимости от функциональных характеристик дисплея.
Кроме того, в приемопередающей системе 10, показанной на фиг. 1, передающее устройство 100 вставляет информацию, которая определяет формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения в слой контейнера. Таким образом, сторона приема может определить формат данных кодированного изображения, обозначенный информацией идентификации, вставленной заранее в данные кодированного изображения в слое контейнера.
2. Модифицированные примеры
Следует отметить, что приведенный выше вариант осуществления изобретения был описан в связи с примером, в котором идентификационная информация вставляется в данные кодированного изображения, используя поле «nuh_layer_id» заголовка NAL блока, но могут быть использованы два поля «nuh_layer_id» и «nuh_temporal_id_plus1».
Например, «nuh_layer_id» и «nuh_temporal_id_plus1» данных Cb, Ch1, Ch2 и Ch3 кодированного изображения установлены, например, как это показано на фиг. 17. Другими словами, для данных Cb кодированного изображения базового формата, «nuh_layer_id» установлен на «0» и «nuh_temporal_id_plus1» установлен на «1-6». Кроме того, для данных Ch1 кодированного изображения расширения частоты кадров «nuh_layer_id» установлен на «0» и «nuh_temporal_id_plus1» установлен на «7».
Кроме того, для данных Ch2 кодированного изображения расширения динамического диапазона «nuh_layer_id» установлен на «4» и «nuh_temporal_id_plus1» установлен на «1-6». Кроме того, для данных Ch3 кодированного изображения расширения частоты кадров и расширения динамического диапазона «nuh_layer_id» установлен на «4» и «nuh_temporal_id_plus1» установлен на «7».
В этом случае, дескриптор масштабируемого расширения (см. фиг. 7) устанавливается следующим образом. Другими словами, в случае двухпотоковой конфигурации, когда данные Сh2 и Сh3 кодированного изображения содержатся в расширенном видеопотоке, «Extended_spatial_resolution_flag», «Extended_bit_depth_flag» и «Extended_color_gamut_flag» установлены на «0» и «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1». Кроме того, «number_of_layer Ids» установлен на «3» и «4» и «4» устанавливаются в порядке, как «LayerId».
Посредством такой установки, «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «7» определены для указания данных кодированного изображения расширения частоты кадров. Далее, «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-6» определяются для указания данных кодированного изображения расширения динамического диапазона. Кроме того, «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «7» определены для указания данных кодированного изображения расширения частоты кадров и расширения динамического диапазона.
Кроме того, в случае однопотоковой конфигурации, если кодированные данные Cb, Ch1, Ch2 и Ch3 содержатся в расширенном видеопотоке, то «Extended_spatial_resolution_flag», «Extended_bit_depth_flag» и «Extended_color_gamut_flag» установлены на «0» и «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1». Кроме того, «number_of_layerIDs» установлен на «4» и «0», «0», «4» и «4» устанавливаются в порядке, как «LayerId».
Посредством этой установки «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6» определяются для указания данных кодированного изображения базового формата. Кроме того, «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «7» определены для указания данных кодированного изображения расширения частоты кадров. Далее, «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-6» определяются для указания данных кодированного изображения расширения динамического диапазона. Кроме того, «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «7» определены для указания данных кодированного изображения расширения частоты кадров и расширения динамического диапазона.
Фиг. 18 иллюстрирует отношение соответствия между значениями «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока и описанием дескриптора масштабируемого расширения. Другими словами, данные кодированного изображения базового формата (основной компонент) «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6» содержатся в потоке, «0» установлен как «LayerId». Кроме того, данные кодированного изображения расширения частоты кадров (компонент расширения частоты кадров) «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «7» содержатся в потоке, «Extended_spatial_resolution_flag» установлен на «1» и «0» установлен как «LayerId».
Кроме того, данные кодированного изображения расширения динамического диапазона (компонент расширения частоты кадров) «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-6» содержатся в потоке, «Extended_dynamic_range_flag» установлен на «1» и «4» установлен как «LayerId». Кроме того, данные кодированного изображения расширения частоты кадров и расширения динамического диапазона (компонент расширения частоты кадров и компонент расширения динамического диапазона) «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «7» содержатся в потоке, «Extended_frame_rate_flag» и «Extended_dynamic_range_flag» установлены на «1» и «4» установлен как «LayerId».
Блок-схема на фиг. 19 иллюстрирует пример способа, в котором блок 201 управления определяет диапазон декодирования на основании информации о возможностях дисплея (информация о функциональных характеристиках дисплея), когда используются два поля, то есть, «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока для вставки информации идентификации в данные кодированного изображения, как описано выше.
На этапе ST21, блок 201 управления запускает процесс. Затем, на этапе ST22 блок 201 управления определяет «nuh_layer_id» и «nuh_temporal_id_plus1» каждого формата со ссылкой на дескриптор масштабируемого расширения.
Здесь, «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6» определяются в базовом формате, «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «7» определяются в расширении частоты кадров, «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-6» определяются в расширении динамического диапазона и «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «7» определяются в расширении частоты кадров и расширении динамического диапазона.
Затем, на этапе ST23 блок 201 управления определяет, возможно ли или нет выполнить отображение 100p HDR, то есть, отображение HDR, частота кадров которого составляет 100 Гц. Когда можно выполнять отображение 100p HDR, то есть, отображение HDR, частота кадров которого составляет 100 Гц на этапе ST24, блок 201 управления устанавливает данные Cb кодированного изображения «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6» и данные Сh2 и Сh3 кодированного изображения «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-7» в качестве диапазона декодирования и затем, на этапе ST31, блок 201 управления завершает процесс.
Когда трудно выполнить отображение 100p HDR, то есть, отображение HDR, частота кадров которого составляет 100 Гц, на этапе ST23 на этапе ST25, блок 201 управления определяет, возможно ли или нет выполнить отображение 50p HDR, то есть, отображение HDR, частота кадров которого равна 50 Гц. Когда можно выполнять отображение 50p HDR, то есть, отображение HDR, частота кадров которого равна 50 Гц, на этапе ST26, то блок 201 управления устанавливает данные Cb кодированного изображения «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6» и данные Ch2 кодированного изображения «nuh_layer_id» = «4» и «nuh_temporal_id_plus1» = «1-6» в качестве диапазона декодирования, и затем, на этапе ST31 блок 201 управления завершает процесс.
Когда трудно выполнить отображение 50p HDR, то есть, отображение HDR, частота кадров которого равна 50 Гц, на этапе ST25, то на этапе ST27 блок 201 управления определяет, возможно ли или нет выполнить отображение 100p LDR, то есть, отображение LDR, частота кадров которого составляет 100 Гц. Когда можно выполнять отображение 100p LDR, то есть, отображение LDR, частота кадров которого составляет 100 Гц, на этапе ST28 блок 201 управления устанавливает данные Cb и Ch1 кодированного изображения «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-7» в качестве диапазона декодирования и затем на этапе ST31 блок 201 управления завершает процесс.
Когда трудно выполнить отображение 100p LDR, то есть, отображение LDR, частота кадров которого составляет 100 Гц, на этапе ST27, то на этапе ST29 блок 201 управления определяет, возможно ли или нет выполнить отображение 50p LDR, то есть, отображение LDR, частота кадров которого равна 50 Гц. Когда можно выполнять отображение 50p LDR, то есть, отображение LDR, частота кадров которого равна 50 Гц, на этапе ST30 блок 201 управления устанавливает данные Cb кодированного изображения «nuh_layer_id» = «0» и «nuh_temporal_id_plus1» = «1-6», как диапазон декодирования и затем на этапе ST31 блок 201 управления завершает процесс. Следует отметить, что, когда трудно выполнить отображение 50p LDR, то есть, отображение LDR, частота кадров которого равна 50 Гц, на этапе ST29, то на этапе ST31 блок 201 управления завершает процесс.
Кроме того, в описанном выше варианте осуществления была описана приемопередающая система 10, включающая в себя передающее устройство 100 и приемное устройство 200, но конфигурация приемопередающей системы, к которой может быть применено настоящее изобретения, этим не ограничивается. Например, часть приемного устройства 200 может быть конфигурацией, такой как телеприставка и монитор, которые соединены с помощью цифрового интерфейса, такого как мультимедийный интерфейс высокой четкости (HDMI). В этом случае, телеприставка может получать информацию о возможностях отображения путем получения данных идентификации расширенных возможностях дисплея (EDID) из монитора, например. Обратите внимание, что «HDMI» является зарегистрированной торговой маркой.
Кроме того, в вышеупомянутом варианте осуществления был описан пример, в котором контейнер является транспортным потоком (TS MPEG-2). Тем не менее, настоящее изобретение может быть применено так же к системе, имеющей конфигурацию, в которой доставка данных на приемный терминал выполняется с помощью сети, такой как интернет. В интернет-доставке, доставка обычно осуществляется с помощью MP4 или любого другого формата контейнера. Другими словами, контейнеры различных форматов, такие как транспортный поток (TS MPEG-2), используемый в цифровом стандарте вещания, или MP4, используемый в интернет-доставке, используются в качестве контейнера.
Дополнительно, настоящее изобретение может иметь следующие конфигурации.
(1) Передающее устройство включает в себя:
блок кодирования изображения, который генерирует основной видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
блок передачи, который передает контейнер предварительно определенного формата, включающий в себя основной видеопоток и расширенный видеопоток, генерируемый блоком кодирования изображения,
в котором блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
(2) Передающее устройство по п. (1), в котором данные кодированного изображения имеет структуру NAL блока, и блок кодирования изображения вставляет информацию идентификации в заголовок NAL блока.
(3) Передающее устройство по п. (2), в котором блок кодирования изображения вставляет информацию идентификации, используя поле «nuh_layer_id» заголовка NAL блока.
(4) Передающее устройство по п. (2), в котором блок кодирования изображения вставляет информацию идентификации, используя поля «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока.
(5) Передающее устройство по любому из п.п. (1)- (4) дополнительно включает в себя блок вставки информации, который вставляет информацию, определяющую формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения в уровень контейнера.
(6) Передающее устройство по п. (5), в котором контейнер представляет собой MPEG-2 TS, и блок вставки информации вставляет информацию в цикл элементарного видеопотока, соответствующий видеопотоку согласно таблице состава программ.
(7) Способ передачи включает в себя:
этап кодирования изображения для генерирования основного потока видео, включающий в себя данные кодированного изображения данных в базовом формате изображения, и расширенного потока видеоданных, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
этап передачи для передачи посредством блока передачи контейнера заранее определенного формата, включающего в себя основной видеопоток и расширенный видеопоток, сгенерированный на этапе кодирования изображения,
в котором этап кодирования изображения, включающий в себя вставку информации идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
(8) Приемной устройство включает в себя:
блок приема, который принимает контейнер заранее заданного формата, включающий в себя основной видеопоток, включающий в себя данные кодированного изображения данных базового формата изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения каждого из заданного количества блоков данных формата изображения высокого качества,
в котором идентификационная информация, идентифицирующая соответствующий
формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества; и
блок обработки, который обрабатывает видеопотоки, содержащиеся в принятом контейнере, на основании информации идентификации и информации о функциональных характеристиках дисплея.
(9) Приемное устройство по п. (8), в котором данные кодированного изображения имеет структуру NAL блока, и идентификационная информация вставляется в заголовок NAL блока.
(10) Приемное устройство по п. (8) или п. (9),
в котором информация, определяющая формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, вставляется в уровень контейнера, и
блок обработки определяет формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
(11) Передающее устройство включает в себя:
блок кодирования изображения, который генерирует видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения, и данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
блок передачи, который передает контейнер предварительно определенного формата, включающий в себя видеопоток, сгенерированный блоком кодирования изображения,
в котором блок кодирования изображения вставляет информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
(12) Передающее устройство по п. (11), в котором данные кодированного изображения имеет структуру NAL блока, и блок кодирования изображения вставляет информацию идентификации в заголовок NAL блока.
(13) Передающее устройство по п. (12), в котором блок кодирования изображения вставляет информацию идентификации, используя поле «nuh_layer_id» заголовка NAL блока.
(14) Передающее устройство по п. (12), в котором блок кодирования изображения вставляет информацию идентификации, используя поля «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка NAL блока.
(15) Передающее устройство по п.п. (11)-(14) дополнительно включает в себя блок вставки информации, который вставляет информацию, определяющую формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения в уровень контейнера.
(16) Передающее устройство по п. (15), в котором контейнер представляет собой MPEG-2 TS, и блок вставки информации вставляет информацию в цикл элементарного видеопотока, соответствующий видеопотоку согласно таблице состава программ.
(17) Способ передачи включает в себя:
этап кодирования изображения для генерирования видеопотока, включающий в себя данные кодированного изображения данных в базовом формате изображения и данные изображения каждого из заданного количества блоков данных в формате изображения высокого качества; и
этап передачи для передачи посредством блока передачи контейнера предварительно определенного формата, включающего в себя видеопоток, сгенерированный на этапе кодирования изображения,
в котором этап кодирования изображения включает в себя вставку идентификационной информации, идентифицирующую соответствующий формат, в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества.
(18) Приемное устройство включает в себя:
блок приема, который принимает контейнер с заранее определенным форматом, включающий в себя видеопоток, включающий в себя данные кодированного изображения данных в базовом формате изображения, и данные кодированного изображения каждого из заданного количества блоков данных в формате изображения высокого качества,
в котором идентификационная информация, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного числа блоков данных в формате изображения высокого качества; и
блок обработки, который обрабатывает видеопоток, содержащийся в принятом контейнере, на основании информации идентификации и информации о функциональных возможностях дисплея.
(19) Приемное устройство по п. (18), в котором данные кодированного изображения имеет структуру NAL блока, и идентификационная информация вставляется в заголовок NAL блока.
(20) Приемное устройство по п. (18) или п. (19),
в котором информация определения формата данных кодированного изображения, обозначенного информацией идентификации, вставленной в данные кодированного изображения, вставляется в уровень контейнера, и
блок обработки определяет формат данных кодированного изображения, обозначенный информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
Один из главных признаков настоящего изобретения заключается в том, что информация идентификации, идентифицирующая соответствующий формат, вставляется в данные кодированного изображения данных базового формата изображения и каждый из заранее заданного количества блоков данных формата изображения высокого качества, и результирующие данные передаются и, таким образом, сторона приема может легко получить данные изображения в соответствии с возможностью отображения путем выборочного выполнения процесса декодирования на заранее определенных данных кодированного изображения (см. фиг. 10 и фиг. 11).
Перечень условных обозначений
10 Приемопередающая система
100 Передающее устройство
101 Блок управления
102, 103 LDR блок фотоэлектрического преобразования
104, 105 HDR блок фотоэлектрического преобразования
106 Видеокодер
106-0, 106-1, 106-2, 106-3 Блок кодирования
107 Системный кодер
108 Блок передачи
150 Блок генерирования данных изображения
151 HDR камера
152, 154 Блок преобразования частоты кадров
153 Блок преобразования динамического диапазона
160 Блок кодирования
161 Блок внутриуровневого предсказания
162 Блок межуровневого предсказания
163 Блок регулировки предсказания
164 Блок выбора
165 Блок функции кодирования
200 Приемное устройство
201 Блок управления
202 Блок приема
203 Системный декодер
204 Буфер сжатых данных
205 Видеодекодер
205-0, 205-1, 205-2, 205-3 Блок декодирования
206, 207 Блок LDR электронно-оптического преобразования
208, 209 HDR блок электронно-оптического преобразования
210 Блок отображения
250 Блок декодирования
251 Блок функции декодирования
252 Блок внутриуровневого предсказания с компенсацией
253 Блок межуровневого предсказания с компенсацией
254 Блок регулировки предсказания
255 Блок выбора
Изобретение относится к передающему устройству, которое передает заранее определенное количество блоков данных изображения в формате изображения высокого качества вместе с данными базового формата изображения. Техническим результатом является обеспечение успешной передачи заданного количества блоков данных в формате изображения высокого качества вместе с данными базового формата изображения. Предложено генерировать основной видеопоток, включающий в себя данные кодированного изображения для данных в базовом формате изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения для каждого из заданного количества элементов данных в формате изображения высокого качества, или генерирования видеопотока, включающего в себя данные кодированного изображения для данных в базовом формате изображения и данные кодированного изображения для каждого из заданного количества блоков данных в формате изображения высокого качества. Передается контейнер заданного формата, включающий в себя сгенерированный видеопоток. Идентификационная информация соответствующего формата вставлена в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества. 6 н. и 10 з.п. ф-лы, 19 ил.
1. Передающее устройство, содержащее:
блок кодирования изображения, выполненный с возможностью генерировать основной видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества; и
блок передачи, выполненный с возможностью передачи контейнера заданного формата, включающего в себя основной видеопоток и расширенный видеопоток, генерируемые блоком кодирования изображения,
при этом блок кодирования изображения выполнен с возможностью вставки информации идентификации, идентифицирующей соответствующий формат, в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества, и
данные кодированного изображения имеют структуру блока NAL, при этом блок кодирования изображения выполнен с возможностью вставки информации идентификации в заголовок блока NAL.
2. Передающее устройство по п. 1, в котором блок кодирования изображения выполнен с возможностью вставки информации идентификации с использованием поля «nuh_layer_id» заголовка блока NAL.
3. Передающее устройство по п. 1, в котором блок кодирования изображения выполнен с возможностью вставки информации идентификации с использованием полей «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка блока NAL.
4. Передающее устройство по п. 1, дополнительно содержащее блок вставки информации, выполненный с возможностью вставки информации, задающей формат данных кодированного изображения в уровень контейнера, причем формат данных кодированного изображения указан информацией идентификации, вставленной в данные кодированного изображения.
5. Передающее устройство по п. 4, в котором контейнер представляет собой MPЕG-2-TS, при этом блок вставки информации выполнен с возможностью вставки информации в цикл элементарного видеопотока, соответствующий видеопотоку согласно таблице состава программ.
6. Способ передачи, содержащий:
этап кодирования изображения, на котором генерируют, посредством блока кодирования изображения, основной видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества; и
этап передачи, на котором передают, посредством блока передачи, контейнер заданного формата, включающий в себя основной видеопоток и расширенный видеопоток, сгенерированные на этапе кодирования изображения,
при этом на этапе кодирования изображения вставляют информацию идентификации, идентифицирующую соответствующий формат, в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества, и
данные кодированного изображения имеют структуру блока NAL, при этом блок кодирования изображения вставляет информацию идентификации в заголовок блока NAL.
7. Приемное устройство, содержащее:
блок приема, выполненный с возможностью приема контейнера заданного формата, включающего в себя основной видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения, и расширенный видеопоток, включающий в себя данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества,
при этом в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества вставлена идентификационная информация, идентифицирующая соответствующий формат, причем данные кодированного изображения имеют структуру блока NAL, а идентификационная информация вставлена в заголовок блока NAL, и
блок обработки, выполненный с возможностью обработки видеопотоков, содержащихся в принятом контейнере, на основании информации идентификации и информации о функциональных характеристиках дисплея.
8. Приемное устройство по п. 7,
в котором в уровень контейнера вставлена информация, задающая формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения,
при этом блок обработки выполнен с возможностью определения формата данных кодированного изображения, указанного информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
9. Передающее устройство, содержащее:
блок кодирования изображения, выполненный с возможностью генерировать видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения и данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества; и
блок передачи, выполненный с возможностью передачи контейнера заданного формата, включающего в себя видеопоток, сгенерированный блоком кодирования изображения,
при этом блок кодирования изображения выполнен с возможностью вставки информации идентификации, идентифицирующей соответствующий формат, в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества, и
данные кодированного изображения имеют структуру блока NAL, при этом блок кодирования изображения выполнен с возможностью вставки информации идентификации в заголовок блока NAL.
10. Передающее устройство по п. 9, в котором блок кодирования изображения выполнен с возможностью вставки информации идентификации с использованием поля «nuh_layer_id» заголовка блока NAL.
11. Передающее устройство по п. 9, в котором блок кодирования изображения выполнен с возможностью вставки информации идентификации с использованием полей «nuh_layer_id» и «nuh_temporal_id_plus1» заголовка блока NAL.
12. Передающее устройство по п. 9, дополнительно содержащее блок вставки информации, выполненный с возможностью вставки информации, задающей формат данных кодированного изображения, в уровень контейнера, причем формат данных кодированного изображения указан информацией идентификации, вставленной в данные кодированного изображения.
13. Передающее устройство по п. 12, в котором контейнер представляет собой MPEG2-TS, при этом блок вставки информации выполнен с возможностью вставки информации в цикл элементарного видеопотока, соответствующий видеопотоку согласно таблице состава программ.
14. Способ передачи, содержащий:
этап кодирования изображения, на котором генерируют видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения и данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества; и
этап передачи, на котором передают, посредством блока передачи, контейнер заданного формата, включающий в себя видеопоток, сгенерированный на этапе кодирования изображения,
при этом на этапе кодирования изображения вставляют идентификационную информацию, идентифицирующую соответствующий формат, в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества, и
данные кодированного изображения имеют структуру блока NAL, при этом блок кодирования изображения вставляет информацию идентификации в заголовок блока NAL.
15. Приемное устройство, содержащее:
блок приема, выполненный с возможностью приема контейнера заданного формата, включающего в себя видеопоток, включающий в себя данные кодированного изображения для данных базового формата изображения и данные кодированного изображения для каждого из заданного количества элементов данных формата изображения высокого качества,
при этом в данные кодированного изображения для данных базового формата изображения и для каждого из заданного количества элементов данных формата изображения высокого качества вставлена идентификационная информация, идентифицирующая соответствующий формат, причем данные кодированного изображения имеют структуру блока NAL, и идентификационная информация вставлена в заголовок блока NAL; и
блок обработки, выполненный с возможностью обработки видеопотока, содержащегося в принятом контейнере, на основании информации идентификации и информации о функциональных возможностях дисплея.
16. Приемное устройство по п. 15,
в котором информация, задающая формат данных кодированного изображения, указанный информацией идентификации, вставленной в данные кодированного изображения, вставлен в уровень контейнера,
при этом блок обработки выполнен с возможностью определения формата данных кодированного изображения, указанного информацией идентификации, вставленной в данные кодированного изображения, на основании информации, вставленной в уровень контейнера.
| WO 2014034463 A1, 2014-03-06 | |||
| WO 2014002914 A1, 2014-01-03 | |||
| US 2014098897 A1, 2014-04-10 | |||
| СИСТЕМЫ КОДИРОВАНИЯ | 2008 |
|
RU2501179C2 |
| US 2014086333 A1, 2014-03-27 | |||
| СПОСОБ, УСТРОЙСТВО И СИСТЕМА ДЛЯ ЭФФЕКТИВНОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕОДАННЫХ | 2006 |
|
RU2377735C2 |
