Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству передачи, способу передачи, устройству приема и способу приема и более конкретно, к устройству передачи и другим передающим устройствам для передачи видеоданных, полученные путем применения кривой гамма-распределения.
Уровень техники
Виртуальная реальность высококачественного изображения улучшается путем повышения способности синхронного воспроизведения для синхронного воспроизведения минимального уровня яркости и максимального уровня яркости в момент отображения изображения. Эта способность синхронного воспроизведения иногда называется динамическим диапазоном отображения.
Обычный стандарт был установлен для значения яркости белого 100 cd/m2 для всех случаях применения, от камеры формирования изображений до контрольного дисплея. Кроме того, была установлена величина обычной передачи на 8-битовую передачу (репрезентативные градации: от 0 до 255) в качестве предварительного условия. Репрезентативные градации были расширены с помощью использования 10-битовой передачи или больше битовой передачи, например. Гамма-коррекция, дополнительно известная, как коррекция гамма характеристик дисплея, достигается посредством ввода данных, имеющих характеристики, противоположные характеристикам дисплея.
Например, непатентный документ 1 описывает передачу видеопотока, сгенерированного с помощью кодирования данных передачи видеосигнала, которые были получены путем применения кривой гамма-распределения к входным видеоданным, имеющие уровни от 0 до 100%*N (N: больше, чем 1), например.
Перечень ссылок
Непатентный документ
Непатентный документ 1: Высокоэффективное кодирования видео (HEVC) текст спецификации проекта 10 (для FDIS&Last Call)
Раскрытие изобретения
Технические задачи, решаемые с помощью изобретения
Задачей настоящего изобретения является реализация дисплея с соответствующим динамическим диапазоном яркости на принимающей стороне.
Решения технической задачи
Концепция технологии настоящего изобретения относится к устройству передачи, включающему в себя:
блок обработки, который применяет кривую гамма-распределения к входным видеоданным, имеющие диапазон уровней от 0% до 100%*N (N: число больше, чем 1), чтобы получить данные передачи видеосигнала; и
блок передачи, который передает данные передачи видеосигнала вместе со вспомогательной информацией, используемой для преобразования высокого уровня яркости на приемной стороне.
В соответствии с настоящим изобретением, блок обработки применяет кривую гамма-распределения к входным видеоданным, имеющие диапазон уровней от 0% до 100%*N (N: число, большее, чем 1), чтобы получить видеоданные передачи. Блок передачи передает данные передачи видеосигнала вместе со вспомогательной информацией, используемой для преобразования высокого уровня яркости на приемной стороне. Например, блок передачи может передавать контейнер в заданном формате, который содержит видеопоток, полученный путем кодирования данных передачи видеосигнала. Может быть предусмотрен блок вставки вспомогательной информации, который вставляет вспомогательную информацию на уровень видеопотока и/или уровень контейнера.
Например, в соответствии с настоящим изобретением, блок обработки может дополнительно выполнить процесс преобразования уровня выходных видеоданных, полученных с применением кривой гамма-распределения входных видеоданных, уровень которых соответствует уровню входных видеоданных в диапазоне от 100% до 100%*N, в уровень, соответствующий 100% входных видеоданных, с тем, чтобы получить данные передачи видеосигнала. В этом случае, вспомогательная информация может содержать информацию о фильтре, примененного к данным пикселя данным передачи видеосигнала на уровне, соответствующем 100% входных видеоданных.
Например, в соответствии с настоящим изобретением, блок обработки может дополнительно выполнить процесс преобразования уровня выходных видеоданных, полученных с применением кривой гамма-распределения входных видеоданных, уровень которых соответствует уровню входных видеоданных в диапазоне от порогового значения, равного или меньшего, чем уровень, соответствующий 100% до 100%*N, в уровень в диапазоне от порогового до уровня, соответствующего 100% входных видеоданных, так, чтобы получить данные передачи видеосигнала.
В этом случае, вспомогательная информация может содержать информацию о фильтре, примененного к данным пикселя данным передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных. Альтернативно, в этом случае, вспомогательная информация может содержать информацию о кривой преобразования, примененной к данным пикселя данным передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входным видеоданным.
В соответствии с настоящим изобретением, блок обработки может использовать выходные видеоданные в качестве данных передачи видеосигнала без изменения, которые выходные видеоданные получены посредством применения кривой гамма-распределения к входным видеоданным. В этом случае, вспомогательная информация может содержать информацию о кривой преобразования, применяемой к стороне высокого уровня данных передачи видеосигнала.
В соответствии с настоящим изобретением, таким образом, данные передачи видеосигнала, полученные с применением кривой гамма-распределения к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N, передаются вместе со вспомогательной информации, используемой для преобразования высокого уровня яркости на приемной стороне. Соответственно, принимающая сторона может преобразовывать высокий уровень яркости данных передачи видеосигнала на основании вспомогательной информации.
Например, видеоданные с высоким динамическим диапазоном можно получить путем преобразования данных передачи видеосигнала с низким динамическим диапазоном, имеющим уровень, соответствующий 100% уровня входных видеоданных, как максимальный уровень, так что максимальный уровень становится высоким. Кроме того, видеоданные с низким динамическим диапазоном, например, могут быть получены путем преобразования данных передачи видеосигнала с высоким динамическим диапазоном, имеющим уровень, соответствующий 100% уровня * N входных видеоданных, как максимальный уровень, так что максимальный уровень становится низким. Соответственно, дисплей с соответствующим динамическим диапазоном яркости реализуется на приемной стороне.
Например, в соответствии с настоящим изобретением, может быть предусмотрен блок вставки информации идентификации. Этот блок вставки информации идентификации вставляет в уровень контейнера информацию идентификации, которая указывает, что вспомогательная информация была вставлена в уровень видеопотока. В этом случае, принимающая сторона способна распознавать вставку вспомогательной информации в этот видеопоток без необходимости декодирования видеопотока и, следовательно, соответствующим образом извлечь вспомогательную информацию из видеопотока.
Другая концепция настоящего изобретения направлена на устройство приема, включающее в себя:
блок приема, который принимает данные передачи видеосигнала, полученные с применением кривой гамма-распределения к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N (N: число, большее, чем 1); и
блок обработки, который преобразует диапазон уровней высокоуровневой стороны данных передачи видеосигнала, так что максимальный уровень становится заранее определенным уровнем на основании вспомогательной информации, принятой совместно с данными передачи видеосигнала.
В соответствии с настоящим изобретением, блок приема принимает данные передачи видеосигнала. Эти данные передачи видеосигнала получается путем применения кривой гамма-распределения к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N (N: число, большее, чем 1). Блок обработки преобразует диапазон уровней высокоуровневой стороны данных передачи видеосигнала так, что максимальный уровень становится заранее определенным уровнем на основании вспомогательной информации, принятой совместно с данными передачи видеосигнала.
Например, блок обработки может определять заданный уровень на основании информации о N и информации о динамическом диапазоне яркости монитора, содержащейся во вспомогательной информации. Например, блок приема передает контейнер в заданном формате, который содержит видеопоток, полученный путем кодирования данных передачи видеосигнала. Например, вспомогательная информация вставляется в уровень видеопотока.
Например, в соответствии с настоящим изобретением, данные передачи видеосигнала могут быть видеоданными, полученные путем дополнительного выполнения процесса для преобразования уровня выходных данных видеосигнала, полученных с применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от 100% до 100%*N, в уровень, соответствующий 100% входным видеоданным. Блок обработки может преобразовывать уровни соответствующих данных пикселя, соответствующих 100% входных видеоданных, в уровни в диапазоне от уровня, соответствующего 100% входных видеоданных, в заданный уровень, путем применения фильтра, указанного в информации фильтра, содержащейся во вспомогательной информации.
В соответствии с настоящим изобретением, видеоданные передачи могут быть видеоданными, полученные путем дополнительного выполнения процесса преобразования уровня выходных данных видеосигнала, полученных с применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных данных видеосигнала в диапазоне от порогового значения, равного или меньшего, чем уровень, соответствующий 100% до 100%*N, в уровень в диапазоне от порогового значения до уровня, соответствующего 100% входным видеоданным. Блок обработки может преобразовывать уровни соответствующих данных пикселя в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, в уровни в диапазоне от порогового значения до заданного уровня, путем применения фильтра, указанного в информации фильтра, содержащейся во вспомогательной информации.
В соответствии с настоящим изобретением, видеоданные передачи могут быть видеоданными, полученные путем дополнительного выполнения процесса преобразования уровня выходных данных видеосигнала, полученных с применением кривой гамма-преобразования к входным видеоданным, чей уровень соответствует уровню входных данных видеосигнала в диапазоне от порогового значения, равного или меньшего, чем уровень, соответствующий 100% до 100%*N, в уровень в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных. Блок обработки может преобразовывать уровни соответствующих данных пикселя в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, в уровни в диапазоне от порогового значения до заданного уровня, путем применения информации о кривой преобразования, содержащейся во вспомогательной информации.
В соответствии с настоящим изобретением, выходные видеоданные могут быть использованы в качестве данных передачи видеосигнала без изменения, которые выходные видеоданные получены с применением кривой гамма-распределения к входным видеоданным. Блок обработки может преобразовывать уровни соответствующих данных пикселя данных передачи видеосигнала в диапазоне от порогового значения, равного или меньшего, чем уровень, соответствующий 100% входных видеоданных, в уровень, соответствующий 100%*N входных видеоданных на уровни в диапазоне от порогового значения до заданного уровня, соответствующих L*100% (L: число, равное или меньше N) входных видеоданных, посредством применения информации кривой преобразования, содержащейся во вспомогательной информации.
В соответствии с настоящим изобретением, соответственно, принимаются данные передачи видеосигнала, полученные с применением кривой гамма-распределения к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N. Затем высокоуровневая сторона диапазона уровней сторона этих данных передачи видеосигнала преобразуется таким образом, что максимальный уровень становится заранее определенным уровнем, на основании вспомогательной информации, принятой вместе с данными передачи видеосигнала. Соответственно, реализуется дисплей с соответствующим динамическим диапазоном яркости, например.
Результаты изобретения
В соответствии с настоящим изобретением, дисплей с соответствующим динамическим диапазоном яркости реализуется на приемной стороне. Эффекты, описанные в данном описании, представлены только в качестве примера и не предусматривают каких-либо ограничений. Другие дополнительные эффекты могут быть получены.
Краткое описание чертежей
Фиг. 1 представляет блок-схему, иллюстрирующую пример конфигурации передающей и приемной систем в соответствии с вариантом осуществления.
Фиг. 2 является видом, иллюстрирующим данные передачи видеосигнала (а), полученные с применением кривой гамма-преобразования.
Фиг. 3 представляет собой вид, иллюстрирующий данные передачи видеосигнала (b), полученные с применением кривой гамма-преобразования.
Фиг. 4 представляет собой вид, иллюстрирующий данные передачи видеосигнала (c), полученные с применением кривой гамма-преобразования.
Фиг. 5 является видом, иллюстрирующим информацию кривой гамма-распределения, вставленную в уровень видеопотока.
Фиг. 6 представляет собой вид, иллюстрирующий процесс преобразования данных (a) передачи видеосигнала, выполняемый на принимающей стороне.
Фиг. 7 представляет собой вид, иллюстрирующий процесс преобразования данных (b) передачи видеосигнала, выполняемый на принимающей стороне.
Фиг. с 8 (а) по 8 (с) иллюстрируют примеры отношений между значениями отсчета сигнала яркости и пиксельными частотами (частотами).
Фиг. 9 представляет собой вид, иллюстрирующий процесс преобразования данных (c) передачи видеосигнала, выполняемый на принимающей стороне.
Фиг.10 является блок-схемой, иллюстрирующей пример конфигурации передающего устройства 100.
Фиг. 11 представляет собой вид, иллюстрирующий блок доступа на заголовке GOP, когда системой кодирования является HEVC.
Фиг. 12 представляет собой вид, иллюстрирующий блок доступа на позиции, отличной от заголовка GOP, когда системой кодирования является HEVC.
Фиг. 13 представляет собой вид, иллюстрирующий пример структуры сообщения SEI информации тонального отображения.
Фиг. 14 представляет собой вид, иллюстрирующий пример структуры сообщения SEI информации тонального отображения.
Фиг. 15 представляет собой вид, иллюстрирующий контент главной информации в примере структуры сообщения SEI информации тонального отображения.
Фиг. 16 представляет собой вид, иллюстрирующий примерную структуру сообщения SEI преобразования HDR.
Фиг. 17 представляет собой вид, иллюстрирующий примерную структуру сообщения SEI преобразования HDR.
Фиг. 18 представляет собой вид, иллюстрирующий пример структуры простого дескриптора HDR.
Фиг. 19 представляет собой вид, иллюстрирующий контент главной информации в примере структуры простого дескриптора HDR.
Фиг. 20 представляет собой вид, иллюстрирующий пример структуры HDR полного дескриптора.
Фиг. 21 представляет собой вид, иллюстрирующий пример структуры дескриптора кривой отображения уровня.
Фиг. 22 представляет собой вид, иллюстрирующий кривую преобразования (кривая отображения) для преобразования уровней высокоуровневой стороны данных передачи видеосигнала.
Фиг. 23 представляет собой вид, схематично иллюстрирующий пример таблицы кривой отображения.
Фиг. 24 представляет собой вид, иллюстрирующий пример конфигурации транспортного потока MPEG2, содержащего различные типы сообщений SEI и дескрипторов.
Фиг. 25 является блок-схемой, иллюстрирующей пример конфигурации приемного устройства.
Фиг. 26 является блок-схемой, иллюстрирующей пример конфигурации HDR блока обработки приемного устройства.
Фиг. с 27 (а) по 27 (d) представляют собой виды, иллюстрирующие процессы соответствующих блоков HDR блока обработки, когда используется информация фильтра.
Фиг. 28 представляет собой вид, иллюстрирующий процесс блока обработки отображения диапазона при использовании информации фильтра.
Фиг. 29 представляет собой вид, иллюстрирующий процесс блока обработки отображения диапазона при использовании информации фильтра.
Фиг. 30 представляет собой вид, иллюстрирующий процесс блока обработки отображения диапазона при использовании информации кривой преобразования.
Фиг. 31 является блок-схемой, иллюстрирующей пример конфигурации системы распределения MPEG-DASH основного потока.
Фиг. 32 представляет собой вид, иллюстрирующий пример отношений между соответствующими структурами, расположенными в MPD файле в иерархическом порядке.
Фиг. с 33 (а) по 33 (с) представляют собой виды, иллюстрирующие структуру спецификации DASH сегментов потока.
Фиг. 34 представляет собой вид, схематично иллюстрирующий информацию в транспортном потоке, информация которого соответствует информации, содержащейся в «Сегменте инициализации», и информации, содержащейся в «Медиа сегменте» в формате данных сегмента, соответствующий MPEG-2TS.
Фиг. 35 является блок-схемой, иллюстрирующей пример конфигурации передающей и приемной системы, которая обрабатывает поток передачи ММТ структуры.
Фиг. 36 изображает вид, иллюстрирующий конфигурацию ММТ пакета в древовидном виде.
Фиг. 37 представляет собой вид, иллюстрирующий пример структуры HDR сообщения дескриптора, имеющего таблицу HDR простого дескриптора.
Фиг. 38 представляет собой вид, иллюстрирующий пример структуры таблицы HDR простого дескриптора.
Фиг. 39 представляет собой вид, иллюстрирующий пример структуры HDR сообщения дескриптора, имеющего таблицу HDR полного дескриптора.
Фиг. 40 представляет собой вид, иллюстрирующий пример структуры HDR таблицы полного дескриптора.
Фиг. 41 представляет собой вид, иллюстрирующий примерную структуру сообщения HDR дескриптора, имеющего таблицу кривой отображения уровня.
Фиг. 42 представляет собой вид, иллюстрирующий пример структуры таблицы кривой отображения уровня.
Осуществление изобретения
Далее будут описаны варианты реализации настоящего изобретения (далее "вариант осуществления"). Описание представлено в следующем порядке.
1. Вариант осуществления
2. Модифицированный пример
1. Вариант осуществления
Пример конфигурации системы передачи и приема
Фиг. 1 иллюстрирует пример конфигурации системы 10 передачи и приема в соответствии с вариантом осуществления. Система 10 передачи и приема состоит из устройства 100 передачи и устройства 200 приема.
Устройство 100 передачи генерирует MPEG2 транспортный поток TS как контейнер, и передает транспортный поток TS, передаваемый по волнам вещания. Транспортный поток TS включает в себя видеопоток, полученный с помощью кодирования данных передачи видеосигнала, к которым была применена кривая гамма-распределения.
Согласно этому варианту осуществления, данные передачи видеосигнала получаются посредством применения кривой гамма-распределения к входным видеоданным с HDR (высоким динамическим диапазоном), которые были получены с помощью камеры формирования изображений, то есть, к входным видеоданным, имеющим диапазон уровней от 0 до 100%*N (N: число больше, чем 1), например. Здесь предполагается, что уровень 100% является уровнем яркости, соответствующий значению яркости белого 100 cd/m2.
Данные передачи видеосигнала включают в себя данные (а) передачи видеосигнала, данные (b) передачи видеосигнала и данные (с) передачи видеосигнала, описанные ниже, например. Данные (а) передачи видеосигнала и данные (b) передачи видеосигнала имеют максимальный уровень, соответствующий 100% уровню входных видеоданных, и представляют собой видеоданные с низким динамическим диапазоном. Данные (с) передачи видеосигнала имеют максимальный уровень, соответствующий 100% уровню * N входных видеоданных, и представляют собой видеоданные с высоким динамическим диапазоном.
"Данные (а) передачи видеосигнала"
Данные (а) передачи видеосигнала описаны здесь со ссылкой на фиг. 2. На этом чертеже, "Диапазон уровней контента данных" обозначает диапазон уровней от 0% до 100%*N входных видеоданных. На этом чертеже "V_100*N" обозначает уровень видеоданных (выходные видеоданные), соответствующие 100%*N уровню входных видеоданных и полученных после применения кривой гамма-распределения. На этом чертеже "V_100" указывает на уровень видеоданных (выходные видеоданные), соответствующие 100% уровню входных видеоданных и полученные после применения кривой гамма-распределения. На этом чертеже, "Диапазон входных пиксельных данных кодера" обозначает диапазон уровней данных передачи видеосигнала от 0 до V_100. Например, градации от 0 до V_100 выражены на основании заранее определенных битов, например, 8 бит.
Данные (а) передачи видеосигнала получают с помощью процесса ограничения (см пунктирная линия b), который дополнительно преобразует уровни выходных видеоданных, которые получены с применением кривой гамма-распределения (см сплошную линию а) к входным видеоданным, и соответствуют уровням входных видеоданных в диапазоне от 100% до 100%*N, в уровни, соответствующие 100% входных видеоданных (V_100). Данные (а) передачи видеосигнала имеют уровни, соответствующие уровням входных видеоданных в диапазоне от 0% до 100%, и составляют видеоданные с низким динамическим диапазоном.
"Данные (b) передачи видеосигнала"
Данные (b) передачи видеосигнала описаны со ссылкой на фиг. 3. На этом чертеже, "Диапазон уровней контента данных", "V_100*N" и "Диапазон входных пиксельных данных кодера" аналогичны соответствующим обозначениям, показанным на фиг. 2. На этом чертеже "V_th" указывает на пороговое значение уровня ограничения (Threshold_clipping_level) в качестве порогового значения, равного или меньшего, чем уровень, соответствующий 100% уровню входных видеоданных.
Данные (b) передачи видеосигнала получают посредством выполнения процесса отображения, который дополнительно преобразует уровни выходных видеоданных, данные, полученные с применением кривой гамма-распределения (см сплошную линию а) к входным видеоданным, и лежат в диапазоне от порогового значения (V_th), равного или ниже, чем уровень, соответствующий 100% входных видеоданных до уровня (V_100*N), соответствующий 100%*N входных видеоданных, в уровни в диапазоне от порогового значения (V_th) до уровня (V_100), соответствующего 100% входных видеоданных. Данные (b) передачи видеосигнала имеют уровни, соответствующие уровням входных видеоданных в диапазоне от 0% до 100%, и составляют видеоданные с низким динамическим диапазоном.
«Данные (с) передачи видеосигнала»
Данные (с) передачи видеосигнала в данном документе описаны со ссылкой на фиг. 4. На этом чертеже, "Диапазон уровней контента данных" и "V_100*N" аналогичны соответствующим обозначениям, показанным на фиг. 2. На этом чертеже "Диапазон входных пиксельных данных кодера" обозначает диапазон уровней от 0 до V_100*N данных передачи видеосигнала. Данные (с) передачи видеосигнала являются выходными видеоданными, полученными с применением кривой гамма-распределения (см сплошная линия а) к входных видеоданным, и не подвергаются дальнейшей обработке. Данные (с) передачи видеосигнала имеют уровни, соответствующие уровням входных видеоданных в диапазоне от 0% до 100% * N, и представляют собой видеоданные с высоким динамическим диапазоном.
Возвращаясь к фиг. 1, устройство 100 передачи вставляет информацию о предшествующей кривой гамма-распределения в уровень видеопотока. Эта информация содержит
"extended_range_white_level",
"nominal_black_level_code_value",
"nominal_white_level_code_value" и
"extended_white_level_code_value", например, как показано на фиг. 5.
В этой информации, "extended_range_white_level" указывает на процент целого множителя (N раз) (100%*N), когда номинальный уровень белого (номинальное уровень белого) установлен на 100%. В этой информации, "nominal_black_level_code_value" указывает на значение отсчета сигнала яркости для номинального уровня черного. Когда видеоданные закодированы на основании 8 бит, уровень черного равен "16". В этой информации "nominal_white_level_code_value" указывает на значение отсчета сигнала яркости для номинального уровня белого. Когда видеоданные закодированы на основе 8 бит, уровень белого устанавливается равным "235", например. В этой информации, "extended_white_level_code_value" указывает на значение отсчета сигнала яркости "extended_range_white_level".
Более того, устройство 100 передачи вставляет вспомогательную информацию в уровень видеопотока, информация которого используется для преобразования высокоуровневой стороны диапазона уровней данных передачи видеосигнала на приемной стороне. Эта вспомогательная информация содержит информацию фильтра и информацию кривой преобразования, например. Вспомогательная информация будет подробно описана позже.
Более того, устройство 100 передачи вставляет в уровень транспортного потока TS идентификационную информацию, указывающую, что информация кривой гамма-распределения и вспомогательная информация были вставлены в уровень видеопотока. Например, информация идентификации вставляется как вспомогательная информация таблицы состава программы (РМТ: таблица состава программы), содержащаяся в транспортном потоке TS. Наличие или отсутствие информации кривой гамма-распределения и вспомогательной информации определяется на основании идентификационной информации без необходимости декодирования видеопотока. Идентификационная информация будет подробно описана позже.
Устройство 200 приема принимает транспортный поток TS, переданный посредством радиовещательных волн из передающего устройства 100. Транспортный поток TS включает в себя видеопоток, содержащий кодированные видеоданные. Устройство 200 приема принимает видеоданные для отображения посредством декодирования видеопотока, например.
Как описано выше, уровень видеопотока содержит вставку информации кривой гамма-распределения и вспомогательной информации. С другой стороны, уровень транспортного потока TS содержит вставку идентификационной информации, указывающей на факт вставки информации кривой гамма-распределения и вспомогательной информации Устройство 200 приема распознает наличие вставки информации кривой гамма-распределения и вспомогательной информации в уровень видеопотока на основании идентификационной информации, и получает эти части информации из видеопотока для использования этих элементов информации для обработки,
Устройство 200 приема преобразует высокоуровневый диапазон уровней видеоданных после декодирования (передачи видеоданных) таким образом, что максимальный уровень становится заранее определенным уровнем на основании вспомогательной информации. В этом случае, принимающее устройство 200 определяет заданный уровень на основании информации о N, содержащейся во вспомогательной информации и информации о динамическом диапазоне яркости монитора, например.
Когда данные передачи видеосигнала представляют собой описанные ранее данные (а) передачи видеосигнала, данные (b) передачи видеосигнала или данные (с) передачи видеосигнала, то приемное устройство 200 выполняет следующие процессы преобразования. Эти процессы преобразования позволяют обеспечить дисплей с соответствующим динамическим диапазоном яркости на приемной стороне.
"Процесс преобразования данных (а) передачи видеосигнала"
Процесс преобразования данных (а) передачи видеосигнала описан здесь со ссылкой на фиг. 6. На этом чертеже, "Диапазон декодированных пиксельных данных" обозначает диапазон уровней входных видеоданных (данные передачи видео) от 0 до V_100. На этом чертеже, "Диапазон уровней контента данных" и "V_100*N" На этом рисунке, "Диапазон уровней дисплея" обозначает диапазон уровней монитора (дисплея) от 0% яркости до 100%*N яркости. Сплошная линия является кривой гамма характеристики монитора, как противоположные характеристики характеристиками предшествующей кривой гамма-распределения (см. сплошная линия на фиг. 2).
Устройство 200 приема преобразует уровни соответствующих пиксельных данных передачи видеосигнала на уровне V_100 в уровни в пределах диапазона от V_100 до заданного уровня (V_100*N или ниже) путем применения фильтра, указанного в информации фильтра, содержащейся во вспомогательной информации. В этом случае уровни пиксельных данных на уровне V_100 в данных передачи видеосигнала до преобразования преобразуются в такие уровни, чтобы генерировать 100% яркости или выше на мониторе (дисплее), как показано пунктирной линией b. Эти видеоданные после преобразования имеют максимальный уровень, эквивалентный заданному уровню, выше, чем V_100, и представляют собой видеоданные с высоким динамическим диапазоном.
"Процесс преобразования данных (b) передачи видеосигнала"
Процесс преобразования данных (b) передачи видеосигнала описан здесь со ссылкой на фиг. 7. На этом чертеже, "Диапазон декодированных пиксельных данных" обозначает диапазон уровней входных видеоданных (данные передачи видео) от 0 до V_100. На этом чертеже, "Диапазон уровней контента данных" и "V_100*N" На этом рисунке, "Диапазон уровней дисплея" обозначает диапазон уровней монитора (дисплея) от 0% яркости до 100% * N яркости. Сплошная линия является кривой, показывающей гамма характеристики монитора, как противоположные характеристики характеристиками предшествующей кривой гамма-распределения (см. сплошная линия на фиг. 3).
Устройство 200 приема преобразует уровни соответствующих пиксельных данных передачи видеосигнала на уровне V_100 в уровни в пределах диапазона от V_th до V_100 в уровни в пределах диапазона от V_th до заданного уровня (V_100*N или ниже) путем применения фильтра, указанного в информации фильтра, или информации кривой преобразования, содержащейся во вспомогательной информации. В этом случае уровни пиксельных данных на уровнях в диапазоне от V_th до V_100 в данных передачи видеосигнала до преобразования преобразуются в такие уровни, чтобы генерировать 100% яркости или выше на мониторе (дисплее), как показано пунктирной линией b. Эти видеоданные после преобразования имеют максимальный уровень, эквивалентный заданному уровню, выше, чем V_100, и представляют собой видеоданные с высоким динамическим диапазоном.
Фигуры с 8 (а) по 8 (с) иллюстрируют примеры отношений между значениями отсчета сигнала яркости и пиксельными частотами (частотами). Фиг. 8 (а) иллюстрирует состояние входных видеоданных в передающем устройстве 100, где максимальное значение отсчета сигнала равно V_N*100. Фиг. 8 (b) иллюстрирует состояние данных передачи видеосигнала (выходные видеоданные) после применения кривой гамма-распределения в передающем устройстве 100, где максимальное значение отсчета ограничено V_100. В этом случае, пиксели выборочных значений в пределах диапазона, указанного штриховой линией, обрабатываются посредством выполнения процесса отображения и, следовательно, отклоняются от исходных уровней.
Фиг. 8 (с) иллюстрирует состояние после завершения процесса преобразования в приемном устройстве 200. В этом случае, существующие пиксели в выборочных значениях в пределах диапазона, указанного штриховой линией, являются пикселями, подвергнутыми процессу преобразования (процесс повторного отображения). Этот процесс повторного отображения обеспечивает уровни соответствующих пикселей, преобразованные в процессе отображения, подходящие уровням до начала процесса отображения. Согласно фиг. 8 (с), максимум значений отсчета равен V_N*100. Тем не менее, максимум значений отсчета становится уровнем ниже, чем V_N*100 в зависимости от динамического диапазона яркости монитора (динамический диапазон яркости монитора).
"Процесс преобразования данных (с) передачи видеосигнала"
Процесс преобразования данных (с) передачи видеосигнала описан здесь со ссылкой на фиг. 9. На этом чертеже, "Диапазон декодированных пиксельных данных" обозначает диапазон уровней входных видеоданных (данные передачи видео) от 0 до V_100*N. На этом чертеже, "Диапазон уровней контента данных" и "V_100*N" На этом рисунке, "Диапазон уровней дисплея" обозначает диапазон уровней монитора (дисплея) от 0% яркости до 100%*L яркости. Сплошная линия является кривой, показывающей гамма характеристики монитора, как противоположные характеристики характеристиками предшествующей кривой гамма-распределения (см. сплошная линия на фиг. 4).
Устройство 200 приема преобразует уровни соответствующих пиксельных данных передачи видеосигнала на уровнях диапазона от V_th до V_1008*N в уровни в пределах диапазона от V_th до заданного уровня (V_100*L) путем применения информации кривой преобразования, содержащейся во вспомогательной информации. В этом случае уровни пиксельных данных на уровнях в диапазоне от V_th до V_100*N в данных передачи видеосигнала до преобразования преобразуются в такие уровни, чтобы генерировать V_100*L яркости или ниже на мониторе (дисплее), как показано пунктирной линией b. Эти видеоданные после преобразования имеют максимальный уровень, эквивалентный заданному уровню ниже, чем V_100*N, и представляют собой видеоданные с низким динамическим диапазоном.
"Пример конфигурации передающего устройства"
Фиг. 10 иллюстрирует пример конфигурации устройства 100 передачи. Устройство 100 передачи включает в себя блок 101 управления, камеру 102, блок 103 преобразования цветового пространства, блок 104 гамма-обработки, видеокодер 105, системный кодер 106 и блок 107 передачи. Блок 101 управления включает в себя CPU (центральный процессор) и управляет операциями соответствующих блоков передающего устройства 100 на основании хранимой управляющей программы.
Камера 102 формирует изображение предмета и выводит видеоданные с HDR (высокий динамический диапазон). Эти видеоданные имеют уровни в диапазоне от 0 до 100%*N, например, от 0 до 400% или от 0 до 800%. В этом случае уровень 100% соответствует значению яркости белого 100 cd/m2. Блок 103 преобразования цветового пространства преобразует цветовое пространство RGB выходных видеоданных с камеры 102 в цветовое пространстве YUV.
Блок 104 гамма-обработка применяет кривую гамма-распределения к видеоданным после преобразования цветового пространства, и выполняет обработку для преобразования уровней с высокой яркостью (процесс отображения и процесс отсечения), как необходимую для получения данных передачи видеосигнала (см. фигуры с 2 по 4). Эти данные передачи видеосигнала выражены на основании 8 бит, в случае данных (а) и (b) передачи видеосигнала и 9 или больше битов в случае данных (с) передачи видеосигнала.
Видеокодер 105 кодирует преобразованные видеоданные с помощью MPEG4 -AVC, MPEG2video или HEVC (Высокоэффективное видеокодирование), например, для получения кодированных видеоданных. Более того, видеокодер 105 генерирует видеопоток (элементарный видеопоток), содержащий эти кодированные видеоданные, используя форматер потока (не показано), предусмотренный на следующем этапе обработки.
В это время видеокодер 105 вставляет информацию кривой гамма-распределения и вспомогательную информацию в уровень видеопотока. Эта вспомогательная информация является информацией, используемой для преобразования уровней с высокой яркостью на приемной стороне, и содержит информацию фильтра, информацию кривой преобразования и другое.
Системный кодер 106 генерирует транспортный поток TS, содержащий видео поток, генерируемый видеокодером 105. Блок 107 передачи передает этот транспортный поток TS, переносимый радиовещательными волнами или посредством пакетной передачи по сети на принимающее устройство 200.
В то время, как системный кодер 106 вставляет в уровень транспортного потока TS идентификационную информацию, указывающую была или нет вставлена информация кривой гамма распределения и вспомогательная информация в уровень видеопотока. Системный кодер 106 дополнительно вставляет данные кривой преобразования в уровень транспортного потока TS. Системный кодер 106 вставляет информацию идентификации и данные кривой преобразования как вспомогательную информацию закольцованного видео (ES закольцованное видео) таблицы состава программы (РМТ: таблица состава программ), содержащаяся в TS транспортном потоке, например.
Далее приводится кратное описание функционирования передающего устройства 100, показанного на фиг. 10. RGB-цветовое пространство HDR видеоданных, формируемых камерой 102, преобразуется в цветовое пространство YUV с помощью блока 103 преобразования цветового пространства. HDR видеоданные после преобразования цветового пространства подаются в блок 104 гамма обработки. Блок 104 гамма обработки применяет кривую гамма-распределения к видеоданным после преобразование цветового пространства, и выполняет обработку для преобразования уровней высокой яркости (процесс отображения и обработки отсечения) для видео данных, необходимых для получения данных передачи видеосигнала. Эти данные передачи видеосигналов подаются на видеокодер 105.
Видеокодер 105 кодирует данные передачи видеосигнала с использованием MPEG4-AVC (MVC), mpeg2video или HEVC (Высокоэффективное кодирование), например, для получения кодированных видеоданных. Видеокодер 105 генерирует видеопоток (элементарный видеопоток), содержащий эти кодированные видеоданные. В это время, видеокодер 105 вставляет информацию кривой гамма-распределения в уровень видеопотока, и дополнительно вставляет вспомогательную информацию, содержащую информацию фильтра, информацию кривой преобразования и т.п., и вспомогательная информация используется для преобразования уровней с высокой яркостью на приемной стороне, в уровень видеопотока.
Видеопоток, сгенерированный видеокодером 105, подается на системный кодер 106. Системный кодер 106 генерирует MPEG2 транспортный поток содержащий видеопоток. В это время системный кодер 106 вставляет в уровень транспортного потока TS данные кривой преобразования и идентификационную информацию, указывающую, что информация кривой гамма-распределения и вспомогательная информация были вставлены в уровень видеопотока. Блок 107 передачи передает этот транспортный поток TS посредством радиовещательных волн.
Информация кривой гамма-распределения, вспомогательная информация, информация идентификации, структура данных кривой преобразования и TS структура
Как описано выше, информация кривой гамма-распределения и вспомогательная информация вставляются в уровень видеопотока. Когда системой кодирования является MPEG4-AVC или другие системы кодирования, такие как HEVC, которые имеют аналогичную структуру кодирования, такую как структуру NAL пакетов, например, вспомогательная информация вставляется в часть "SEIs" блока доступа (AU) как SEI сообщение.
Информация кривой гамма-распределения вставляется как SEI сообщение информации тонального отображения (SEI сообщение информации тонального отображения). Вспомогательная информация вставляется как SEI сообщение HDR преобразования (SEI сообщение HDR преобразования).
Фиг. 11 иллюстрирует блок доступа, расположенный в заголовке GOP (группа изображений), когда системой кодирования является HEVC. Фиг. 12 иллюстрирует блок доступа, расположенный на позиции GOP (группа изображений), отличной от позиции ее заголовка, когда системой кодирования является HEVC. В случае, когда системой кодирования является HEVC, SEI сообщение группы для декодирования "Prefix_SEIs" расположены срезов (срезы), где пиксельные данные кодируются, в то время, как SEI сообщение группы для отображения "Suffix_SEIs" расположены после этих срезов (срезы).
Как показано на фиг. 11 и 12, SEI сообщение информации тонального отображения (SEI сообщение информации тонального отображения) и SEI сообщение HDR преобразования (SEI сообщение HDR преобразования) расположены как SEI сообщение группы "Suffix_SEIs".
Фиг. 13 и 14 иллюстрируют примеры структуры (синтаксис) " SEI сообщение информации тонального отображения". Фиг. 15 иллюстрирует контент главной информации (семантика) в примерах структуры. На этих чертежах "Tone mapping_cancel_flag" является 1-битной информацией флага. В этом случае, "1" означает, отмену предшествующего сообщения о состоянии тонального отображения (тональное отображение). Кроме того, "0" означает передачу соответствующих элементов для обновления предшествующего состояния.
8-битовое поле "coded_data_bit_depth" указывает битовую длину кодированных данных, и использует от 8 битов до 14, например. На этих чертежах "target_bit_depth" указывает максимальную битовую длину, предполагаемую в качестве выходной длины (Выход) битов в процессе, выполняемым на основании SEI сообщение информации тонального отображения, и допускается использовать 16 бит, как максимум.
32-битовое поле "ref_screen_luminance_white" указывает на номинальный уровень белого контрольного монитора, и выражается единицей измерения "cd/m2". На этих чертежах "extended_range_white_level" указывает на процент целого множителя (N раз) (100%*N), когда "номинальный уровень белого (номинальный уровень белого)" установлен на 100%. На этих чертежах "nominal_black_level_code_value" указывает значение отсчета яркости для номинальной уровня черного. Когда видеоданные закодированы на основании 8 бит, уровень черного установлен на "16". На этих чертежах "nominal_white_level_code_value" указывает значение отсчета яркости для номинального уровня белого. Когда видеоданные закодированы на основании 8 бит, уровень белого установлен на "235". В этой информации, "extended_white_level_code_value" указывает на значение отсчета яркости "extended_range_white_level".
Фиг. 16 иллюстрирует пример структуры (синтаксис) " SEI сообщение HDR преобразования". Фиг. 17 указывает контент главной информации (семантика) в этом примере структуры. На этих чертежах "HDR_conversion_cancel_flag" является 1-битной информацией флага. В этом случае, "1" означает, отмену сообщения о состоянии предшествующего преобразования HDR (HDR_conversion). Кроме того, "0" указывает передачу соответствующих элементов обновления предшествующего состояния.
16-битовое поле "threshold_clipping_level" указывает на пороговую величину яркости, преобразованную в обычный диапазон кодирования посредством нелинейного тонального отображения (тонального отображения) в пределах диапазона HDR. Другими словами, "threshold_clipping_level" указывает V_th (см. фиг. 3). 8-битовое поле "operator_type" указывает на тип фильтра, используемый во время выполнения маркировки (маркировка) уровней яркости, превышающих V_th (threshold_clipping_level). 8-битное поле "range_max__percent" указывает на N 100%*N.
8-битовое поле "level_mapping_curve_type" указывает на тип функции для преобразования уровней яркости, превышающие V_th (threshold_clipping_level) в целевые уровни яркости. Это 8-битовое поле "level_mapping_curve_type" расположено только тогда, когда выполняется условие "threshold_clipping_level" <"nominal_white_level_code_value", то есть, когда V_th ниже, чем яркость 100%.
Как описано выше, информация идентификации, указывающая, что информация кривой гамма-распределения и вспомогательная информация были вставлены в уровень видеопотока, вставляется как вспомогательная информация элементарного закольцованного видео (ES закольцованное видео) таблицы структуры программы (РМТ) транспортного потока TS, например.
Фиг. 18 иллюстрирует пример структуры (синтаксис) HDR простого дескриптора (HDR_simple descriptor) как информацию идентификации. Фиг. 19 иллюстрирует контент главной информации (семантика) в этом примере структуры.
8-битовое поле "HDR_simple descriptor tag " указывает тип дескриптора, показывая, что эта структура является HDR простым дескриптором. 8-битовое поле "HDR_simple descriptor length" указывает на длину (размер) дескриптора, показывающее количество байтов последующей части как длина дескриптора.
1-битовое поле "Tonemapping_SEI_existed" является информацией флага, указывающей на наличие или отсутствие информации SEI тонального отображения (информация кривой гамма-распределения) на уровне видео (уровень видеопотока). В этом случае " 1" указывает, что информация SEI тонального отображения присутствует, и "0" указывает на то, что информация SEI тонального отображения отсутствует.
1-битовое поле "HDR_conversion_SEI_existed" является информацией флага, которая указывает наличие или отсутствие информации SEI преобразования HDR (вспомогательная информация) на уровне видео (уровень видеопотока). В этом случае "1" указывает, что информация SEI преобразования HDR присутствует, и "0" указывает на то, что информация SEI преобразования HDR отсутствует.
Фиг. 20 иллюстрирует пример структуры (синтаксис) HDR полного дескриптора (HDR_full descriptor) как информацию идентификации. 8-битовое поле "HDR_full descriptor tag" указывает тип дескриптора, показывая, что эта структура является HDR полным дескриптором. 8-битовое поле "HDR_full descriptor length" указывает длину (размер) дескриптора, показывающее количество байтов последующей части как длину дескриптора.
Хотя настоящее описание не является подробным, HDR полный дескриптор дополнительно включает в себя вышеупомянутое сообщение SEI информации тонального отображения (см. фигуры 13 и 14), и SEI сообщение преобразования HDR (см. фиг. 16), а также информацию, содержащуюся в HDR простом дескрипторе (см. фиг. 18).
В этом случае, допускается на приемной стороне распознавание не только факта наличия или отсутствия SEI информации тонального отображения и SEI информации HDR преобразования на уровне видео, но и контента информации, содержащегося в ней, перед декодированием видеопотока на основании HDR полного дескриптора.
Как описано выше, данные кривой преобразования дополнительно вставляются как вспомогательная информация элементарного закольцованного видео (ES закольцованное видео) таблицы состава программы (РМТ) TS транспортного потока, например. Фиг. 21 иллюстрирует пример структуры (синтаксис) дескриптора кривой отображения уровня (level_mapping_curve descriptor) как данные кривой преобразования.
8-битовое поле "level_mapping_curve descriptor tag" указывает тип дескриптора, показывая, что эта структура является дескриптором кривой отображение уровня. 8-битовое поле "level_mapping_curve descriptor length" указывает длину (размер) дескриптора, показывающее количество байтов последующей части как длину дескриптора.
8-битовое поле "mapping_curve_table_id" указывает идентификатор (ID) таблицы кривой отображения (кривая отображения). Это "mapping_curve_table_id" позволяет сосуществовать множеству типов вариантов использования (вариант использования). Например, "mapping_curve_table_id" позволяет различать между кривыми преобразования (кривые отображения), используемых в процессе преобразования для каждых из типов данных (b) передачи видео и данных (с) передачи видео.
16-битовое поле "number of levels N" указывает на количество уровней, содержащихся в диапазоне уровней целевого преобразования данных передачи видеосигнала. В этом случае, диапазон уровней целевого преобразования равен от V_th до V_100 для данных (b) передачи видео (см. фиг. 7), и от V_th до V_100*N для данных (с) передачи видео (см. фиг. 9).
8-битовое поле "number of curve types С" указывает на тип кривой преобразования (кривая отображения). Это " number of curve types С" позволяет сосуществовать множеству типов кривых преобразования, имеющих различные характеристики преобразования. Возможные примеры кривых преобразования, имеющих различные характеристики преобразования, включают в себя кривые преобразования, имеющие различные максимальные уровни после преобразования, и кривые преобразования, имеющие одинаковый максимальный уровень, но разные промежуточные уровни преобразования.
16-битовое поле "curve_data" указывает значения кривой преобразования (кривая отображения) после преобразования. Фиг. 22 иллюстрирует пример трех типов кривых (а), (b), (с) преобразования (кривые отображения). Соответствующие примеры имеют максимальный уровень V_100*N после преобразования, и имеют различные промежуточные уровни преобразования. Фиг. 23 схематически иллюстрирует таблицу кривых отображения (кривые отображения), соответствующих трем типам кривых (а), (b), (c) преобразования (кривые отображения), показанные на фиг. 22.
Фиг. 24 иллюстрирует пример конфигурации транспортного потока TS. Транспортный поток TS содержит PES пакет "PID1: video PES1" элементарного видеопотока. Информация SEI тонального отображения и информация SEI преобразования HDR вставляются в этот элементарный видеопоток.
Транспортный поток TS дополнительно содержит РМТ (таблица состава программы) как PSI (программно-зависимая информация). Эта PSI представляет собой информацию, описывающую к которым программам принадлежат соответствующие элементарные потоки, содержащиеся в транспортном потоке. Транспортный поток TS дополнительно содержит EIT (таблица информации о событии), как SI (служебная информация) для управления блоком события (программа).
РМТ включает в себя элементарное закольцованное видео, содержащее информацию о соответствующих элементарных потоках. Согласно этому примеру конфигурации, РМТ включает в себя элементарное закольцованное видео (ES закольцованное видео). Это элементарное закольцованное видео включает в себя информацию, такую как тип потока и идентификатор (PID) пакета, ассоциированный с одним элементарным видеопотоком, описанным выше, и, дополнительно информацию описания дескриптора этого элементарного видеопотока.
HDR простой дескриптор (HDR_simple descriptor) или HDR полный дескриптор (HDR_full descriptor) расположен как вспомогательная информация элементарного закольцованного видео (ES закольцованное видео) РМТ. Как обсуждалось выше, эти дескрипторы указывают, что информация SEI тонального отображения и информация SEI преобразования HDR были вставлены в видеопоток. Более того, дескриптор кривой отображения уровня (level_mapping_curve descriptor) расположен как вспомогательная информация элементарного закольцованного видео (ES закольцованное видео) РМТ.
Пример конфигурации приемного устройства
Фиг. 25 является примером конфигурации устройства 200 приема. Устройство 200 приема включает в себя блок 201 управления, блок 202 приема, системный декодер 203, видеодекодер 204, блок 205 обработки HDR, блок 206 преобразования цветового пространства и блок 207 дисплея. Блок 201 управления включает в себя CPU (центральный процессор), и управляет операциями соответствующих блоков приемного устройства 200 в соответствии с хранящейся программой управления.
Блок 202 приема принимает транспортный поток TS, передаваемый из передающего устройства 100, когда тот передается посредством радиовещательных волн. Системный декодер 203 извлекает видеопоток (элементарный поток) из этого транспортного потока TS. Системный декодер 203 дополнительно извлекает вышеупомянутый HDR простой дескриптор (HDR_simple descriptor) или HDR полный дескриптор (HDR_full descriptor) из этого транспортного потока TS и передает извлеченный дескриптор в блок 201 управления.
Блок 201 управления способен распознавать была ли вставлена или нет информация SEI тонального отображения и информация SEI преобразования HDR в видеопоток на основании дескриптора. Когда обнаружено, что информация SEI присутствует, блок 201 управления получает возможность управлять видеодекодером 204 таким образом, что видеодекодер 204 положительно получает информацию SEI, например.
Системный декодер 203 извлекает дескриптор кривой отображения уровня (level_mapping_curve descriptor) из этого транспортного потока TS, и передает извлеченный дескриптор в блок 201 управления. Блок 201 управления способен управлять, на основании таблицы кривой отображения (кривая отображения), содержащаяся в этом дескрипторе, процессом преобразования, выполняемым с помощью блока 205 HDR обработки, используя информацию кривой преобразования.
Видеодекодер 204 получает видеоданные передачи (данные передачи видео) путем выполнения процесса декодирования видеопотока, извлеченного посредством системного декодера 203. Видеодекодер 204 дополнительно извлекает сообщение SEI, вставленное в видеопоток, и передает извлеченное сообщение SEI в блок 201 управления. Это сообщение SEI содержит сообщение информации SEI тонального отображения (сообщение информации SEI тонального отображения) и сообщение информации SEI преобразования HDR (сообщение информации SEI преобразования HDR). Блок 201 управления управляет процессом декодирования и процессом отображения на основании SEI информации.
Блок 205 HDR обработки преобразует высокоуровневый диапазон уровней видеоданных, полученных видеодекодером 204 (данные передачи видео), на основании вспомогательной информации таким образом, что максимальный уровень видеоданных становится заранее определенным уровнем. В этом случае, блок 205 HDR обработки выполняет обработку в соответствии с обработкой данных (а), (b) и (с) передачи видео, как описано выше (см. фиг. 6, фиг. 7 и фиг. 9).
Блок 205 обработки HDR будет подробно описано позже.
Блок 206 преобразования цветового пространства преобразует YUV цветовое пространство видеоданных, полученных блоком 205 обработки HDR, в цветовое пространство RGB. Блок 207 отображения отображает изображение на основании видеоданных после преобразования цветового пространства.
[Пример конфигурации блока HDR обработки]
Фиг. 26 иллюстрирует пример конфигурации блока 205 HDR обработки. Блок 205 HDR обработки включает в себя блок 251 обработки отсечения, блок 252 обработки маркировки и блок 253 обработки отображения диапазона. В случае передачи видеоданных (а) (см. фиг. 6), данные передачи видеосигнала (декодированные пиксельные данные) поступают на вход блока 251 обработки отсечения, где выполняется процесс с использованием информации фильтра.
В случае передачи видеоданных (b) (см. фиг. 7), данные передачи видеосигнала (декодированные пиксельные данные) поступают на вход блока 251 обработки отсечения, когда V_th (threshold_clipping_level)=V_100. В блоке 251 обработки отсечения, выполняется процесс с использованием информации фильтра.
Относительно данных (b) передачи видеосигнала (см. фиг. 7), выполняется либо процесс с использованием информации фильтра, или процесс с использованием информации кривой преобразования, когда V_th (threshold_clipping_level)<V_100. Когда выполняется процесс с использованием информации фильтра, данные передачи видео (декодированные данные пикселей) поступают на вход блока 251 обработки отсечения. Когда выполняется процесс с использованием информации кривой преобразования, данные передачи видео (декодированные данные пикселей) поступают на вход блока 253 обработки отображения диапазона.
В случае передачи видеоданных (с) (см. фиг. 9), данные передачи видео (декодируемые данные пикселей) поступают на вход блока 253 обработки отображения диапазона, где выполняется процесс с использованием информации кривой преобразования.
Первоначально описан случай выполнения процесса с использованием информации фильтра. Блок 251 обработки отсечения извлекает в качестве мишени для процесса повторного отображения, пиксельные данные на уровнях, равных или более высоких, чем уровень порогового отсечения (Threshold_clipping_level), из пиксельных данных, составляющие данные передачи видео, используя этот пороговый уровень отсечения, В случае передачи видеоданных (а), пороговый уровень отсечения (Threshold_clipping_level) становится V_100.
Например, предполагается, что фиг. 27 (а) показывает часть пиксельных данных, составляющие видеоданные передачи, где только пиксельные данные, обозначенные белым цветом, соответствуют пиксельным данным на уровнях равных или выше, чем пороговое значение уровня отсечения. Как показано на фиг. 27 (b), блок 251 обработки отсечения извлекает пиксельные данные, указанные в виде белой части, и соответствующие цели процесса повторного отображения. В этом случае, блок 205 обработки HDR выводит пиксельные данные, несоответствующие цели процесса повторного отображения не изменяя значения этих данных.
Блок 252 маркировки выполняет процесс разделения уровня для каждых пиксельных данных, соответствующих цели процесса повторного отображения, путем выполнения процесса фильтрации в соответствии с типом фильтра, обозначенного оператором (Operator_type), при использовании пиксельных данных вокруг соответствующих пиксельных данных, также. Фиг. 27 (с) иллюстрирует состояние разделения уровней соответствующих пиксельных данных, соответствующих цели процесса повторного отображения. Фиг. 27 (d) иллюстрирует три этапа разделения уровней, то есть (1) "высокий уровень", (2) «2-ой высокий уровень», и (3) "3-ий высокий уровень". В то время, как этапы разделения уровня представлены тремя этапами в данном описании для простоты понимания, в реальной ситуации устанавливаются большее количество этапов.
Блок 253 обработки отображения диапазона отображает значения соответствующих пиксельных данных на значения, соответствующие соответствующим этапам разделения уровня, и выводит результаты. Блок 253 обработки отображение диапазона отображает значения с помощью диапазона максимального процента (renge_max_percent), то есть значение N и динамический диапазон яркости монитора (динамический диапазон яркости монитора).
Фиг. 28 иллюстрирует пример отображения диапазона. В соответствии с этим примером, показанным на чертеже, диапазон максимального процента (renge_max_percent) равен "4", в то время, как динамический диапазон яркости монитора (динамический диапазон яркости монитора) составляет 400%. (1) пиксельные данные "высокого уровня" отображаются на таком значении, что процент вывода яркости (процент вывода яркости) в соответствии с выходным значением яркости блока 207 дисплея, становится равным 400%. (2) пиксельные данные «2-го высокого уровня» отображаются на таком значении, что процент вывода яркости становится равным 300%. (3) пиксельные данные "3-го высокого уровня" отображаются на таком значении, что процент вывода яркости становится равным 200%.
Фиг. 29 иллюстрирует другой пример отображения диапазона. Предполагается, что блок 252 маркировки обработки отделяет соответствующие примеры "Случай 1" до "Случай 4" на два этапа (1) "высокий уровень" и (2) "2-ой высокий уровень» для легкого понимания объяснений.
В соответствии с примером "Случай 1", показанный на чертеже, диапазон максимального процента равен "8", в то время, как динамический диапазон яркости монитора равен "800%. Пиксельные данные (1) "высокого уровня" отображаются на таком значении, что процент вывода яркости становится равным 800%. Пиксельные данные (2) «2-ой высокий уровень» отображаются на таком значении, что процент вывода яркости становится равным 400%.
Согласно примеру "Случай 2", показанном на чертеже, диапазон максимального процента равен "4", в то время, как динамический диапазон яркости монитора равен 800%. Пиксельные данные (1) "высокого уровня" отображаются на такой величине, что процент вывода яркости становится равным 400%. Пиксельные данные (2) «2-ой высокий уровень» отображается на такой величине, что процент вывода яркости становится равным 200%.
В случае данного примера, динамический диапазон видеоданных простирается до 400%. Соответственно, максимум процента выходной яркости выбирается таким образом, чтобы соответствовать 400% динамического диапазона видеоданных даже, когда динамический диапазон яркости монитора простирается до 800%. В результате, ненужная яркость и неестественность высоко яркостной части снижается.
В соответствии с примером "Случай 3", показанный на чертеже, диапазон максимального процента равен "8", в то время, как динамический диапазон яркости монитора равен 400%. Пиксельные данные (1) "высокого уровня" отображаются на такую величину, что процент вывода яркости становится равным 400%. Пиксельные данные (2) «2-го высокого уровня» отображаются на такую величину, что процент вывода яркости становится равным 200%.
В случае данного примера, динамический диапазон яркости монитора простирается до 400%. Соответственно, максимум процента выходной яркости выбирают таким образом, чтобы соответствовать 400% динамического диапазона видеоданных даже, когда динамический диапазон яркости монитора простирается до 400%. В результате видеоданные для отображения, совпадающие с динамическим диапазоном яркости монитора, можно получить, в связи с чем, не допускается переход в состояния гашения на высоко яркостной стороне, то есть, так называемое состояние гашения светового пятна.
По примеру "Случай 4", диапазон максимального процента равен "8", в то время как динамический диапазон яркости монитора равен 100%. Пиксельные данные (1) "высокого уровня" отображаются на такую величину, что процент вывода яркости становится равным 100%. Пиксельные данные (2) «2-го высокого уровня» отображаются на такую величину, что процент вывода яркости становится ниже, чем 100%.
Ниже приводится описание случая выполнения процесса с использованием информации кривой преобразования. Блок 253 отображения диапазона отображает значения соответствующих пиксельных данных в диапазоне целевого уровня преобразования от V_th до V_100*N, содержащиеся в данных передачи видео, со ссылкой на таблицу кривой отображения (кривая отображения), и выводит преобразованные значения в качестве выходных данных. Кривая преобразования, используемая в этом случае, является кривой преобразования, имеющей диапазон макс процентов (renge_max_percent), т.е. максимальный уровень после преобразования определяется, используя значение N и динамический диапазон яркости монитора (динамический диапазон яркости монитора).
Максимальный уровень после преобразования определяется способом, подобным способу, когда используется информация фильтра, как описано выше (см. фиг. 29). В случае, когда диапазон максимального процента установлен на "8" и динамический диапазон яркости монитора установлен на "800%, например, определяемый максимальный уровень представляет собой такое значение, когда процент вывода яркости становится равным 800%. В случае, когда диапазон максимального процента установлен на "4" и динамический диапазон яркости монитора установлен на "800%, например, определяемый максимальный уровень является таким значением, что процент вывода яркости становится равным 400%.
Относительно пиксельных данных диапазона уровня целевого преобразования в данных передачи видео, значения соответствующих пиксельных данных диапазона уровня целевого преобразования используются в качестве выходных данных из блока 253 отображения диапазона без изменения и, следовательно, используются в качестве выходных данных из блока 205 обработки HDR.
Фиг. 30 иллюстрирует пример (случай 5) диапазона отображения. В соответствии с этим примером, показанным на чертеже, диапазон максимального процента (renge_max_percent) равен "4", в то время, как и динамический диапазон яркости монитора (динамический диапазон яркости монитора) составляет 200%. В этом случае, определяемый максимальный уровень является таким значением, что процент вывода яркости становится равным 200%. Согласно этому примеру, максимальный уровень данных "960" передачи видеосигнала преобразуют в уровень "480".
Блок 253 отображения диапазона использует информацию о динамическом диапазоне яркости монитора (динамический диапазон яркости монитора). Когда приемное устройство 200 является телевизионной приставкой (STB), этот динамический диапазон яркости монитора определяется на основании информации, полученной из EDID на стороне монитора через HDMI. "Range_max_percent" и соответствующие элементы сообщения SEI и дескриптора совместно используются при обработке сигнала в телеприставке и мониторе, когда эти элементы определены в информационном кадре конкретного поставщика. В этом контексте, HDMI является зарегистрированной торговой маркой.
Далее будет кратко описан процесс функционирования приемного устройства 200, показанного на фиг. 25. Блок 202 приема принимает транспортный поток TS, передаваемый из передающего устройства 100 посредством радиовещательных волн. Этот транспортный поток TS подается на системный декодер 203. Системный декодер 203 извлекает видеопоток (элементарный поток) из этого транспортного потока TS. Системный декодер 203 дополнительно извлекает HDR простой дескриптор (HDR_simple descriptor) или HDR полный дескриптор (HDR_full descriptor) из этого транспортного потока TS и передает извлеченный дескриптор в блок 201 управления.
Блок 201 управления распознает была ли вставлена информация SEI тонального отображения и информация SEI преобразования HDR в видеопоток, на основании этого дескриптора. Когда определено, что информация SEI присутствует, то блок 201 управления получает возможность управлять видеодекодером 204 таким образом, что видеодекодер 204 положительно получает информацию SEI, например.
Видеопоток, извлеченный системным декодером 204, подается на видеодекодер 204. Видеодекодер 204 выполняет процесс декодирования видеопотока, чтобы генерировать видеоданные частотного диапазона. Видеодекодер 204 дополнительно извлекает сообщение SEI, вставленное в этот видеопоток, и передает извлеченное SEI сообщение в блок 201 управления.
Это сообщение SEI содержит сообщение SEI информации тонального отображения (сообщение SEI информации тонального отображения) и сообщение SEI преобразования HDR (сообщение SEI преобразования HDR). Блок 201 управления управляет процессом декодирования и процессом отображения на основании SEI информации.
Видеоданные, полученные видеодекодером 204 (данные передачи видеосигнала), подаются в блок 205 обработки HDR. Блок 205 обработки HDR преобразует высокоуровневый диапазон уровней данных передачи видео, такой как максимальный уровень данных передачи видео, становится заранее определенным уровнем, на основании вспомогательной информации.
YUV цветовое пространство видеоданных, полученные блоком 206 обработки HDR, преобразуется в цветовое пространство RGB посредством блока 206 преобразования цветового пространства. Видеоданные после преобразования цветового пространства поставляется в блок 207 дисплея. Блок 207 дисплея отображает изображение, соответствующее принятым видеоданным с динамическим диапазоном яркости передаваемых видеоданных, и дополнительно с динамическим диапазоном яркости в соответствии с динамическим диапазоном яркости монитора.
Как описано выше, устройство 100 передачи в передающей и приемной системе 10, показанной на фиг. 1, передает видеоданные, полученные применением кривой гамма-распределения, на вход видеоданные, имеющие диапазон уровней от 0% до 100%*N, вместе с передачей вспомогательной информации, используемую для преобразования уровней высокой яркости, на приемную сторону. Соответственно, принимающая сторона может преобразовывать уровни высокой яркости данных передачи видео на основании этой вспомогательной информации, например, соответственно принимающая сторона способна реализовать дисплей с соответствующим динамическим диапазоном яркости.
Более того, передающая и принимающая система 10, показанная на фиг. 1, вставляет в уровень транспортного потока TS, переданную из устройства 100 передачи в устройство 200 приема, идентификационную информацию, указывающую, что вспомогательная информация была вставлена в уровень видеопотока. Соответственно, вставка вспомогательной информации в видеопоток распознается без необходимости декодирования видеопотока, в связи с чем, можно реализовать процесс извлечения вспомогательного информации из видеопотока.
2. Модифицированный пример
Применение к системе распределения MPEG-DASH основного потока В вышеописанном варианте осуществления был описан контейнер, образованный транспортным потоком (MPEG-2 TS). Однако, настоящее изобретение аналогично применимо к системе, выполненной с возможностью реализовать распределение к приемному терминалу, используя сеть, такую как Интернет. В случае распространения через Интернет часто используются для распределения МР4 или другие форматы контейнеров.
Фиг. 31 иллюстрирует пример конфигурации системы 30 распределения потока. Эта система 30 распределения потока представляет собой систему распределения MPEG-DASH основного потока. В соответствии с конфигурацией системы 30 распределения потока, N штук IPTV устройств-клиент 33-1, 33-2 и до 33-N, соединены со стримером 31 сегмента DASH и DASH MPD сервер 32 через CDN (сеть доставки контента) 34.
Стример 31 сегмента DASH генерирует сегменты потока DASH спецификации (далее как "сегменты DASH") на основании медиа данных заданного контента (например, видеоданных, аудиоданных и данных субтитров) и передает сегменты в ответ на HTTP запрос из IPTV устройство-клиент. Стример 31 сегмента DASH может быть сервером, предназначенным для потоковой передачи, или также сервером, работающим в качестве Be6-(Web) сервера.
Стример 31 сегмента DASH дополнительно передает сегменты заданного потока в IPTV устройства-клиент 33 в качестве источника запроса через CDN 34 в ответ на запрос на сегменты соответствующего потока, передаваемого из IPTV устройств-клиент 33 (33-1, 33-2 и до 33-N) через CDN 14. В этом случае, IPTV устройства-клиент 33 выбирают и запрашивают поток, имеющий оптимальную скорость в соответствии с состоянием среды сети, где расположено каждое устройство-клиент, со ссылкой на величину скорости, описанную в MPD (Описание медиа презентаций) файле.
DASH MPD сервер 32 является сервером, который генерирует MPD файл, используемый для получения DASH сегментов, генерируемые стримером 31 сегментов DASH. MPD файл генерируется на основании контента метаданных, принятых с сервера управления контентом (не показан на фиг. 31), и адреса (URL) сегментов, сгенерированные стримером 31 DASH сегмента.
В соответствии с форматом MPD, соответствующие атрибуты описаны с использованием элементов, называемых представлениями (Представления), для каждого из потоков, таких как видеопотоки и аудио потоки. Например, скорость, описанная в MPD файле, для каждого из представлений, разделенных в соответствии с множеством потоков видеоданных, имеющие разные скорости. IPTV устройства-клиент 33 способны выбирать оптимальной поток в соответствии с соответствующими сетевыми средами, где находятся IPTV устройства-клиент 33, со ссылкой на значения скоростей, как описано выше.
Фиг. 32 иллюстрирует пример отношений между соответствующими структурами, расположенными в вышеупомянутом MPD файле в иерархическом порядке. Как показано на фиг. 32 (а), существуют множество периодов (периоды), разделенные на временные интервалы в медиа презентации (медиа презентация), как весь MPD файл. Например, начальный период начинается с 0 секунд, в то время, как последующий период начинается с 100 секунд.
Как показано на фиг. 32 (b), период содержит множество представлений (Представления). Множество представлений включает в себя группы представлений, сгруппированные в соответствии с наборами адаптации (AdaptationSets), как описано выше, и ассоциированные с потоками видеоданных, имеющие различные атрибуты потока, такие как скорости, и содержащие идентичный контент.
Как показано на фиг. 32 (с), презентация включает в себя информацию сегмента (SegmentInfo). Как показано на фиг. 32 (d), эта информация сегмента включает в себя сегмент инициализации (Сегмент инициализации) и множество медиа сегментов (медиа сегмент), каждый из которых описывает информацию соответствующего сегмента (сегмент), разделенный от периода. Каждый из сегментов данных включают в себя информацию об адресе (URL) и т.п., для фактического получения видео и аудио сегмента данных и другие сегменты данных.
Поток свободно переключаться между множеством представлений, сгруппированных в соответствии с наборами адаптации. Соответственно, поток, имеющий оптическую частоту, выбирается в соответствии с сетевой средой, где находится каждое из IPTV устройств-клиент, потому непрерывное распределение видеоданных достижимо.
Фиг. 33 (а) показывает структуру сегмента. Сегменты разделяются на три типа в зависимости от различий составляющих элементов. Первая структура включает в себя множество "медиа сегментов" для хранения фрагментированных видеоданных, в дополнение к информации инициализации кодека "сегмент инициализации". Вторая структура включает в себя только один «медиа сегмент». Третья структура включает в себя "медиа сегмент", интегрированный с информацией инициализации кодека "сегмент инициализации". Фиг. 33 (b) и 33 (с) иллюстрируют примеры формата данных сегментов, соответствующих ISOBMFF и MPEG-2TS, когда используется структура, включающая в себя только один «медиа сегмент».
Когда настоящее изобретение применяется к системе 30 распределения MPEG-DASH основного потока, видеопоток, в который были вставлены сообщение SEI информации тонального отображения (сообщение SEI информации тонального отображения) и сообщение SEI преобразования HDR (сообщение SEI преобразования HDR), расположенного на позиции "Медиа сегмента". Кроме того, HDR простой дескриптор (HDR_simple descriptor) или HDR полный дескриптор (HDR_full descriptor) и дескриптор кривой отображения уровня (level_mapping_curve descriptor) расположены на позиции "сегмента инициализации".
Фиг. 34 схематически иллюстрирует информацию в транспортном потоке, информация которой соответствует информации, содержащейся в "сегменте инициализации", и информации, содержащейся в "Медиа сегменте" в формате данных сегментов, соответствующих MPEG-2TS (см. фиг. 33 (с)). Как описано выше, IPTV устройства-клиент 33 (33-1, 33-2 и до 33-N) системы 30 распределения MPEG-DASH основного потока получают "Сегмент инициализация" и "Медиа Сегмент" на основании информации адреса (URL) в MPD файле, и отображает изображение.
В соответствии с системой 30 распределения потока, показанной на фиг. 31, сообщение SEI, содержащее информацию кривой гамма-распределения и дополнительную информацию, для повторного отображения аналогично вставленного в уровень видеопотока. Кроме того, дескриптор, содержащий идентификационную информацию, указывает на присутствие или отсутствие вставленного сообщения SEI в системный уровень (уровень контейнера). Соответственно, IPTV устройства-клиент 33 способны выполнить обработку аналогичным образом в форме принимающего устройства 200 системы 10 передачи и приема, показанной на фиг. 1.
Применение к ММТ структуре передачи потока
В последние годы ММТ (MPEG Медиа транспорт) структура привлекла внимание в качестве транспортной структуры для вещания следующего поколения. Эта структура ММТ характеризуется прежде всего наличием возможности взаимодействовать с IP сети. Настоящее изобретение также применяется к системе передачи и приема, которая обрабатывает эту ММТ структуру передачи потока.
Фиг. 35 иллюстрирует пример конфигурации системы 40 приема и передачи, которая обрабатывает ММТ структуру передачи потока. Система 40 передачи и приема включает в себя передающее устройство 300 транспортного пакета и принимающего устройства 400 транспортного пакета.
Передающее устройство 300 генерирует транспортный пакет, имеющий структуру ММТ (см. ISO/IEC CD 23008-1), т.е. передаваемый поток, содержащий пакет ММТ, и передает сгенерированный поток передачи на принимающую сторону через RF тракт передачи или тракт передачи сетевой коммуникации. Этот поток передачи является мультиплексным потоком, который включает в себя первый ММТ пакет, содержащий видео и аудио данные передачи в качестве полезной нагрузки, и второй ММТ пакет, содержащий информацию, касающуюся передачи медиа информации, как полезную нагрузку, во время совместного использования и, по меньшей мере, в размере фрагментированного пакета.
Устройство 400 приема принимает вышеупомянутой поток передачи из передающей стороны через RF тракт передачи или тракт передачи сетевой коммуникации. Устройство 400 приема обрабатывает медиа данные передачи, извлеченные из потока передачи с использованием времени декодирования и времени отображения, полученные на основании временной информации, таким образом, чтобы отображать изображение и выводить звук.
Фиг. 36 иллюстрирует конфигурацию ММТ пакета в древовидной форме. Пакет ММТ образован заголовком ММТ пакета (заголовок ММТ пакета), заголовком полезной нагрузки ММТ (заголовок ММТ полезной нагрузки) и полезная нагрузка ММТ (ММТ полезная нагрузка). ММТ нагрузка содержит сообщение (Сообщение), MPU (блок обработки медиа), FEC символ исправления (FEC символ исправления) и другие. Сигнализация выполняется на основании типа полезной нагрузки (payload_type), содержащейся в заголовке ММТ полезной нагрузки.
Различные типы сообщений контента вставляются в сообщения в виде таблицы. MPU фрагментирован на субблоки, такие как MFUs (ММТ фрагментный блок) некоторых случаях. В этом случае, заголовок MFU (MFU заголовок) добавляется к заголовку каждого MFU. ММТ полезной нагрузки содержит MFU, ассоциированный с видео и аудио медиа-данными, и MPU, ассоциированный с метаданными. ММТ пакет, содержащий соответствующие MPUs, является идентифицируемым на основании ID пакета (Packet_ID) существующий в заголовке ММТ пакета.
Когда применяется настоящее изобретение к передающей и приемной системе 40, которая обрабатывает ММТ структуры потока передачи, расположенную в качестве полезной нагрузки ММТ, является такой видеопоток, который содержит вставку сообщения SEI информации тонального отображения (сообщения SEI информации тонального отображения) и сообщение SEI преобразования HDR (сообщение SEI преобразования HDR). Более того, определяется такое сообщение, которое имеет таблицу описания HDR (Таблица описания HDR), содержащую контент, аналогично контенту предшествующего HDR простого дескриптора (HDR_simple descriptor), или HDR полного дескриптора (HDR_full descriptor) и дескриптора кривой отображения уровня (level_mapping_curve descriptor), например.
Фиг. 37 иллюстрирует пример структуры (синтаксис) сообщения описания HDR (сообщение описания HDR), имеющий таблицу простого описания HDR. 16-битовое поле "MESSAGE_ID" указывает, что структура является сообщением описания HDR. 8-битовое поле "версии" указывает версию этого сообщения. 16-битовое поле «длина» указывает длину (размер) этого сообщения, показывая количество байтов последующей части. Это сообщение описание HDR содержит таблицу простого описания HDR (таблица описания простого HDR).
Фиг. 38 иллюстрирует пример структуры (синтаксис) HDR таблицы простого описания. 8-битовое поле "table_id" указывает, что структура является HDR таблицей простого описания. 8-битовое поле "version" означает версию этой таблицы. В этом случае "table_id" и "version" уникально выделяются в системе. 16-битовое поле "length" указывает на всю (размер) эту таблицу. 16-битовое поле "packet_id" идентичен "packet_id", содержащийся в заголовке пакета ММТ. Эта структура позволяет обеспечить ассоциацию на уровне активов.
1-битное поле «tone_mapping_SEI_existed" является информацией флага, которая указывает на наличие или отсутствие информации SEI тонального отображения (информация кривой гамма-распределения) на уровне видео (уровень видеопотока) аналогично HDR простому дескриптору (HDR_simple_descriptor), показанного на фиг. 18. В этом случае, "1" указывает, что информация SEI тонального отображения присутствует и "0" указывает на то, что информация SEI тонального отображения отсутствует.
Кроме того, 1-битовое поле "HDR_conversion_SEI_existed" является информацией флага, которая указывает, присутствует или нет информация SEI преобразования HDR (дополнительная информация) на уровне видео (уровень видеопотока) аналогично HDR простому дескриптору (HDR_simple_descriptor), показанного на фиг. 18. В этом случае, "1" указывает, что информация SEI преобразования HDR присутствует, и "0" указывает на то, что информация SEI преобразования HDR отсутствует.
Фиг. 39 показывает другой пример структуры (синтаксис) сообщение HDR описания (сообщение HDR описание), имеющее таблицу описания HDR. 16-битовое поле "MESSAGE_ID" указывает, что структура является сообщением описания HDR. 8-разрядный поданной "version" указывает версию этого сообщения. 16-битовое поле «length» указывает длину (размер) этого сообщения, показывая количество байтов последующей части. Это сообщение описания HDR содержит таблицу полного описания HDR (таблица HDR полного описания).
Фиг. 40 иллюстрирует пример структуры (синтаксис) таблицы HDR полного описания. 8-битовое поле "table_id" указывает, что структура является таблицей HDR простого описания. 8-битовое поле "version" означает версию этой таблицы. В этом случае "table_id" и "version" уникально выделяются в системе. 16-битовое поле "length" указывает на всю (размер) эту таблицу. 16-битовое поле "packet_id" идентичен "packet_id", содержащийся в заголовке пакета ММТ. Эта структура позволяет осуществить ассоциацию на уровне активов.
Хотя это и не подробно описано, эта таблица HDR полного описания содержит "tone_mapping_SEI_existed" и "HDR_conversion_SEI_existed", и дополнительную информацию, подобную соответствующей информации HDR полного дескриптора (HDR_full descriptor), как показано на фиг. 20.
Фиг. 41 представляет собой вид, иллюстрирующий пример конфигурации сообщения HDR описания, имеющей таблицу кривой отображающей уровень. 16-битовое поле "MESSAGE_ID" указывает, что структура является сообщением описания HDR. 8-разрядный поданной "version" указывает версию этого сообщения. 16-битовое поле «length» указывает длину (размер) этого сообщения, показывая количество байтов последующей части. Это сообщение описания HDR содержит таблицу кривой, отображающей уровень (Level_mapping_curve_table).
Фиг. 42 иллюстрирует пример структуры (синтаксис) таблицы кривой отображения уровня. 8-битовое поле "table_id" указывает, что структура является таблицей кривой, отображающей уровень. 8-битовое поле "version" означает версию этой таблицы. В этом случае "table_id" и "version" уникально выделяются в системе. 16-битовое поле "length" указывает на всю (размер) эту таблицу. 16-битовое поле "packet_id" идентичен "packet_id", содержащийся в заголовке пакета ММТ. Эта структура позволяет осуществить ассоциацию на уровне активов.
В то время, как не здесь подробно описано, содержится информация "mapping_curve_table_id", "number of levels N", "number of curve types С" и "curve_data" так же, как дескриптор кривой отображения уровня (level_mapping_curve descriptor), как показано на фиг. 21.
Как описано выше, IPTV устройства-клиент 33 (33-1, 33-2 и до 33-N) системы 30 распределения MPEG-DASH основного потока получают "Сегмент инициализации" и "Медиа сегмент", на основании информации адреса (URL) в MPD файле, и отображают изображение. В это время, выполняется обработка, используя сообщение SEI аналогично принимающему устройству 200 передающей и приемной системы 10, показанной на фиг. 1.
В соответствии с передающей и приемной системой 40, показанной на фиг. 35, сообщение SEI, содержащее информацию кривой гамма-распределения и дополнительную информацию для повторного отображения, аналогично вставляется в уровень видеопотока. Кроме того, таблица описания, содержащая информацию идентификации, указывающая на наличие или отсутствие вставки сообщении SEI, вставляется на уровень системы (уровень контейнера). Соответственно, выполняется процесс обработки, аналогично процессу обработки устройства 200 приема передающей и приемной системы 10, показанной на фиг. 1 посредством устройства 400 приема транспортного пакета
Настоящее изобретение может иметь следующие конфигурации.
(1) Устройство передачи содержит:
блок обработки, который применяет кривую гамма-распределения к входным видеоданным, имеющие диапазон уровней от 0% до 100%*N (N: число больше 1), чтобы получить данные передачи видеосигнала; и
блок передачи, который передает данные передачи видеосигнала вместе со вспомогательной информацией, которая используется для преобразования высокого уровня яркости на приемной стороне.
(2) Устройство передачи по п. (1), в котором, обеспечиваются
блок передачи передает контейнер в заданном формате, который содержит видеопоток, полученный путем кодирования данных передачи видеосигнала, и
блок вставка вспомогательной информации, который вставляет вспомогательную информацию в уровень видеопотока и/или уровень контейнера.
(3) Устройство передачи по п. (2) включает в себя блок вставки информации
идентификации, который вставляет в уровень контейнера информацию идентификации, которая указывает, что вспомогательная информация была вставлена в уровень видеопотока.
(4) Устройство передачи по любому из (1)-(3), в котором, блок обработки
дополнительно выполняет процесс преобразования уровня выходных видеоданных, полученных применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от 100% до 100%*N, в уровень, соответствующий 100% входным видеоданным, с тем, чтобы получить данные передачи видеосигнала.
(5) Устройство передачи по п. (4), в котором, вспомогательная информация содержит
информацию фильтра, применяемого к пиксельным данным передачи видеосигнала на уровне, соответствующем 100% от входных видеоданных.
(6) Устройство передачи по любому из (1)-(3), в котором, блок обработки
дополнительно выполняет процесс преобразования уровня выходных данных видеосигнала, полученных применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от порогового значения, равного или меньшего, чем уровень, соответствующий от 100% до 100%*N, в уровень в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, чтобы получить данные передачи видеосигнала.
(7) Устройство передачи по п. (6), в котором, вспомогательная информация содержит
информацию фильтра, применяемого к пиксельным данным передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных.
(8) Устройство передачи по п. (6), в котором, вспомогательная информация содержит
информацию кривой преобразования, применяемой к пиксельным данным передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных.
(9) Устройство передачи по любому из (1)-(3), в котором, блок обработки использует выходные видеоданные, как данные передачи видеосигнала без изменения,
которые выходные видеоданные получены посредством применения кривой гамма-распределения к входным видеоданным.
(10) Устройство передачи по п. (9), в котором, вспомогательная информация содержит информацию кривой преобразования, применяемой к высокоуровневой стороне данных передачи видеосигнала.
(11) Способ передачи содержит:
этап обработки, на котором применяется кривая гамма-преобразования к входным видеоданным, имеющие диапазон уровней от 0% до 100%*N (N: число, большее, чем 1), чтобы получить данные передачи видеосигнала; и
этап передачи, на котором осуществляется передача данных передачи видеосигнала вместе со вспомогательной информацией, используемой для преобразования высокого уровня яркости на приемной стороне.
(12) Устройство приема содержит:
блок приема, который принимает данные передачи видеосигнала, полученные посредством применения кривой гамма-распределения к входным видеоданным, имеющие диапазон уровней от 0% до 100%*N (N: число, большее, чем 1); и
блок обработки, который преобразует диапазон уровней высокоуровневой стороны данных передачи видеосигнала так, что максимальный уровень становится заранее определенным уровнем на основании вспомогательной информации, принятой вместе с данными передачи видеосигнала.
(13) Устройство приема по п. (12), в котором, заранее определенный уровень
определяется на основании информации о N и информации о динамическом диапазоне яркости монитора, содержащейся во вспомогательной информации.
(14) Устройство приема по п. (12) или (13), в котором,
данные передачи видеосигнала являются видеоданными, полученные путем дополнительного выполнения процесса преобразования уровня выходных видеоданных, полученных с применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от 100% до 100%*N, в уровень, соответствующий 100% от входных видеоданных, и
блок обработки преобразует уровни соответствующих пиксельных данных, соответствующих 100% от входных видеоданных, в уровни в диапазоне от уровня, соответствующего 100% входных видеоданных, до заданного уровня путем применения фильтра, указанного в информации фильтра, содержащейся во вспомогательной информации.
(15) Устройство приема по п. (12) или (13), в котором,
данные передачи видеосигнала являются видеоданными, полученные путем дополнительно выполнения процесса преобразования уровня выходных видеоданных, полученных с применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от порогового значения, равного или меньше, чем уровень, соответствующий от 100% до 100%*N, в уровень в диапазоне от порогового значения до уровня, соответствующего 100% входным видеоданным, и
блок обработки преобразует уровни соответствующих пиксельных данных передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, в уровни в диапазоне от порогового значения до заданного уровня путем применения фильтра, указанного в информации фильтра, содержащейся во вспомогательной информации.
(16) Устройство приема по п. (12) или (13), в котором
данные передачи видеосигнала являются видеоданными, полученные путем дополнительного выполнения процесса преобразования уровня выходных видеоданных, полученных с применением кривой гамма-распределения к входным видеоданным, чей уровень соответствует уровню входных видеоданных в диапазоне от порогового значения, равного или меньше, чем уровень, соответствующий 100% до 100%*N, в уровень в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, и
блок обработки преобразует уровни соответствующих пиксельных данных передачи видеосигнала в диапазоне от порогового значения до уровня, соответствующего 100% входных видеоданных, в уровни в диапазоне от порогового значения до заданного уровня путем применения информации кривой преобразования, содержащейся во вспомогательной информации.
(17) Устройство приема по п. (12) или (13), в котором
данные передачи видеосигнала являются выходными видеоданными без изменений, выходные видеоданные получены с применением кривой гамма-распределения к входным видеоданным, и
блок обработки преобразует уровни соответствующих пиксельных данных передачи видеосигнала в диапазоне от порогового значения, равного или ниже, чем уровень, соответствующий 100% входных видеоданных, до уровня, соответствующего 100%*N входных видеоданных, в уровни в диапазоне от порогового значения до заданного уровня, соответствующего L%*100 (L: число, равное или меньше N) входных видеоданных посредством применения информации кривой преобразования, содержащейся во вспомогательной информации.
(18) Способ приема содержит:
этап приема, на котором принимаются данные передачи видеосигнала, полученные с применением кривой гамма-распределения к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N (N: число, большее, чем 1); и
этап обработки, на котором преобразуется диапазон уровней высокоуровневой стороны данных передачи видеосигнала так, что максимальный уровень становится заранее определенным уровнем на основании вспомогательной информации, принятой вместе с данными передачи видеосигнала.
Настоящее изобретение главным образом характеризуется тем, что данные передачи видеосигнала, полученные с применением кривой гамма-распределения к входным видеоданным, с HDR передаются вместе со вспомогательной информацией (информация фильтра и информация кривой преобразования), используемая для преобразования уровня с высокой яркостью на приемной стороне, так чтобы реализовать дисплей с соответствующим динамическим диапазоном яркости на приемной стороне (см. фиг. 10).
Список ссылочных позиций
10 приемо-передающая система
30 система распределения потока
31 стример DASH сегмента
32 DASH MPD сервер
33-1 до 33-N IPTV устройство-клиент
34 CDN
40 приемо-передающая система
100 устройство передачи
101 блок управления
102 камера
103 блок преобразование цветового пространства
104 блок гамма обработки
105 видеокодер
106 системный кодер
107 блок передачи
200 устройство приема
201 блок управления
202 блок приема
203 системный декодер
204 видеодекодер
205 блок обработки HDR
206 блок преобразование цветового пространства
207 блок дисплея
251 блок обработки отсечения
252 блок обработки маркировки
253 блок обработки отображения диапазона
300 устройство передачи транспортного пакета
400 устройство приема транспортного пакета
Изобретение относится к устройству передачи для передачи видеоданных, полученных путем применения кривой гамма-распределения. Технический результат заключается в воспроизведении изображения с соответствующим динамическим диапазоном яркости на принимающей стороне. Указанный результат достигается тем, что применяется гамма-кривая к входным видеоданным, имеющим диапазон уровней от 0% до 100%*N, где N больше 1, для получения видеоданных для передачи, которые передаются вместе со вспомогательной информацией, используемой для преобразования высокояркостного уровня на приемной стороне. Диапазон уровня высокоуровневой стороны видеоданных для передачи преобразуется на приемной стороне так, чтобы максимальный уровень стал заданным уровнем на основании вспомогательной информации, принятой вместе с видеоданными для передачи. 4 н. и 9 з.п. ф-лы, 42 ил.
1. Устройство передачи, содержащее:
блок обработки, выполненный с возможностью применения гамма-кривой к входным видеоданным, имеющим первый диапазон значений яркости от низкого значения яркости до первого высокого значения яркости, для получения видеоданных для передачи, имеющих второй диапазон значений яркости от указанного низкого значения яркости до второго высокого значения яркости, меньшего чем первое высокое значение яркости; и
блок передачи, выполненный с возможностью передачи видеоданных для передачи вместе со вспомогательной информацией, используемой для преобразования видеоданных для передачи в преобразованные видеоданные, имеющие третий диапазон значения яркости от указанного низкого значения яркости до третьего высокого значения яркости, отличного от второго значения яркости, на приемной стороне,
при этом видеоданные для передачи представляют собой видеоданные, полученные посредством выполнения процесса преобразования значений яркости выходных видеоданных, полученных посредством применения гамма-кривой к входным видеоданным, причем указанные значения яркости лежат в диапазоне между вторым значением яркости и первым значением яркости, а преобразованные значения яркости имеют второе высокое значение яркости.
2. Устройство передачи по п. 1, в котором
блок передачи выполнен с возможностью передачи контейнера в заданном формате, содержащего видеопоток, полученный путем кодирования видеоданных для передачи,
при этом устройство передачи дополнительно содержит блок вставки вспомогательной информации, выполненный с возможностью вставки вспомогательной информации в уровень видеопотока или уровень контейнера.
3. Устройство передачи по п. 2, содержащее блок вставки информации идентификации, выполненный с возможностью вставки в уровень контейнера информации идентификации, указывающей, что вспомогательная информация вставлена в уровень видеопотока.
4. Устройство передачи по п. 1, в котором вспомогательная информация содержит информацию о фильтре, применяемом к значениям яркости видеоданных для передачи, имеющих второе высокое значение яркости.
5. Устройство передачи по п. 1, в котором блок обработки дополнительно выполнен с возможностью выполнения процесса преобразования значений яркости выходных видеоданных, полученных посредством применения гамма-кривой к входным видеоданным, причем указанные значения яркости находятся в диапазоне яркости между первым заданным значением, меньшим второго высокого значения яркости, и первым высоким значением яркости, а преобразованные значения яркости находятся в диапазоне яркости между первым заданным значением и вторым высоким значением яркости, для получения видеоданных для передачи.
6. Устройство передачи по п. 5, в котором вспомогательная информация содержит информацию о фильтре, применяемом к значениям яркости видеоданных для передачи, находящимся в диапазоне между первым заданным значением и вторым высоким значением яркости.
7. Устройство передачи по п. 5, в котором вспомогательная информация содержит информацию о кривой преобразования, применяемой к значениям яркости видеоданных для передачи, находящимся в диапазоне между первым заданным значением и вторым высоким значением яркости.
8. Способ передачи, содержащий:
этап обработки, на котором применяют гамма-кривую к входным видеоданным, имеющим первый диапазон значений яркости от низкого значения яркости до первого высокого значения яркости, для получения видеоданных для передачи, имеющих второй диапазон значений яркости от указанного низкого значения яркости до второго высокого значения яркости, меньшего чем первое высокое значение яркости; и
этап передачи, на котором выполняют передачу видеоданных для передачи вместе со вспомогательной информацией, используемой для преобразования видеоданных для передачи в преобразованные видеоданные, имеющие третий диапазон значений яркости от указанного низкого значения яркости до третьего высокого значения яркости, на приемной стороне,
при этом видеоданные для передачи представляют собой видеоданные, полученные посредством выполнения процесса преобразования значений яркости выходных видеоданных, полученных посредством применения гамма-кривой к входным видеоданным, причем указанные значения яркости лежат в диапазоне между вторым значением яркости и первым значением яркости, а преобразованные значения яркости имеют второе высокое значение яркости.
9. Устройство приема, содержащее:
блок приема, выполненный с возможностью приема видеоданных для передачи, полученных посредством применения гамма-кривой к входным видеоданным, имеющим первый диапазон значений яркости от низкого значения яркости до первого высокого значения яркости, причем видеоданные для передачи имеют второй диапазон значений яркости от указанного низкого значения яркости до второго высокого значения яркости, меньшего чем первое высокое значение яркости; и
блок обработки, выполненный с возможностью преобразования диапазона значений яркости видеоданных для передачи для увеличения максимального значения яркости видеоданных для передачи на основании вспомогательной информации, принимаемой вместе с видеоданными для передачи,
при этом видеоданные для передачи представляют собой видеоданные, полученные посредством выполнения процесса преобразования значений яркости выходных видеоданных, полученных посредством применения гамма-кривой к входным видеоданным, причем указанные значения яркости лежат в диапазоне между вторым значением яркости и первым значением яркости, а преобразованные значения яркости имеют второе высокое значение яркости.
10. Устройство приема по п. 9, в котором определяют максимальное значение яркости на основании информации о динамическом диапазоне яркости монитора, содержащейся во вспомогательной информации.
11. Устройство приема по п. 9, в котором
блок обработки выполнен с возможностью преобразования значений яркости видеоданных для передачи, имеющих второе значение яркости, к значениям яркости в диапазоне между вторым высоким значением яркости и третьим высоким значением яркости, отличным от второго высокого значения яркости, путем применения фильтра, указанного в информации о фильтре, содержащейся во вспомогательной информации.
12. Устройство приема по п. 9, в котором
видеоданные для передачи представляют собой видеоданные, полученные путем выполнения процесса преобразования значений яркости выходных видеоданных, полученных с применением гамма-кривой к входным видеоданным, причем указанные значения яркости находятся в диапазоне яркости между первым заданным значением, меньшим второго высокого значения яркости, и первым высоким значением яркости, а преобразованные значения яркости находятся в диапазоне между первым заданным значением и вторым высоким значением яркости,
при этом блок обработки выполнен с возможностью преобразования значений яркости видеоданных для передачи в диапазоне между первым заданным значением и вторым высоким значением яркости к значениям яркости в диапазоне между первым заданным значением и третьим высоким значением яркости, отличным от второго высокого значения яркости, путем применения фильтра, указанного в информации о фильтре, содержащейся во вспомогательной информации, или путем применения информации о кривой преобразования, содержащей во вспомогательной информации.
13. Способ приема, содержащий:
этап приема, на котором принимают видеоданные для передачи, полученные с применением гамма-кривой к входным видеоданным, имеющим первый диапазон значений яркости от низкого значения яркости до первого высокого значения яркости, при этом видеоданные для передачи имеют второй диапазон значений яркости от указанного низкого значения яркости до второго высокого значения яркости, меньшего первого высокого значения яркости; и
этап обработки, на котором преобразуют значения яркости видеоданных для передачи для увеличения максимального уровня яркости видеоданных для передачи на основании вспомогательной информации, принятой вместе с видеоданными для передачи,
при этом видеоданные для передачи представляют собой видеоданные, полученные посредством выполнения процесса преобразования значений яркости выходных видеоданных, полученных посредством применения гамма-кривой к входным видеоданным, причем указанные значения яркости лежат в диапазоне между вторым значением яркости и первым значением яркости, а преобразованные значения яркости имеют второе высокое значение яркости.
| Hattori S | |||
| et al., Signalling of Luminance Dynamic Range in Tone mapping information SEI, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCTVC-J0149, 10th Meeting: Stockholm, 11-20 July 2012 | |||
| WO 2013039730 A2, 2013-03-21 | |||
| US 2008231688 A1, 2008-09-25 | |||
| US 5534948 A, 1996-07-09 | |||
| WO 2013046095 A1, 2013-04-04 | |||
| УСТРОЙСТВО ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ, СПОСОБ ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ | 2010 |
|
RU2446611C1 |
