Область техники, к которой относится изобретение
Настоящее изобретение касается устройства передачи, способа передачи, устройства приема и способа приема и, более конкретно, касается, например, устройства передачи, в котором передают видеоданные после сжатия диапазона уровней видеоданных.
Уровень техники
Известно, что показ изображения большого динамического диапазона (HDR) в широком динамическом диапазоне на мониторе с малым динамическим диапазоном (LDR), выполненном для показа изображения с нормальной яркостью, порождает монотонно черные цвета в темных частях и в монотонно белые цвета в яркой части HDR изображения и делает изображение целиком темным. На фиг. 23(a) показан пример распределения уровней яркости исходного HDR изображения в диапазоне уровней от нуля до 100*N%. В этом примере, значения «%» представляют собой проценты яркости, когда 100 кд/м2 представляет собой 100%. На фиг. 23(b) показан пример распределения уровней яркости LDR изображения, полученного сжатием исходного HDR изображения до LDR диапазона. Пик яркости LDR изображения находится на более низком уровне по сравнению с уровнем пика яркости HDR изображения. Это делает LDR изображение целиком темным.
Также известна гамма-коррекция. При гамма-коррекции попадающие на вход данные с характеристикой, противоположной характеристике монитора, корректируются с помощью характеристики гамма монитора. Например, в непатентном документе 1 описано, что применение гамма-кривой для входных данных на уровнях от 0 до 100%*N (N больше единицы) обеспечивает получение видеоданных для передачи, а при кодировании видеоданных для передачи вырабатывают видеопоток. Далее передают видеопоток.
Список цитируемой литературы
Патентные документы, на которые присутствуют ссылки
Непатентный документ 1: Текстовая спецификация по высокоэффективному кодированию (HEVC) видео, проект 10 (для FDIS & Last Call)
Сущность изобретения
Задачи, которые должно решить изобретение
Задача настоящего изобретения заключается в том, чтобы предоставить возможность хорошего показа LDR изображения, выработанного из HDR видеоданных.
Решение задач
Одна идея настоящего изобретения заключена в устройстве передачи, которое содержит:
блок преобразования уровней, который обеспечивает видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней, путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок передачи, который передает видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце.
В соответствии с настоящим изобретением, блок преобразования уровней обеспечивает видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней, путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней. Например, первый диапазон уровней может быть равным от нуля до N%, где N является числом, большим 100, а второй диапазон уровней может быть от нуля до Р%, где Р является числом, большим или равным 100 и меньшим или равным N.
Блок передачи передает видеоданные для передачи, полученные в блоке преобразования уровней, вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце. Например, блок передачи может передать видеопоток, полученный путем кодирования видеоданных для передачи, и вспомогательная информация может быть вставлена в слой видеопотока.
В соответствии с настоящим изобретением, как описано выше, например, с помощью применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней, получают видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже первого диапазона уровней. Далее, видеоданные для передачи передают в устройство приема. Таким образом, использование в качестве заранее заданной кривой отображения уровней характеристики, соответствующей содержанию изображения, позволяет хорошо показывать LDR изображение, выработанное из видеоданных для передачи. Более того, в соответствии с настоящим изобретением, вспомогательную информацию, используемую для преобразования уровней на приемном конце, передают вместе с видеоданными для передачи. Это позволяет, например, на приемном конце надлежащим образом преобразовывать уровни видеоданных для передачи в соответствии с вспомогательной информацией и, таким образом, показывать изображение с хорошим качеством.
Заметим, что в настоящем изобретении, например, вспомогательная информация может быть информацией о кривой отображения уровней и/или информацией о характеристике электронно-оптического преобразования. В этом примере, на приемном конце могут восстановить HDR видеоданные для HDR монитора из видеоданных для передачи в соответствии с информацией о кривой отображения уровней и, таким образом, могут показывать изображение с хорошим качеством.
Более того, на приемном конце, например, могут преобразовать уровни видеоданных для передачи или уровни видеоданных, полученных при отображении уровней видеоданных для передачи в ходе отображения уровней, в соответствии с информацией о кривой отображения уровней, в уровни, подходящие для характеристики гамма монитора в соответствии с информацией о характеристике электронно-оптического преобразования (в электронно-оптическом преобразовании). Таким образом, изображение может быть показано с хорошим качеством.
Например, информация о характеристике электронно-оптического преобразования, которую в блоке передачи передают вместе с видеоданными для передачи, может содержать информацию о нескольких характеристиках электронно-оптического преобразования. В этом примере, например, на приемном конце автоматически или вручную выбирают характеристику электронно-оптического преобразования, подходящую для яркости окружающей среды, в которой просматривают изображение, из нескольких характеристик электронно-оптического преобразования, и используют выбранную характеристику электронно-оптического преобразования. Это позволяет на приемном конце показывать высококачественное изображение, подходящее к яркости окружающей среды, в которой просматривают изображение.
Более того, другая идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема, который принимает видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней, видеоданные для передачи получают путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок обработки, который преобразует уровни видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи.
В соответствии с настоящим изобретением, с помощью применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней, получают видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней. Далее, в блоке приема принимают видеоданные для передачи, находящиеся во втором диапазоне уровней. В блоке обработки преобразуют уровни видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи.
Как описано выше в настоящем изобретении, уровни видеоданных для передачи преобразуют в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи. Таким образом, уровни видеоданных для передачи надлежащим образом преобразованы. Это надлежащее преобразование позволяет показывать изображение на мониторе с хорошим качеством.
Заметим, что в настоящем изобретении, например, вспомогательная информация может быть информацией о кривой отображения уровней и/или информацией о характеристике электронно-оптического преобразования. В этом примере, например, HDR видеоданные для HDR монитора могут быть восстановлены из видеоданных для передачи в соответствии с информацией о кривой отображения уровней. Таким образом, HDR изображение может быть показано с хорошим качеством. Более того, в этом примере, например, уровни видеоданных для передачи или уровни видеоданных, полученных при отображении уровней видеоданных для передачи в соответствии с информацией о кривой отображения уровней в ходе отображения уровней, могут быть преобразованы в уровни, подходящие для характеристики гамма монитора в соответствии с информацией о характеристике электронно-оптического преобразования (в электронно-оптическом преобразовании). Таким образом, изображение может быть показано с хорошим качеством.
Например, блок обработки может получить видеоданные для вывода, находящиеся в третьем диапазоне уровней, который шире второго диапазона уровней, что могут сделать путем отображения уровней видеоданных для передачи, находящихся во втором диапазоне уровней, в соответствии с информацией о кривой отображения уровней. В таком случае, например, первый диапазон уровней может быть от нуля до N%, где N является числом, большим 100, второй диапазон уровней может быть от нуля до Р%, где Р является числом, большем или равным 100 и меньшим или равным N, а третий диапазон уровней может быть от нуля до Q%, где Q является числом, большим или равным 100 и меньшим или равным N. В таком случае, наивысший уровень в третьем диапазоне уровней может быть определен в соответствии с информацией о наивысшем уровне, который возможно показать.
Более того, например, блок обработки может получать видеоданные для вывода с помощью электронно-оптического преобразования видеоданных для передачи, находящихся во втором диапазоне уровней, или видеоданных, находящихся в третьем диапазоне уровней, который шире или равен второму диапазону уровней, что делают в соответствии с информацией о характеристике электронно-оптического преобразования в ходе электронно-оптического преобразования, и видеоданные, находящиеся в третьем диапазоне уровней, получают путем преобразования уровней видеоданных для передачи в соответствии с информацией о кривой отображения уровней.
Более того, например, информация о характеристике электронно-оптического преобразования, принятая вместе с видеоданными для передачи, может содержать информацию о характеристиках электронно-оптического преобразования, и в блоке выбора выбирают характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования. В таком случае, например, в блоке выбора могут выбрать характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования в соответствии с выходом датчика или вводом, выполненным пользователем. В этом примере, характеристику электронно-оптического преобразования, подходящую к яркости окружающей среды, в которой просматривают изображение, могут автоматически или вручную выбирать из нескольких характеристик электронно-оптического преобразования и использовать. Таким образом, изображение, подходящее для яркости окружающей среды, в которой просматривают изображение, может быть показано с хорошим качеством.
Результаты, достигаемые с помощью изобретения
Настоящее изобретение предоставляет возможность хорошего показа LDR изображения, выработанного из HDR видеоданных. Заметим, что описанные здесь результаты представляют собой только примеры, и результаты настоящего изобретения не ограничены описанными результатами. Результаты настоящего изобретения могут содержать дополнительный результат.
Краткое описание чертежей
Фиг. 1 - вид, показывающий структурную схему, иллюстрирующую пример конфигурации системы передачи и приема в качестве одного варианта осуществления изобретения;
фиг. 2(a) и 2(b) - виды, показывающие примеры схем HDR преобразования, осуществляемого на передающем конце;
фиг. 3 - вид, показывающий характеристики примеров HDR преобразования (кривые отображения уровней);
фиг. 4(a)-4(c) - виды, показывающие примеры схем обратного HDR преобразования, осуществляемого на приемном конце;
фиг. 5 - вид, показывающий характеристики примеров обратного HDR преобразования (кривые отображения уровней);
фиг. 6 - вид, показывающий характеристики примеров электронно-оптического преобразования;
фиг. 7 - вид, показывающий блок-схему примера конфигурации устройства передачи;
фиг. 8 - вид, показывающий схему блока доступа в начале GOP, когда схема кодирования представляет собой HEVC;
фиг. 9 - вид, показывающий схему примера структуры SEI сообщения HDR отображения;
фиг. 10 - вид, показывающий схему примера структуры SEI сообщения HDR отображения;
фиг. 11 - вид, показывающий содержание основной информации в примере структуре сообщения SEI сообщения HDR отображения;
фиг. 12 - вид, показывающий пример структуры дескриптора HDR информации;
фиг. 13 - вид, показывающий содержание основной информации в примере структуре дескриптора HDR информации;
фиг. 14 - вид, показывающий пример структуры транспортного потока;
фиг. 15 - вид, показывающий блок-схему примера конфигурации устройства приема;
фиг. 16 - вид, показывающий примеры комбинации основного типа, указанного в «eotf_table_type_main» информации, и подтипа, указанного в «eotf_table_type_sub» информации;
фиг. 17 - вид, показывающий пример схемы характеристик кривых преобразования, указанных с помощью основного типа и подтипа;
фиг. 18 - вид, показывающий схему взаимодействия в устройстве приема обратного HDR преобразования и электронно-оптического преобразования;
фиг. 19 - вид, показывающий блок-схему примера последовательности обработки, осуществляемой в устройстве приема;
фиг. 20(a) и 20(b) - виды, показывающий примеры схем характеристики электронно-оптического преобразования, в которой отражается характеристика обратного HDR преобразования;
фиг. 21(a) и 21(b) - виды, показывающий примеры схем характеристики электронно-оптического преобразования, в которой отражается характеристика обратного HDR преобразования;
фиг. 22(a) и 22(b) - виды, показывающий примеры характеристик оптоэлектронного преобразования, в которой отражается характеристика обратного HDR преобразования;
фиг. 23(a) и 23(b) - виды, показывающие, что, когда LDR изображение получают путем сжатия HDR изображения до LDR диапазона, пик яркости LDR изображения находится на меньшем уровне по сравнению с уровнем пика яркости HDR изображения.
Вариант осуществления изобретения
Здесь и далее будет описан вариант осуществления изобретения. Заметим, что этот вариант осуществления изобретения будет описан в следующем порядке.
1. Вариант осуществления изобретения
2. Пример изменения
<1. Вариант осуществления изобретения>
[Пример конфигурации системы передачи и приема]
На фиг. 1 показан пример конфигурации системы 10 передачи и приема в качестве одного варианта осуществления изобретения. Система 10 передачи и приема содержит устройство 100 передачи и устройство 200 приема.
В устройстве 100 передачи вырабатывают MPEG-2 транспортный поток TS в качестве контейнера, и передают MPEG-2 транспортный поток TS в радиовещательном диапазоне или в пакетах по сети интернет. Транспортный поток TS содержит видеопоток, полученный путем кодирования видеоданных для передачи.
Видеоданные для передачи представляют собой видеоданные LDR изображения, полученные путем применения заранее заданной кривой отображения уровней к видеоданным исходного HDR изображения, которые являются входными видеоданными.
При упомянутом применении, диапазон уровней видеоданных для передачи сжат по сравнению с диапазоном уровней входных видеоданных. Тем не менее, весь диапазон уровней не обязательно сжат равномерно. В зависимости от кривой отображения уровней, выработан диапазон слабого сжатия и диапазон сильного сжатия. Ширина или положение диапазона слабого сжатия также изменяется.
В этом примере, исходное HDR изображение, а именно, входные видеоданные, находится в первом диапазоне уровней, а изображение, подлежащее передаче, а именно, видеоданные для передачи, находится во втором диапазоне уровней, которых уже первого диапазона уровней. На фиг. 2(a) показаны уровни исходного HDR изображения, другими словами, показан пример распределения уровней входных видеоданных. В этом примере, входные видеоданные находятся в диапазоне уровней от нуля до N% (N>100). На фиг. 2(b) показаны уровни закодированного и переданного изображения, другими словами, показан пример распределения уровней видеоданных для передачи. В этом примере, видеоданные для передачи находятся в диапазоне уровней от нуля до Р% (100<=Р<N). Заметим, что значения «%» указывают значение относительно 100 кд/м2, которое равно 100%.
Диапазон от нуля до J% входных видеоданных представляет собой диапазон сильного сжатия. Диапазон преобразуют в диапазон от нуля до J'% видеоданных для передачи с помощью процесса отображения уровней. Диапазон от J до K% входных видеоданных представляет собой диапазон слабого сжатия. Диапазон преобразуют в диапазон от J' до K'% видеоданных для передачи с помощью процесса отображения уровней. Диапазон от K до N% входных видеоданных представляет собой диапазон сильного сжатия. Диапазон преобразуют в диапазон от K' до Р% видеоданных для передачи с помощью процесса отображения уровней.
В этом примере, диапазон слабого сжатия представляет собой диапазон уровней яркости, в котором исходное изображение передают с малой потерей качества из-за процесса отображения уровней. С другой стороны, диапазон сильного сжатия представляет собой диапазон уровней, в котором уровни исходного изображения в ходе процесса отображения уровней проактивно сжимают до заранее заданных уровней для показа. Описанное выше выборочное сжатие диапазона уровней позволяет надлежащим образом показать темные и яркие части изображения в устройстве (монитор) показа, которое несовместимо с HDR изображением.
На фиг. 3 показаны примеры характеристик HDR преобразования, а именно, примеры кривых отображения уровней. Кривая (1) отображения уровней является примером, в котором темную часть изображения выражают очень точно. В этом примере, диапазон уровней разделен на три диапазона: диапазон темных уровней, диапазон средних уровней и диапазон ярких уровней. Диапазон темных уровней преобразуют в диапазон с наибольшим количеством уровней, диапазон средних уровней преобразуют в диапазон со вторым наибольшим количеством уровней, а диапазон ярких уровней преобразуют в диапазон с малым количеством уровней. Кривая (2) отображения уровней является примером, в котором часть в диапазоне средних уровней выражают очень точно. В этом примере, диапазон средних уровней из трех полученных в результате деления уровней преобразуют в диапазон с наибольшим количеством уровней, диапазон ярких уровней преобразуют в диапазон со вторым наибольшим количеством уровней, а диапазон темных уровней преобразуют в диапазон с малым количеством уровней. Кривая (3) отображения уровней является примером, в котором части из трех диапазонов уровней яркости изображения выражают одинаково. На фиг. 3 показаны трехзвенные кривые отображения уровней. Тем не менее, заметим, что количество не ограничено числом три.
В устройстве 100 передачи передают видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней видеоданных на приемном конце. Например, в качестве вспомогательной информации в устройстве 100 передачи в слой видеопотока вставляют информацию о кривой отображения уровней и/или информацию о характеристике электронно-оптического преобразования.
Информация о кривой отображения уровней содержит, например, процент пикового уровня яркости по несжатой оси (смотри «Uw» на фиг.3), проценты уровней точек отображения в диапазоне в виде процента от пикового уровня по несжатой оси (смотри «U1» и «U2» на фиг. 3), процент пикового уровня яркости по оси сжатых уровней (смотри «Vw» на фиг. 3), и проценты уровней точек отображения в диапазоне в виде процента от пикового уровня по оси сжатых уровней (смотри «V1» и «V2» на фиг. 3). Информация о характеристике электронно-оптического преобразования содержит, например, тип характеристики электронно-оптического преобразования или значение таблицы (LUT) соответствия, указывающее характеристику электронно-оптического преобразования.
В устройстве 200 приема принимают транспортный поток TS, переданный от устройства 100 передачи в радиовещательном диапазоне или в пакетах по сети интернет. Транспортный поток TS содержит видеопоток, полученный путем кодирования видеоданных для передачи. В устройстве 200 приема получают видеоданные для показа (видеоданные для вывода), например, с помощью процесса декодирования видеопотока.
Как описано выше, в качестве вспомогательной информации в слой видеопотока вставляют информацию о кривой отображения уровней и/или информацию о характеристике электронно-оптического преобразования. В соответствии с информацией о кривой отображения уровней в устройстве 200 приема вырабатывают видеоданные HDR изображения, подлежащие воспроизведению, путем обратного преобразования видеоданных для передачи в ходе обратного HDR преобразования, которое противоположно HDR преобразованию, выполняемому в устройстве 100 передачи.
Диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, представляет собой третий диапазон уровней, который шире или равен второму диапазону уровней, который является диапазоном уровней видеоданных для передачи. Наивысший уровень (пиковый уровень) видеоданных HDR изображения, подлежащего воспроизведению, ограничен, например, наивысшим уровнем (пиковым уровнем) видеоданных исходного HDR изображения или наивысшим уровнем (пиковым уровнем), который в функции приема определяют как наивысший уровень для показа.
Аналогично фиг. 2(b), на фиг. 4(a) показаны примеры уровней закодированного и переданного изображения, а именно, показан пример распределения уровней видеоданных для передачи. В этом примере, видеоданные для передачи находятся в диапазоне уровней от нуля до Р% (100<=Р<N). На фиг. 4(b) показан пример распределения уровней видеоданных HDR изображения, полученных в соответствии с информацией о кривой отображения уровней в ходе обратного преобразования видеоданных для передачи при преобразовании, которое противоположно HDR преобразованию, выполняемому на передающем конце. Аналогично видеоданным исходного HDR изображения, видеоданные HDR изображения в этом примере находятся в диапазоне уровней от нуля до N% (N>100).
На фиг. 5 показаны примеры характеристик обратного HDR преобразования в соответствии с информацией о кривой отображения уровней. Характеристики (1), (2) и (3) обратного HDR преобразования соответствуют кривым (1), (2) и (3) отображения уровней с фиг. 3 соответственно.
В настоящем варианте осуществления изобретения, наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, полученных в ходе обратного HDR преобразования, определяют так, как описано ниже в зависимости от величины отношения наивысшего уровня (N%) видеоданных исходного HDR изображения и наивысшего уровня, который в функции приема определяют как наивысший уровень (Q%) для показа. Другими словами, когда справедливо Р<Q<N, наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, равен Q%. Когда справедливо Р<N<Q, наивысший уровень видеоданных HDR изображения, подлежащих воспроизведению, равен N%.
На фиг. 4(b) показано распределение уровней видеоданных HDR изображения, подлежащего воспроизведению, когда наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, равен N%. В этом примере, в ходе обратного HDR преобразования, диапазон уровней видеоданных для передачи от нуля до J'% преобразуют в диапазон уровней HDR изображения, подлежащего воспроизведению, от нуля до J%. В ходе обратного HDR преобразования диапазон уровней видеоданных для передачи от J' до K'% преобразуют в диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, от J до K%.
В ходе обратного HDR преобразования диапазон уровней видеоданных для передачи от K' до Р% преобразуют в диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, от К до N%. В этом примере, для показа части при большом значении уровня в HDR изображении, подлежащем воспроизведению, большое значение уровня части в видеоданных HDR изображения, подлежащего воспроизведению, получают путем умножения большого значения уровня части видеоданных для передачи на отношение (N-K)/(Р-K').
На фиг. 4(c) показано распределение уровней видеоданных HDR изображения, подлежащего воспроизведению, когда наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, равен Q%. В этом примере, в ходе обратного HDR преобразования диапазон уровней видеоданных для передачи от нуля до J'% преобразуют в диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, от нуля до J%. В ходе обратного HDR преобразования диапазон уровней входных видеоданных от J' до K'% преобразуют в диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, от J до K%.
В ходе обратного HDR преобразования диапазон уровней входных видеоданных от K' до Р% преобразуют в диапазон уровней видеоданных HDR изображения, подлежащего воспроизведению, от K до Q%. В этом примере, для показа части при большом значении уровня в HDR изображении, подлежащем воспроизведению, большое значение уровня части в видеоданных HDR изображения, подлежащего воспроизведению, получают путем умножения большого значения уровня части видеоданных для передачи на отношение (Q-K)/(Р-K').
В устройстве 200 приема вырабатывают видеоданные для показа (видеоданные для вывода) путем преобразования видеоданных для передачи или видеоданных HDR изображения, полученных путем обратного преобразования видеоданных для передачи в ходе обратного HDR преобразования в соответствии с информацией о характеристике электронно-оптического преобразования процесса электронно-оптического преобразования.
На фиг. 6 показаны примеры характеристик электронно-оптического преобразования. Кривая а указывает пример характеристики электронно-оптического преобразования, используемой для показа части с малой яркостью с высокой степенью точности. Кривая b указывает пример характеристики электронно-оптического преобразования, используемой для грубого показа части с чрезвычайно малой яркостью и показа части с другой яркостью с высокой степенью точности. Кривая с указывает пример характеристики электронно-оптического преобразования, используемой для показа изображения с сохранением хорошего баланса между частью с высокой яркостью и частью с малой яркостью в изображении. Заметим, что характеристика оптоэлектронного преобразования, используемая в устройстве 100 передачи, обычно противоположна характеристике электронно-оптического преобразования, используемой в устройстве 200 приема.
«Пример конфигурации устройства передачи»
На фиг. 7 показан пример конфигурации устройства 100 передачи. Устройство 100 передачи содержит блок 101 управления, камеру 102, блок 103 оптоэлектронного преобразования, блок 104 HDR преобразования, устройство 105 кодирования видео, устройство 106 кодирования системы и блок 107 передачи. Блок 101 управления содержит центральный процессор (CPU) и в нем управляют работой каждого блока в устройстве 100 передачи в соответствии с программой управления, хранящейся в блоке управления (не показан).
В камере 102 формируют изображение объекта и выводят видеоданные в виде изображения большого динамического диапазона (HDR). Видеоданные находятся в диапазоне уровней от нуля до 100%N, например, от нуля до 400% или от нуля до 800%). В этом примере, уровень «%» соответствует значению белой яркости в 100 кд/м2.
В блоке 103 оптоэлектронного преобразования оптоэлектронным образом преобразуют видеоданные, полученные из камеры 102, что делают путем применения к видеоданным гамма-кривой. В блоке 104 HDR преобразования вырабатывают видеоданные LDR изображения для передачи в сжатом диапазоне уровней (смотри фиг. 2(a) и 2(b)), что делают с помощью преобразования оптоэлектронно преобразованных видеоданных HDR изображения путем применения к видеоданным заранее заданной кривой отображения уровней (смотри фиг. 3) при HDR преобразовании (отображение уровней). Благодаря этому преобразованию, когда изображение, поданное в блок 104 HDR преобразования, показывают с 12 битами или более, изображение, поданное из блока 104 HDR преобразования, показывают с 10 битами или менее. Заметим, что, в качестве кривой отображения уровней использованной в этом примере, с помощью автоматической операции или операции пользователя выбирают заранее заданную кривую отображения уровней, связанную с параметром, указывающим яркость изображения.
В устройстве 105 кодирования видео получают закодированные видеоданные, что делают путем кодирования видеоданных для передачи, выработанных в блоке 104 HDR преобразования, например, в MPEG-4 AVC, MPEG-2 видео или высокоэффективное кодирование (HEVC) видео. В устройстве 105 кодирования видео вырабатывают видеопоток (элементарный видеопоток), содержащий закодированные видеоданные, что делают с использованием устройства форматирования потока, расположенного на выходном конце (не показано).
При этом в устройстве 105 кодирования видео вставляют в слой видеопотока вспомогательную информацию. Вспомогательную информацию используют для преобразования уровней на приемном конце. Вспомогательная информация представляет собой информацию о кривой отображения уровней, использованной в блоке 104 HDR преобразования, и информацию о характеристике электронно-оптического преобразования. Характеристика электронно-оптического преобразования, указанная в информации о характеристике электронно-оптического преобразования, зависит от характеристик изображения и ее выбирают с помощью автоматической операции или операции пользователя.
В устройстве 106 кодирования системы вырабатывают транспортный поток TS, содержащий видеопоток, выработанный в устройстве 105 кодирования видео. В блоке 107 передачи передают в устройство 200 приема транспортный поток TS в радиовещательном диапазоне или в пакетах по сети интернет.
Между тем, в устройстве 106 кодирования системы могут вставить в слой транспортного потока TS идентификационную информацию, которая указывает, что вспомогательная информация (информация о кривой отображения уровней и информация о характеристике электронно-оптического преобразования), используемая для преобразования уровней на приемном конце, вставлена в слой видеопотока. В таком случае, в устройстве 106 кодирования системы вставляют идентификационную информацию, например, под элементарный цикл (Видео ES цикл) видео таблицы (РМТ) структуры программы, содержащейся в транспортном потоке TS.
Коротко опишем работу устройства 100 передачи, показанного на фиг. 7. В камере 102 формируют изображение объекта и получают видеоданные HDR изображения. Далее, в блоке 103 оптоэлектронного преобразования оптоэлектронным образом преобразуют видеоданные HDR изображения путем применения гамма-кривой к видеоданным HDR изображения и передают оптоэлектронным образом преобразованные видеоданные в блок 104 HDR преобразования. В блоке 104 HDR преобразования вырабатывают видеоданные LDR изображения для передачи, что делают с помощью преобразования оптоэлектронным образом преобразованных видеоданных HDR изображения путем применения к оптоэлектронным образом преобразованным видеоданным HDR изображения заранее заданной кривой отображения уровней в ходе HDR преобразования (смотри фиг. 2(a) и (b)).
Видеоданные LDR изображения для передачи, выработанные в блоке 104 HDR преобразования, подают в устройство 105 кодирования видео. В устройстве 105 кодирования видео вырабатывают видеопоток (элементарный видеопоток), содержащий закодированные видеоданные, что делают путем кодирования видеоданных LDR изображения для передачи, например, в HEVC. Между тем, в устройстве 105 кодирования видео вставляют в слой видеопотока идентификационную информацию (информацию о кривой отображения уровней и информацию о характеристике электронно-оптического преобразования), используемую для преобразования уровней на приемном конце.
Видео поток, выработанный в устройстве 105 кодирования видео, подают в устройство 106 кодирования системы. В устройстве 106 кодирования системы вырабатывают MPEG-2 транспортный поток TS, содержащий видеопоток. В блоке 107 передачи передают в устройство 200 приема транспортный поток TS в радиовещательном диапазоне или в пакетах по сети интернет.
[Вспомогательная информация, идентификационная информация и структура TS]
Как описано выше, идентификационную информацию (информацию о кривой отображения уровней и информацию о характеристике электронно-оптического преобразования) вставляют в слой видеопотока. Например, когда в качестве схемы кодирования используют HEVC, вспомогательную информацию вставляют в виде SEI сообщения HDR отображения (SEI сообщение HDR_mapping) в часть «SEI» в блоке (AU) доступа.
На фиг. 8 показан блок доступа в начале группы изображений (GOP), когда в качестве схемы кодирования используют HEVC. Когда в качестве схемы кодирования используют HEVC, группу SEI сообщение «Prefix_SEI», используемую для декодирования, располагают до «слоев», в которых кодируют данные пикселов, а группу SEI сообщение «Suffix_SEI», используемую для показа, располагают после «слоев». SEI сообщение HDR отображения располагают как группу SEI сообщения «Suffix_SEI».
На фиг. 9 и фиг. 10 показан пример структуры (синтаксис) «SEI сообщения HDR отображения». На фиг. 11 показано содержание (семантика) основной информации в примере структуры. «HDR_mapping_refresh_flag» является информацией в виде однобитового флага. «1» указывает на то, что обновлено предыдущее сообщение о HDR отображении. «0» указывает на то, что предыдущее сообщение не обновлено.
Когда «HDR_mapping_refresh_flag» равен «1» существует следующая информация. Восьмибитовое поле «coded_data_bits» указывает длину в битах закодированных данные со значениями. 16-битовое поле «uncompressed_peak_level_percentage» указывает процент наивысшего уровня данных исходного изображения (значение относительно 100 кд/м2), например, значение «Uw» на фиг. 3. 16-битовое поле «compressed_peak_level_percentage» указывает процент наивысшего уровня данных закодированного изображения (значение относительно 100 кд/м2), например, значение «Vw» на фиг. 3.
«level_mapping_flag» является информацией в виде однобитового флага, указывающей, существуют ли параметры для отображения уровней. «1» указывает на то, что параметры для отображения уровней существуют. «eotf_linked_flag» является информацией в виде однобитового флага, указывающей, использовать ли кривую электронно-оптического преобразования (EOTF) для осуществления отображения уровней. «1» указывает, что кривую электронно-оптического преобразования (EOTF) используют для осуществления отображения уровней.
Когда «level_mapping_flag» равен «1» существует следующая информация. Восьмибитовое поле «number_of_mapping_periods» указывает количество связанных кривых отображения уровней. Например, количество связанных кривых отображения уровней равно трем на фиг. 3. 16-битовое поле «compressed_mapping_point» указывает точку, где по оси сжатых уровней изменяется в процентах кривая отображения уровней в предположении, что «compressed_peak_level_percentage» равен 100%. Например, точка является значением «V1, V2 или Vw» на фиг. 3. 16-битовое поле «uncompressed_mapping_point» указывает точку, где по оси несжатых уровней изменяется в процентах кривая отображения уровней в предположении, что «uncompressed_peak_level_percentage» равен 100%). Например, точка является значением «U1, U2 или Uw» на фиг. 3.
Когда «eotf_linked_flag» равен «1» существует следующая информация. Четырехбитовое поле «eotf_table_type_main» указывает основной тип кривой электронно-оптического преобразования (EOTF) и указывает, что передают кривую электронно-оптического преобразования (EOTF), специальную для конкретного изображения, когда «eotf_linked_flag» равен «0×F». 16-битовое поле из «tbl указывает выходное значения для входного значения «j» на переданной кривой электронно-оптического преобразования (EOTF).
На фиг. 12 показан пример структуры (синтаксис) дескриптора HDR информации (дескриптор HDR_information) как идентификационной информации. На фиг. 13 показано содержание (семантика) основной информации в примере структуры.
Восьмибитовое поле «HDR_information descriptor tag» указывает тип дескриптора и в этом примере указывает, что тип представляет собой дескриптор HDR информации. Восьмибитовое поле «HDR_information descriptor length» указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байт.
Однобитовое поле «HDR_mapping_SEI_existed» представляет собой информационный флаг, указывающий, существует ли SEI информация HDR отображения в видеослое (слое видеопотока). «1» указывает, что SEI информация HDR отображения существует, а «0» указывается, что SEI информации HDR отображения не существует.
На фиг. 14 показан пример структуры транспортного потока TS. Транспортный поток TS содержит PES пакет «PID1:video PES1» элементарного видеопотока. SEI сообщение HDR отображения (SEI сообщение HDR_mapping) вставлено в элементарный видеопоток.
Транспортный поток TS дополнительно содержит таблицу (РМТ) структуры программы в качестве зависимой от программы информации (PSI). PSI указывает, какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке. Транспортный поток TS дополнительно содержит таблицу (EIT) информации о событиях в качестве Служебной информации (SI), используемой для управления каждым событием (программой).
В РМТ существует элементарный цикл, содержащий информацию, касающуюся каждого элементарного потока. В этом примере структуры, существует элементарный цикл видео (Видео ES цикл). Информация, например, о типе потока и идентификаторе (PID) пакета расположена в элементарном цикле видео, соответствующем каждому элементарному видеопотоку, и также расположен дескриптор, указывающий информацию, касающуюся элементарного видеопотока.
Дескриптор HDR информации (дескриптор HDR_information) расположен под элементарным циклом видео (Видео ES цикл) в РМТ. Дескриптор указывает, вставлена ли SEI информация HDR преобразования, как описано выше.
«Пример конфигурации устройства приема»
На фиг. 15 показан пример конфигурации устройства 200 приема. Устройство 200 приема содержит блок 201 управления, блок 202 приема, устройство 203 декодирования системы, устройство 204 декодирования видео, блок 205 обратного HDR преобразования, блок 206 электронно-оптического преобразования и блок 207 показа. Блок 201 управления содержит центральный процессор (CPU) и в нем управляют каждым блоком в устройстве 200 приема в соответствии с программой управления, хранящейся в блоке управления (не показан).
В блоке 202 приема принимают транспортный поток TS, переданный от устройства 100 передачи в радиовещательном диапазоне или в пакетах по сети интернет. В устройстве 203 декодирования системы из транспортного потока TS извлекают видео поток (элементарный поток). Когда идентификационную информацию, которая указывает, что вставлена вспомогательная информация (информация о кривой отображения уровней и информация о характеристике электронно-оптического преобразования), вставили в слой транспортного потока TS, в устройстве 203 декодирования системы извлекают и передают в блок 201 управления идентификационную информацию.
По идентификационной информации, в блоке 201 управления могут распознать, что в видеопоток вставлена вспомогательная информация (информация о кривой отображения уровней и информация о характеристике электронно-оптического преобразования), а именно SEI сообщение HDR отображения (SEI сообщение HDR_mapping). На основе этого распознавания, в блоке 201 управления могут управлять, например, устройством 204 декодирования видео с целью активного получения SEI сообщения HDR отображения.
В устройстве 204 декодирования видео получают видеоданные основной полосы (видеоданные для передачи) путем декодирования, в ходе процесса декодирования, видеопотока, извлеченного в устройстве 203 декодирования системы. В устройстве 204 декодирования видео извлекают SEI сообщения, вставленные в видеопоток, и передают SEI сообщения в блок 201 управления. SEI сообщения содержат SEI сообщение HDR отображения (SEI сообщение HDR_mapping). В блоке 201 управления управляют процессом декодирования или процессом показа в соответствии с SEI сообщениями.
В блоке 205 обратного HDR преобразования вырабатывают видеоданные HDR изображения, подлежащего воспроизведению, в расширенном диапазоне уровней, что делают в ходе обратного HDR преобразования путем обратного преобразования видеоданных для передачи, полученных в устройстве 204 декодирования видео, в соответствии с информацией о кривой отображения уровней, содержащейся в SEI сообщении HDR отображения (смотри фиг. 4(a)-4(c)). В ходе обратного HDR преобразования, например, когда изображение, поданное в блок 205 обратного HDR преобразования, показывают с 10 битами или менее в этом примере, изображение, поданное из блока 205 обратного HDR преобразования, показывают с 12 битами или более.
В блоке 205 обратного HDR преобразования определяют наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, в зависимости от величины отношения наивысшего уровня (N%) видеоданных исходного HDR изображения и наивысшего уровня, который в функции приема определяют как наивысший уровень (Q%) для показа. Другими словами, когда справедливо Q<N, наивысший уровень видеоданных HDR изображения, подлежащего воспроизведению, равен Q%. Когда справедливо N<Q, наивысший уровень видеоданных HDR изображения, подлежащих воспроизведению, равен N%.
Заметим, что, когда SEI сообщение HDR отображения не содержит информацию о кривой отображения уровней (параметры отображения уровней), в блоке 205 обратного HDR преобразования без изменения подают на выход видеоданные LDR изображения для передачи, полученные из устройства 204 декодирования видео.
В блоке 206 электронно-оптического преобразования электронно-оптическим образом преобразуют видеоданные, полученные из блока 205 обратного HDR преобразования (видеоданные HDR изображения, подлежащего воспроизведению, или видеоданные LDR изображения для передачи), другими словами, отображают уровни видеоданных в соответствии с информацией о характеристике электронно-оптического преобразования, содержащейся в SEI сообщении HDR отображения. В этом примере, в блоке 206 электронно-оптического преобразования в качестве кривой электронно-оптического преобразования (EOTF) используют кривую преобразования, тип которой указан в SEI сообщении HDR отображения, или кривую преобразования, переданную в SEI сообщении HDR отображения. Заметим, что, когда видеоданные передают другим способом, вспомогательную информацию можно распознать в соответствии с сигнальной информацией, содержащейся в наборе параметров видео (SPS).
Как описано выше, информация, указывающая тип кривой электронно-оптического преобразования (EOTF), содержащаяся в SEI сообщении HDR отображения, представляет собой «eotf_table_type_main», и «eotf_table_type_main» указывает основной тип кривой преобразования (смотри фиг. 10). Основной тип, указанный в «eotf_table_type_main», разделен на подтипы, указанные в «eotf_table_type_sub». Другими словами, в блоке 206 электронно-оптического преобразования используют кривую электронно-оптического преобразования (EOTF), определенную в соответствии с основным типом и подтипом.
На фиг. 16 показаны примеры комбинаций основного типа, указанного в «eotf_table_type_main» информации, и подтипа, указанного в «eotf_table_type_sub» информации. В этом примере, существует три основных типа «1», «2» и «3» и три подтипа «1», «2» и «3».
В этом примере, каждый из основных типов и подтипов указывает характеристику кривой преобразования, например, как показано на фиг. 17. Другими словами, основной тип «1» указывает кривую преобразования, подходящую для очень точного восстановления части темного уровня в изображении. Основной тип «2» указывает кривую преобразования, подходящую для грубого восстановления части чрезвычайно низкой яркостью и точного восстановления другой яркости в изображении. Основной тип «3» указывает кривую преобразования, подходящую для очень точного восстановления части среднего уровня в изображении. С другой стороны, подтип «1» указывает кривую преобразования, подходящую для просмотра изображения в темной комнате. Подтип «2» указывает кривую преобразования, подходящую для просмотра изображения в яркой комнате. Подтип «3» указывает кривую преобразования, подходящую для просмотра изображения в комнате средней яркости. Заметим, что количество основных типов или подтипов не ограничено числом три. Характеристика каждого типа не ограничена содержанием, показанным на фиг. 17.
Информацию «eotf_table_type_main» получают в SEI сообщении HDR отображения из устройства 100 передачи, как описано выше. С другой стороны, информацию «eotf_table_type_sub» получают в устройстве 200 приема в соответствии с окружающей обстановкой, в которой просматривают изображение. В таком случае, подтип, указанный в «eotf_table_type_sub», определяют в соответствии с выходом датчика яркости или операцией пользователя. С помощью этого выбирают подтип из подтипов, содержащихся в основном типе, и, таким образом, выбирают характеристику электронно-оптического преобразования, подлежащую использованию в блоке 206 электронно-оптического преобразования.
На фиг. 18 схематично показано взаимодействие обратного HDR преобразования и электронно-оптического преобразования, осуществляемое в устройстве 200 приема. Принятое изображение изменяют до изображения, подлежащего показу после преобразования в ходе обратного HDR преобразования и электронно-оптического преобразования. Характеристика обратного HDR преобразования соответствует кривой отображения уровней, используемой при HDR преобразовании на передающем конце. Например, как описано выше, на передающем конце используют заранее заданную кривую отображения уровней, связанную с параметрами, указывающими яркость изображения.
Характеристика электронно-оптического преобразования определена с основным типом, указанным в «eotf_table_type_main» информации, и подтипом, указанным в «eotf_table_type_sub» информации. Основной тип устанавливают на передающем конце, в зависимости от характеристик изображения. С другой стороны, подтип устанавливают на приемном конце в соответствии с окружающей обстановкой, в которой просматривают изображение.
Снова, как показано на фиг. 15, когда SEI сообщение HDR отображения не содержит информацию о характеристике электронно-оптического преобразования, в блоке 206 электронно-оптического преобразования осуществляют электронно-оптическое преобразование с использованием обычной обратной характеристики гамма.
В блоке 207 показа показывают изображение с использованием видеоданных для показа, полученных из блока 206 электронно-оптического преобразования. Блок 207 показа содержит, например, жидкокристаллическую панель и органическую EL панель.
Коротко опишем работу устройства 200 приема, показанного на фиг. 15. В блоке 202 приема принимают из устройства 100 передачи транспортный поток TS, переданный в радиовещательном диапазоне или в пакетах по сети интернет. Этот транспортный поток TS подают в устройство 203 декодирования системы. В устройстве 203 декодирования системы из транспортного потока TS извлекают видео поток (элементарный поток).
Видеопоток, извлеченный в устройстве 203 декодирования системы, подают в устройство 204 декодирования видео. В устройстве 204 декодирования видео получают видеоданные основной полосы (видеоданные для передачи) путем декодирования видеопотока в ходе процесса декодирования. При этом в устройстве 204 декодирования видео извлекают SEI сообщения, содержащиеся в видеопотоке, и передают SEI сообщения в блок 201 управления. SEI сообщения содержат SEI сообщение HDR отображения (SEI сообщение HDR_mapping). В блоке 201 управления управляют процессом декодирования или процессом показа в соответствии с SEI сообщениями.
Видеоданные LDR изображения для передачи, переданные из устройства 204 декодирования видео, подают в блок 205 обратного HDR преобразования. В блоке 205 обратного HDR преобразования вырабатывают видеоданные HDR изображения, подлежащего воспроизведению, в расширенном диапазоне уровней, что делают в соответствии с информацией о кривой отображения уровней, содержащейся в SEI сообщении HDR отображения в ходе обратного HDR преобразования путем обратного преобразования видеоданных LDR изображения для передачи, полученных в устройстве 204 декодирования видео. Заметим, что, когда SEI сообщение HDR отображения не содержит информации о кривой отображения уровней, в блоке 205 обратного HDR преобразования без изменения подают на выход видеоданные LDR изображения для передачи, полученные из устройства 204 декодирования видео.
Видеоданные, переданные из блока 205 обратного HDR преобразования, подают в блок 206 электронно-оптического преобразования. В блоке 206 электронно-оптического преобразования вырабатывают видеоданные для показа, что делают с помощью электронно-оптического преобразования видеоданных, поданных из блока 205 обратного HDR преобразования (видеоданные HDR изображения, подлежащего воспроизведению, или видеоданные LDR изображения для передачи), в ходе электронно-оптического преобразования, другими словами, отображают уровни видеоданных в ходе отображения уровней. В этом примере, в блоке 206 электронно-оптического преобразования в качестве кривой электронно-оптического преобразования (EOTF) используют кривую преобразования, тип которой указан в SEI сообщении HDR отображения, или кривую преобразования, переданную в SEI сообщении HDR отображения. Заметим, что, когда SEI сообщение HDR отображения не содержит информацию о характеристике электронно-оптического преобразования, электронно-оптическое преобразование осуществляют с использованием обычной обратной характеристики гамма.
Видеоданные для показа, полученные в блоке 206 электронно-оптического преобразования, подают в блок 207 показа. В блоке 207 показа показывают изображение видеоданных для показа.
На фиг. 19 показан пример последовательности обработки, осуществляемой в устройстве 200 приема. В устройстве 200 приема начинают обработку на этапе ST1. Далее на этапе ST2, в устройстве 200 приема принимают видеопоток. Затем на этапе ST3, в устройстве 200 приема определяют, считывать ли SEI сообщение HDR отображения. В устройстве 200 приема тогда определяют, считывать ли SEI сообщение HDR отображения, когда видеопоток содержит SEI сообщение HDR отображения.
Когда решают считать SEI сообщение HDR отображения, в устройстве 200 приема распознают закодированные биты и процент пикового уровня данных закодированного изображения на этапе ST4. Далее на этапе ST5, в устройстве 200 приема распознают процент пикового уровня исходного изображения.
Далее на этапе ST6, в устройстве 200 приема получают видеоданные HDR изображения, подлежащего воспроизведению, путем осуществления обратного HDR преобразования в соответствии с информацией о кривой отображения уровней, содержащейся в SEI сообщении HDR отображения. В устройстве 200 приема получают видеоданные для показа с помощью распознавания типа кривой электронно-оптического преобразования (EOTF) или приема кривой электронно-оптического преобразования (EOTF), специальной для конкретного изображения, и с помощью осуществления электронно-оптического преобразования на этапе ST7. На этапе ST8 в устройстве 200 приема заканчивают обработку после обработки на этапе ST7.
Когда на этапе ST3 определяют не считывать SEI сообщение HDR отображения, в устройстве 200 приема получают видеоданные для показа путем электронно-оптического преобразования видеоданных входящего LDR изображения с помощью обычной обратной гамма-коррекции на этапе ST9 в ходе электронно-оптического преобразования. На этапе ST8 в устройстве 200 приема заканчивают обработку после обработки на этапе ST9.
В системе 10 передачи и приема, показанной на фиг. 1, в устройстве 100 передачи вырабатывают видеоданные LDR изображения для передачи путем сжатия диапазона уровней видеоданных исходного HDR изображения с помощью конкретной кривой отображения уровней, и далее, как описано выше, передают видеоданные LDR изображения для передачи. Таким образом, например, использование в качестве заранее заданной кривой отображения уровней соответствующей содержанию изображения характеристики позволяет получать на LDR мониторе хороший показ LDR изображения из видеоданных для передачи.
В системе 10 передачи и приема, показанной на фиг. 1, в устройстве 100 передачи далее передают вспомогательную информацию, используемую для преобразования уровней на приемном конце, вместе с видеоданными для передачи. Это позволяет, например, на приемном конце надлежащим образом преобразовывать уровни видеоданных для передачи в соответствии с вспомогательной информацией и, таким образом, показывать изображение с хорошим качеством.
В системе 10 передачи и приема, показанной на фиг. 1, в устройстве 100 передачи передают информацию о характеристике электронно-оптического преобразования, содержащую характеристику электронно-оптического преобразования, а именно информацию «eotf_table_type_main». Это позволяет на приемном конце автоматически или вручную выбрать характеристику электронно-оптического преобразования, подходящую к окружающей среде, в которой просматривают изображение, из характеристик электронно-оптического преобразования, и использовать выбранную характеристику электронно-оптического преобразования и, таким образом, показывать высококачественное изображения, подходящее по яркости к окружающей среде для монитора.
<2. Пример изменения>
В варианте осуществления изобретения описан пример, в котором в устройстве 200 приема в блоке 205 обратного HDR преобразования осуществляют обратное HDR преобразование и в блоке 206 электронно-оптического преобразования осуществляют электронно-оптического преобразование. Тем не менее, заметим, что, например, отражение характеристику обратного HDR преобразования на характеристику электронно-оптического преобразования позволяет в блоке 206 электронно-оптического преобразования одновременно осуществлять обратное HDR преобразование и электронно-оптическое преобразование.
На фиг. 20(a) показана характеристика отображения уровней (характеристика обратного HDR преобразования). Характеристика отображения уровней представляет собой информацию, используемую для преобразования LDR изображения в HDR изображение с соответствием между относительными уровнями на оси сжатых уровней и относительными уровнями на оси несжатых уровней. На фиг. 20(b) показаны примеры характеристик электронно-оптического преобразования. Кривая LC указывает характеристику обычного электронно-оптического преобразования, а кривая HDC указывает характеристику электронно-оптического преобразования, полученную путем отражения характеристики обратного HDR преобразования в характеристике обычного электронно-оптического преобразования.
Далее будет описан процесс получения кривой HDC. Заметим, что линия NTr указывает прямую линию, проходящую от самого высокого уровня до самого низкого уровня по сравнению с кривыми электронно-оптического преобразования. Кривая LC-1 указывает обратную характеристику, и кривая LC-1 и кривая LC симметричны относительно линии NTr. Кривую LC-1 используют для перевода характеристик между вертикальной и горизонтальной осями на фиг. 20(b).
Вертикальная и горизонтальная оси для характеристики обратного HDR преобразования нормализованы относительно отношения наивысшего относительного уровня вертикальной оси и наивысшего относительного уровня горизонтальной оси (отношение наивысших уровней динамических диапазонов). В этом случае, отношение диапазона для вертикальной оси и диапазона для горизонтальной оси равно отношению N(%) к Р(%). При этом, отношение вертикальной оси на фиг. 20(a) к горизонтальной оси на фиг. 20(b) составляет один к одному. Значения V1, V2 и Vw на горизонтальной оси на фиг. 20(b) совпадают с такими же значениями на горизонтальной оси на фиг. 20(a).
Значения T1, Т2 и Tw на вертикальной оси на фиг. 20(a) расположены как значения Т1', Т2' и Tw' на горизонтальной оси на фиг. 20(b). На фиг. 20(a), вход V1 соответствует выходу Т1. На фиг. 20(b), точка b1 нанесена на кривую LC относительно входа Т1 (=Т1'). Точка, нанесенная на фиг. 20(b), которая удовлетворяет характеристике, показанной на фиг. 20(a) и кривой LC на фиг. 20(b), является координатой по вертикальной оси точки b1 относительно V1 на горизонтальной оси фиг. 20(b). Значение координаты по вертикальной оси точки b1 представляет собой значение координаты по вертикальной оси точки b11 для V1.
Значение координаты по вертикальной оси относительно V2 на горизонтальной оси на фиг. 20(b) представляет собой значение координаты по вертикальной оси точки b2, нанесенной на кривую LC относительно Т2'. Значение координаты по вертикальной относительно V2 представляет собой значение координаты по вертикальной оси точки b21. Аналогично, когда выход Tw от входа Vw на фиг. 20(a) указан как Tw' на фиг. 20(b), значение координаты по вертикальной оси относительно Vw представляет собой точку, которая является координатой по вертикальной оси точки b3, нанесенной на кривую LC относительно Tw', а именно, координатой по вертикальной оси нанесенной точки b31 относительно Vw.
Когда кривая, полученная так, как описано выше, и проходящая через точки b11, b21 и b31, является кривой HDC, кривая HDC обладает характеристикой, одновременно удовлетворяющей характеристике, показанной на фиг. 20(a) и характеристике, указанной кривой LC на фиг. 20(b). Эта характеристика является характеристикой, которая одна удовлетворяет обратному HDR преобразованию и электронно-оптическому преобразованию.
На фиг. 21(a) показана характеристика отображения уровней (характеристика обратного HDR преобразования), соответствующая линии (2) на фиг. 5. На фиг. 21(b) показана характеристика электронно-оптического преобразования. Кривая LC указывает характеристику обычного электронно-оптического преобразования, а кривая HDC указывает характеристику электронно-оптического преобразования, полученную путем отражения характеристики обратного HDR преобразования, показанной на фиг. 21(a), в характеристике обычного электронно-оптического преобразования. Заметим, что кривую HDC получают аналогично тому, как описано при рассмотрении фиг. 20(a) и 20(b)).
В варианте осуществления изобретения описан пример, в котором в устройстве 200 передачи в блоке 103 электронно-оптического преобразования осуществляют электронно-оптического преобразование и в блоке 104 HDR преобразования осуществляют HDR преобразование. Тем не менее, отражение характеристики HDR преобразования в характеристике электронно-оптического преобразования позволяет в блоке 103 электронно-оптического преобразования одновременно осуществлять электронно-оптическое преобразование и HDR преобразование.
На фиг. 22(a) показана характеристика отображения уровней (характеристика HDR преобразования), соответствующая линии (1) на фиг. 3. На фиг. 22(a) показана характеристика обычного электронно-оптического преобразования и характеристика HDR электронно-оптического преобразования, полученная путем отражения характеристики HDR преобразования, показанной на фиг. 22(b), в характеристике обычного электронно-оптического преобразования. Заметим, что, хотя подробное описание опущено, характеристику HDR электронно-оптического преобразования получают аналогично получению характеристики электронно-оптического преобразования (кривая HDC), в которой отражается характеристика обратного HDR преобразования.
Заметим, что в варианте осуществления изобретения описан пример, в котором в блоке 104 HDR преобразования в устройстве 100 передачи преобразуют HDR изображение в LDR изображение и в устройстве 100 передачи передают параметры для HDR изображения (информацию о кривой отображения уровней) вместе с LDR изображением, и в блоке 205 обратного HDR преобразования преобразуют LDR изображение в HDR изображение в соответствии с переданными параметрами и показывают HDR изображение в устройстве 200 приема.
Тем не менее, в аналогичном способе в устройстве 100 передачи могут передать параметры, используемые для преобразования HDR изображения в LDR изображение вместе с HDR изображением, без преобразования HDR изображения в LDR изображение с помощью блока 104 HDR преобразования устройства 100 передачи, и в блоке 205 обратного HDR преобразования могут преобразовать принятое HDR изображение в LDR изображение в соответствии с упомянутыми параметрами и показать LDR изображение в устройстве 200 приема. В таком случае, когда характеристику отображения уровней отражают в характеристике электронно-оптического преобразования устройства приема, характеристика электронно-оптического преобразования устройства приема содержит характеристику для преобразования HDR в LDR и характеристику обычного электронно-оптического преобразования.
Кроме того, настоящее изобретение также может быть выполнено следующим образом.
(1) Устройство передачи, содержащее:
блок преобразования уровней, в котором обеспечивают видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней, что выполняют путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок передачи, в котором передают видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце.
(2) Устройство передачи по (1), в котором в блоке передачи передают видеопоток, полученный путем кодирования видеоданных для передачи, и
вспомогательную информацию вставляют в слой видеопотока.
(3) Устройство передачи по любому из (1)-(2), в котором первый диапазон уровней составляет от нуля до N%, N является числом, большим 100, а второй диапазон уровней составляет от нуля до Р%, Р является числом, большем или равным 100 и меньшим или равным N.
(4) Устройство передачи по любому из (1)-(3), в котором вспомогательная информация является информацией о кривой отображения уровней или информацией о характеристике электронно-оптического преобразования.
(5) Устройство передачи по (4), в котором информация о характеристике электронно-оптического преобразования, которую в блоке передачи передают вместе с видеоданными для передачи, содержит информацию о нескольких характеристиках электронно-оптического преобразования.
(6) Способ передачи, включающий в себя следующее:
преобразуют уровни путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней, с целью получить видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже первого диапазона уровней; и
передают, в блоке передачи, видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце.
(7) Устройство приема, содержащее:
блок приема, в котором принимают видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже или равен первому диапазону уровней, видеоданные для передачи получают путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок обработки, в котором преобразуют уровни видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи.
(8) Устройство приема по (7), в котором вспомогательная информация является информацией о кривой отображения уровней или информацией о характеристике электронно-оптического преобразования.
(9) Устройство приема по (8), в котором в блоке обработки преобразуют видеоданные для передачи, находящиеся во втором диапазоне уровней, в видеоданные для вывода, находящиеся в третьем диапазоне уровней, который шире или равен второму диапазону уровней, что делают в соответствии с информацией о кривой отображения уровней.
(10) Устройство приема по (9), в котором первый диапазон уровней составляет от нуля до N%, где N является числом, большим 100, второй диапазон уровней составляет от нуля до Р%, где Р является числом, большем или равным 100 и меньшим или равным N, а третий диапазон уровней составляет от нуля до Q%, где Q является числом, большим или равным 100 и меньшим или равным N.
(11) Устройство приема по любому из (9)-(10), в котором наивысший уровень в третьем диапазоне уровней определяют в соответствии с информацией о наивысшем уровне, который возможно показать.
(12) Устройства приема по любому из (8)-(11), в котором
в блоке обработки
получают видеоданные для вывода с помощью электронно-оптического преобразования видеоданных для передачи, находящихся во втором диапазоне уровней, или видеоданных, находящихся в третьем диапазоне уровней, который шире или равен второму диапазону уровней, что делают в соответствии с информацией о характеристике электронно-оптического преобразования в ходе электронно-оптического преобразования, и видеоданные, находящиеся в третьем диапазоне уровней, получают путем преобразования уровней видеоданных для передачи в соответствии с информацией о кривой отображения уровней.
(13) Устройство приема по любому из (8)-(12), дополнительно содержащее:
блок выбора, в котором выбирают характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования,
при этом информация о характеристике электронно-оптического преобразования, которую принимают вместе с видеоданными для передачи, содержит информацию о характеристиках электронно-оптического преобразования.
(14) Устройство приема по (13), в котором
в блоке выбора выбирают характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования в соответствии с выходом датчика или вводом, выполненным пользователем.
(15) Способ приема, включающий в себя следующее:
принимают, в блоке приема, видеоданные для передачи, находящиеся во втором диапазоне уровней, который уже первого диапазона уровней, видеоданные для передачи получают путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
преобразуют уровни видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи.
Один основной аспект настоящего изобретения заключается в том, чтобы позволить на приемном конце показывать LDR изображение с хорошим качеством путем передачи видеоданных LDR изображения для передачи, выработанных с помощью применения конкретной кривой отображения уровней к видеоданным исходного HDR изображения (смотри фиг. 2(a) и 2(b) и фиг. 7). Другой основной аспект настоящего изобретения заключается в том, чтобы позволить на приемном конце надлежащим образом преобразовать уровни в ходе процесса преобразования уровней и, таким образом, показать изображение в хорошем качестве путем передачи вспомогательной информации, используемой для преобразования уровней на приемном конце, вместе с видеоданными для передачи (смотри фиг. 4(a)-4(c) и фиг. 15).
Список ссылочных позиций
Изобретение относится к области передачи и приема видеоданных после сжатия диапазона уровней видеоданных. Технический результат заключается в возможности показа изображения хорошего качества с малым динамическим диапазоном (LDR), выработанного из изображения большого динамического диапазона (HDR). Предложено путем применения заранее заданной кривой отображения уровней к входным видеоданным (HDR видеоданные), находящимся в первом диапазоне уровней, получать видеоданные (LDR видеоданные) для передачи, находящиеся во втором диапазоне уровней, который уже первого диапазона уровней. Видеоданные для передачи передают вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце. 4 н.. и 9 з.п. ф-лы, 23 ил.
1. Устройство передачи, содержащее:
блок преобразования уровней яркости, который обеспечивает видеоданные для передачи, находящиеся во втором диапазоне уровней яркости, который уже или равен первому диапазону уровней яркости, путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок передачи, который передает видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней на приемном конце;
в котором вспомогательная информация является информацией о кривой отображения уровней и информацией о характеристике электронно-оптического преобразования.
2. Устройство передачи по п. 1, в котором блок передачи передает видеопоток, полученный путем кодирования видеоданных для передачи, и вспомогательную информацию вставляют в слой видеопотока.
3. Устройство передачи по п. 1, в котором первый диапазон уровней яркости составляет от нуля до N%, N является числом, большим 100, а второй диапазон уровней яркости составляет от нуля до P%, Р является числом, большим или равным 100 и меньшим или равным N.
4. Устройство передачи по п. 1, в котором информация о характеристике электронно-оптического преобразования, которую блок передачи передает вместе с видеоданными для передачи, содержит информацию о нескольких характеристиках электронно-оптического преобразования.
5. Способ передачи, включающий в себя следующее:
преобразуют уровни яркости путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней яркости, с целью получить видеоданные для передачи, находящиеся во втором диапазоне уровней яркости, который уже первого диапазона уровней; и
передают, в блоке передачи, видеоданные для передачи вместе с вспомогательной информацией, используемой для преобразования уровней яркости на приемном конце;
в котором вспомогательная информация является информацией о кривой отображения уровней и информацией о характеристике электронно-оптического преобразования.
6. Устройство приема, содержащее:
блок приема, который принимает видеоданные для передачи, находящиеся во втором диапазоне уровней яркости, который уже или равен первому диапазону уровней яркости, при этом видеоданные для передачи получают путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней; и
блок обработки, который преобразует уровни яркости видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи; в котором вспомогательная информация является информацией о кривой отображения уровней и информацией о характеристике электронно-оптического преобразования.
7. Устройство приема по п. 6, в котором блок обработки преобразует видеоданные для передачи, находящиеся во втором диапазоне уровней яркости, в видеоданные для вывода, находящиеся в третьем диапазоне уровней яркости, который шире или равен второму диапазону уровней яркости, в соответствии с информацией о кривой отображения уровней.
8. Устройство приема по п. 7, в котором первый диапазон уровней яркости составляет от нуля до N%, где N является числом, большим 100, второй диапазон уровней яркости составляет от нуля до P%, где Р является числом, большим или равным 100 и меньшим или равным N, а третий диапазон уровней яркости составляет от нуля до Q%, где Q является числом, большим или равным 100 и меньшим или равным N.
9. Устройство приема по п. 7, в котором наивысший уровень в третьем диапазоне уровней яркости определяют в соответствии с информацией о наивысшем уровне, который возможно показать.
10. Устройство приема по п. 6, в котором блок обработки получает видеоданные для вывода с помощью электронно-оптического преобразования видеоданных для передачи, находящихся во втором диапазоне уровней яркости, или видеоданных, находящихся в третьем диапазоне уровней яркости, который шире или равен второму диапазону уровней, в соответствии с информацией о характеристике электронно-оптического преобразования в ходе электронно-оптического преобразования, и видеоданные, находящиеся в третьем диапазоне уровней яркости, получают путем преобразования уровней яркости видеоданных для передачи в соответствии с информацией о кривой отображения уровней.
11. Устройство приема по п. 6, дополнительно содержащее блок выбора, который выбирает характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования, при этом информация о характеристике электронно-оптического преобразования, которую принимают вместе с видеоданными для передачи, содержит информацию о характеристиках электронно-оптического преобразования.
12. Устройство приема по п. 11, в котором блок выбора выбирает характеристику электронно-оптического преобразования, используемую в блоке обработки, из нескольких характеристик электронно-оптического преобразования в соответствии с выходом датчика или вводом, выполненным пользователем.
13. Способ приема, включающий в себя следующее:
принимают, в блоке приема, видеоданные для передачи, находящиеся во втором диапазоне уровней яркости, который уже первого диапазона уровней яркости, видеоданные для передачи получают путем применения заранее заданной кривой отображения уровней к входным видеоданным, находящимся в первом диапазоне уровней яркости; и
преобразуют уровни яркости видеоданных для передачи в соответствии с вспомогательной информацией, принятой вместе с видеоданными для передачи;
в котором вспомогательная информация является информацией о кривой отображения уровней и информацией о характеристике электронно-оптического преобразования.
| WO 2012153224 A1, 2012-11-15 | |||
| WO 2013046095 A1, 2013-04-04 | |||
| WO 2010021705 A1, 2010-02-25 | |||
| WO 2013039730 A2, 2013-03-21 | |||
| US 2003202589 A1, 2003-10-30 | |||
| РАСШИРЕНИЕ ДИНАМИЧЕСКОГО ДИАПАЗОНА ИЗОБРАЖЕНИЙ | 2008 |
|
RU2433477C1 |
