Область техники, к которой относится изобретение
Настоящее изобретение касается устройства передачи, способа передачи, устройства приема и способа приема и, более подробно, касается устройства передачи и подобного, в котором обрабатывают видеоданные большого динамического диапазона.
Уровень техники
Обычно применяют гамма-коррекцию, которая корректирует характеристику гамма монитора путем подачи на вход данных изображения с обратной характеристикой относительно характеристики монитора. Например, в непатентном документе 1 описана передача видеопотока, полученного путем кодирования данных изображения для передачи, выработанных путем применения фото-электрического преобразования к данным изображения с большим динамическим диапазоном (HDR), обладающим диапазоном уровней от 0 до 100% * N (N больше 1).
С обычном изображением с малым динамическим диапазоном (LDR) в основном работают со ссылкой на яркость (уровень яркости), равную 100 кд/м2, и так регулируют коэффициент контраста относительно яркости, чтобы он стал равным 100:1, и используют минимальную яркость как уровень черного, что делают на основе определенных характеристик фото-электрического/электро-фото преобразования. HDR изображение обладает детальным уровнями на стороне черного и для него нужно расширить уровень яркости для отображения. Иногда, на выходе камеры используют специальное фото-электрическое преобразование для HDR.
Список цитируемой литературы
Патентные документы, на которые присутствуют ссылки
Непатентный документ 1: Стандарт H.265 Высокоэффективное кодирование (HEVC) видео сектора стандартизации электросвязи Международного союза электросвязи.
Сущность изобретения
Задачи, которые должно решить изобретение
Задача настоящего изобретения заключается в том, чтобы сделать возможной подходящую передачу как данных HDR изображения, так и данных LDR изображения.
Решение задач
Одна идея настоящего изобретения заключена в устройстве передачи, которое содержит:
блок кодирования изображения, выполненный для деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев, данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; и
блок передачи, выполненный для передачи контейнера заранее заданного формата, который содержит видеопоток.
В настоящем изобретении, данные первого изображения для передачи и данные второго изображения для передачи делят на слои и слои кодируют в блоке кодирования изображения и вырабатывают видеопоток, содержащий данные закодированного изображения слоев. Данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения (данные LDR изображения) с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения. Данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения (данные HDR изображения) с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого.
Контейнер заранее заданного формата, который содержит видеопоток, передают с помощью блока передачи. Например, контейнер может являться транспортным потоком (MPEG-2 TS), который применяют в стандарте цифрового вещания. Далее, например, контейнер может быть контейнером в формате MP4 или в другом формате, использованным для передачи в сети Интернет.
Как описано выше, в настоящем изобретении, данные первого изображения для передачи, полученные путем применения фото-электрического преобразования к данным LDR изображения, и данные второго изображения для передачи, полученные путем применения фото-электрического преобразования к данным HDR изображения, делят на слои и кодируют и передают контейнер, содержащий видеопоток с данными закодированного изображения для кадров слоев. Следовательно, могут быть подходящим образом переданы как данные HDR изображения, так и данные LDR изображения.
Заметим, что в настоящем изобретении, например, в блоке кодирования изображения могут осуществлять процесс вычитания данных второго изображения для передачи и данных первого изображения для передачи с целью получения данных разности изображений, и могут кодировать данные первого изображения для передачи с целью получения данных закодированного изображения первого слоя и кодировать данные разности изображений с целью получения данных закодированного изображения второго слоя. Данные разности изображений кодируют и получают данные закодированного изображения второго слоя и может быть улучшена эффективность кодирования.
В этом случае, например, в устройстве кодирования изображения могут делать тип закодированного кадра для каждого кадра из данных первого изображения для передачи и тип закодированного кадра для каждого соответствующего кадра из данных разности изображений соответствующими друг другу. Типы кадров делают соответствующими друг другу таким образом, что на приемной стороне декодирование каждого кадра данных закодированного изображения первого слоя и декодирование каждого соответствующего кадра данных закодированного изображения второго слоя могут быть выполнены одновременно. Может быть подавлена задержка декодирования до получения данных второго изображения для передачи.
Далее, в настоящем изобретении, например, может быть предусмотрен блок вставки информации о слое, выполненный для вставки информации о слое для данных закодированного изображения кадров слоев в слой видеопотока или слой контейнера. В этом случае, например, в блоке вставки информации о слое могут вставлять информацию о слое в заголовок NAL блока, при вставке информации о слое в слой видеопотока. Далее, в этом случае, например, информация о слое, подлежащая вставке в слой контейнера, может указывать временный идентификатор, соответствующий каждому слою. Информацию о слое вставляют таким образом, что на приемной стороне данные закодированного изображения кадров каждого слоя могут быть легко извлечены из видеопотока.
Далее, в настоящем изобретении, например, в блоке кодирования изображения могут применить регулировку уровней к данным первого изображения для передачи или данным второго изображения для передачи при осуществлении процесса вычитания с целью получения данных разности изображений. Регулировку уровней осуществляют таким образом, что значение данных разности изображений может быть сделано малым и может быть дополнительно увеличена эффективность кодирования. В этом случае, например, может быть дополнительно предусмотрен блок вставки информации, в котором вставляют информацию о характеристике регулировки уровней и/или информацию об уровне и информацию о контрасте для яркости в слой видеопотока. Соответственно, на приемной стороне, уровень данных первого изображения для передачи регулируют на основе информации о характеристике регулировки уровней и добавляют к данным разности изображений, так что могут быть подходящим образом получены данные второго изображения для передачи. Далее, на приемной стороне, с использованием информации об уровнях и информации о контрасте для яркости может быть осуществлена регулировка отображения.
Более того, идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема, выполненный для приема контейнера, содержащего видеопоток, включающий в себя данные закодированного изображения для кадров слоев, видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев,
данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, и
данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого; и
блок обработки, выполненный для обработки видеопотока, содержащегося в контейнере, принятом в блоке приема.
В настоящем изобретении, в блоке приема принимают контейнер, содержащий видеопоток, включающий в себя данные закодированного изображения для кадров слоев, при этом видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев. Данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения (данные LDR изображения) с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения. Данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения (данные HDR изображения) с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого.
Видеопоток, содержащийся в контейнере, принятом в блоке приема, обрабатывают в блоке обработки. Например, в блоке обработки могут по выбору подавать на выход данные первого изображения для передачи или данные второго изображения для передачи. В этом случае, например, в блоке обработки могут подавать на выход данные первого изображения для передачи или данные второго изображения для передачи в соответствии со способностями отображения блока отображения. Далее, например, может быть дополнительно предусмотрено устройство электро-фото преобразования, в котором применяют соответствующее электро-фото преобразование для данных первого изображения для передачи или данных второго изображения для передачи, которые поданы на выход в блоке обработки.
Как описано выше, в настоящем изобретении, видеопоток, содержащий данные закодированного изображения для кадров слоев, при этом видеопоток получают путем разделения данных первого изображения для передачи, полученных путем применения фото-электрического преобразования к данным LDR изображения, и данных второго изображения для передачи, полученных путем применения фото-электрического преобразования к данным HDR изображения, на слои и кодирования слоев. Следовательно, могут быть подходящим образом приняты как данные HDR изображения, так и данные LDR изображения.
Заметим, что в настоящем изобретении, например, видеопоток может содержать данные закодированного изображения первого слоя, выработанные путем кодирования данных первого изображения для передачи, и данные закодированного изображения второго слоя, выработанные путем кодирования данных разности изображений, полученных путем осуществления процесса вычитания данных второго изображения для передачи и данных первого изображения для передачи, и в блоке обработки могут декодировать данные закодированного изображения первого слоя с целью получения данных первого изображения для передачи, и могут прибавлять данные первого изображения для передачи к данным разности изображений, полученным путем декодирования данных закодированного изображения второго слоя, с целью получения данных второго изображения для передачи.
В этом случае, например, информацию о слое для данных закодированного изображения кадров слоев могут вставить в слой видеопотока или слой контейнера, и в блоке обработки могут извлечь из видеопотока данные закодированного изображения первого слоя и данные закодированного изображения второго слоя на основе информации о слое. В этом случае, данные закодированного изображения кадров каждого слоя могут быть легко извлечены из видеопотока.
Далее, в настоящем изобретении, например, при получении данных второго изображения для передачи в блоке обработки могут применить регулировку уровней к данным первого изображения для передачи или добавленным данным изображения. В этом случае, например, информацию о характеристике регулировки уровней вставляют в слой видеопотока, и в блоке обработки могут применить регулировку уровней к данным первого изображения для передачи или добавленным данным изображения, что делают на основе информации о характеристике регулировки уровней. Путем применения регулировки уровней могут быть подходящим образом получены данные второго изображения для передачи.
Результаты, достигаемые с помощью изобретения
В соответствии с настоящим изобретением, могут быть подходящим образом переданы как данные HDR изображения, так и данные LDR изображения. Заметим, что описанные в настоящем документе результаты являются только примерами и не ограничивают изобретение и могут существовать дополнительные результаты.
Краткое описание чертежей
Фиг. 1 - вид, показывающий блок-схему, иллюстрирующую пример конфигурации системы передачи/приема;
фиг. 2 - вид, показывающий блок-схему, иллюстрирующую пример конфигурации устройства передачи, которое придает конфигурацию системе передачи/приема;
фиг. 3 - вид, показывающий пример характеристики фото-электрического преобразования (кривая LDR OETF и кривая HDR OETF) для LDR изображения и HDR изображения;
фиг. 4 - вид, показывающий другой пример характеристики фото-электрического преобразования (кривая LDR OETF и кривая HDR OETF) для LDR изображения и HDR изображения;
фиг. 5 - вид, показывающий пример иерархического кодирования, осуществляемого в устройстве кодирования видео из устройства передачи;
фиг. 6(a) и 6(b) - виды, показывающие пример структуры заголовка NAL блока и основное содержание в этом примере структуры;
фиг. 7 - вид, показывающий блок-схему, иллюстрирующую пример конфигурации устройства кодирования видео;
фиг. 8 - вид, показывающий пример кривой регулировки уровней (кривая отображения), приспособленной для приближения значения данных V1 первого изображения для передачи к значению данных V2 второго изображения для передачи;
фиг. 9 - вид, показывающий другой пример кривой регулировки уровней (кривая отображения), приспособленной для приближения значения данных V1 первого изображения для передачи к значению данных V2 второго изображения для передачи;
фиг. 10 - вид, показывающий блок доступа заголовка GOP в случае, когда способом кодирования является HEVC;
фиг. 11(a) и 11(b) - виды, показывающие пример структуры «Level_Adjusting SEI message»;
фиг. 12 - вид, показывающий пример структуры «Level_Adjusting_information_data()»;
фиг. 13 - вид, показывающий основное содержание в примере структуры «Level_Adjusting_information_data()»;
фиг. 14 - вид, показывающий пример структуры дескриптора иерархии слоев;
фиг. 15 - вид, показывающий основное содержание в примере структуры дескриптора иерархии слоев;
фиг. 16 - вид, показывающий пример конфигурации транспортного потока;
фиг. 17 - вид, показывающий блок-схему, иллюстрирующую пример конфигурации устройства приема, которое придает конфигурацию системе передачи/приема;
фиг. 18 - вид, показывающий блок-схему, иллюстрирующую пример конфигурации устройства декодирования видео;
фиг. 19 - вид, показывающий схему для описания способа классификации данных CV1 закодированного изображения в первом слое и данных CV2 закодированного изображения во втором слое, которые содержатся в видеопотоке;
фиг. 20 - вид, показывающий блок-схему, иллюстрирующую другой пример конфигурации устройства кодирования видео;
фиг. 21 - вид, показывающий блок-схему, иллюстрирующую другой пример конфигурации устройства декодирования видео;
фиг. 22 - вид, показывающий другой пример иерархического кодирования, осуществляемого в устройстве кодирования видео из устройства передачи.
Вариант осуществления изобретения
Далее будет описана форма реализации изобретения (далее называется «вариантом осуществления изобретения»). Заметим, что описание приведено в следующем порядке.
1. Вариант осуществления изобретения
2. Модификация
<1. Вариант осуществления изобретения>
[Конфигурация системы передачи/приема]
На фиг. 1 в качестве одного варианта осуществления изобретения показан пример конфигурации системы 10 передачи/приема. Эта система 10 передачи/приема скомпонована из устройства 100 передачи и устройства 200 приема.
В устройстве 100 передачи вырабатывают MPEG-2 транспортный поток TS в качестве контейнера, и передают транспортный поток TS в радиовещательном диапазоне или в пакетах сети. Этот транспортный поток TS содержит видеопоток, включающий в себя данные закодированного изображения для кадров слоев, транспортный поток TS получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев.
В устройстве 100 передачи применяют характеристику (кривую LDR OETF) фото-электрического преобразования для LDR изображения к данным первого входного изображения (данные LDR изображения), обладающего коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, что делают с целью получения данных первого изображения для передачи. Далее, в устройстве 100 передачи применяют характеристику (кривую HDR OETF) фото-электрического преобразования для HDR изображения к данным второго входного изображения (данные HDR изображения), обладающего коэффициентом контраста от 0 до 100% * N (N - число, большее 1), при этом коэффициент контраста превышает яркость обычного пика белого, что делают с целью получения данных второго изображения для передачи.
Что касается данных первого изображения для передачи, в устройстве 100 передачи кодируют данные первого изображения для передачи как они есть с целью получения данных закодированного изображения первого слоя. Между тем, что касается данных второго изображения для передачи, в устройстве 100 передачи кодируют данные разности изображений, полученные путем вычитания данных первого изображения для передачи из данных второго изображения для передачи, что делают с целью получения данных закодированного изображения второго слоя. Как описано выше, кодирование данных разности изображений, полученных по данным первого изображения для передачи и данным второго изображения для передачи, вместо самих данных второго изображения для передачи может улучшить эффективность кодирования.
После получения данных разности изображений, в устройстве 100 передачи применяют регулировку уровней к данным первого изображения для передачи. Благодаря такому применению регулировки уровней, в устройстве 100 передачи могут добиться приближения значения данных первого изображения для передачи к значению данных второго изображения для передачи и могут дополнительно улучшить эффективность кодирования.
В устройстве 100 передачи вставляют информацию о характеристике регулировки уровней в некоторый слой видеопотока. С учетом этой информации о характеристике регулировки уровней, на приемной стороне уровень данных первого изображения для передачи, подлежащих добавлению к данным разности изображений с целью получения данных второго изображения для передачи, может быть отрегулирован аналогично регулировке на передающей стороне, и могут быть точно получены данные второго изображения для передачи.
В устройстве 100 передачи классифицируют кадры данных первого изображения для передачи и данных разности изображений по нескольким уровням иерархии и кодируют кадры. В этом случае, например, применяют такое кодирование, как H.264/AVC или H.265/HEVC, так что кадр, на который ссылаются, принадлежит или такому же уровню иерархии и/или уровню иерархии, который ниже этого уровня иерархии.
В устройстве 100 передачи так осуществляют кодирование, что тип закодированного кадра для каждого кадра из данных первого изображения для передачи и тип закодированного кадра для каждого соответствующего кадра из данных разности изображений соответствуют друг другу. Благодаря такому осуществлению кодирования, что типы кадров для обоих данных изображений соответствуют друг другу, на приемной стороне может быть подавлена задержка декодирования для получения данных второго изображения для передачи.
В устройстве 100 передачи, для каждого кадра, к данным закодированного изображения для кадров каждого уровня иерархии добавляют идентификационную информацию об уровне иерархии, что делают для идентификации уровня иерархии, которому принадлежит кадр. В этом варианте осуществления изобретения «nuh_temporal_id_plus1», что означает идентификатор уровня иерархии (temporal_id), расположен в заголовочной части NAL блока (nal_unit) каждого кадра. Благодаря такому добавлению идентификационной информации об уровне иерархии, становится возможной идентификация уровня иерархии для каждого кадра в слое NAL блока на приемной стороне.
В устройстве 100 передачи размещают, например, данные закодированного изображения каждого кадра из данных первого изображения для передачи на более низких уровнях иерархии, и размещают данные закодированного изображения каждого кадра из данных разности изображений на более высоких уровнях иерархии. Далее в устройстве 100 передачи добавляют к данным закодированного изображения для кадров каждого уровня иерархии информацию о слое, нужную для идентификации слоя. В этом варианте осуществления изобретения идентификатор слоя (Layer_id) расположен в заголовочной части NAL блока (nal_unit) каждого кадра в качестве информации о слое.
В устройстве 100 передачи в слой контейнера (транспортный поток) вставляют информацию о слое для идентификации слоя данных закодированного изображения для кадров каждого уровня иерархии. Эта информация о слое описана, например, в дескрипторе в цикле элементарного видеопотока под таблицей структуры программы. Эта информация о слое указывает значение идентификатора (temporal_id) уровня иерархии, содержащегося в каждом слое.
Как описано выше, благодаря добавлению или вставке информации о слое для данные закодированного изображения для кадров каждого уровня иерархии в слой видеопотока или слой контейнера, данные закодированного изображения для кадров каждого слоя могут быть легко и точно извлечены из видеопотока на приемной стороне.
В устройстве 200 приема принимают транспортный поток TS, направленный от устройства 100 передачи в радиовещательном диапазоне или в пакетах сети. Этот транспортный поток TS содержит видеопоток, включающий в себя закодированные изображения кадров слоев, транспортный поток TS получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев.
В устройстве 200 приема обрабатывают видеопоток и по выбору подают на выход данные первого изображения для передачи или данные второго изображения для передачи, что делают на основе способности отображения блока отображения. То есть, в случае, когда блок отображения обладает способностью отображать LDR изображение, в устройстве 200 приема подают на выход данные первого изображения для передачи, применяют электро-фото преобразование, соответствующее LDR изображению, к данным изображения для передачи и направляют данные изображения для передачи на блок отображения. Между тем, в случае, когда блок отображения обладает способностью отображать HDR изображение, в устройстве 200 приема подают на выход данные второго изображения для передачи, применяют электро-фото преобразование, соответствующее HDR изображению, к данным изображения для передачи и направляют данные изображения для передачи на блок отображения.
Как описано выше, видеопоток содержит данные закодированного изображения первого слоя, выработанные путем кодирования данных первого изображения для передачи, и данные закодированного изображения второго слоя, выработанные путем кодирования данных разности изображений, полученных путем вычитания данных первого изображения для передачи из данных второго изображения для передачи. В устройстве 200 приема декодируют данные закодированного изображения первого слоя с целью получения данных первого изображения для передачи и декодируют данные закодированного изображения второго слоя с целью получения данных разности изображений и добавляют данные первого изображения для передачи к данным разности изображений с целью получения данных второго изображения для передачи.
Как описано выше, информацию о слое для данных закодированного изображения для кадров каждого слоя вставляют в слой видеопотока или слой контейнера. В устройстве 200 приема извлекают из видеопотока данные закодированного изображения первого слоя и данные закодированного изображения второго слоя, что делают на основе информации о слое.
Далее, как описано выше, информацию о характеристике регулировки уровней вставляют в слой видеопотока. В устройстве 200 приема регулируют уровень данных первого изображения для передачи, подлежащих сложению с данными разности изображений с целью получения данных второго изображения для передачи, что делают аналогично регулировке на передающей стороне с учетом информации о характеристике регулировки уровней.
(Конфигурация устройства передачи)
На фиг. 2 показан пример конфигурации устройства 100 передачи. Устройство 100 передачи содержит блок 101 управления, LDR камеру 102L, HDR камеру 102H, устройство 103L LDR фото-электрического преобразования, устройство 103H HDR фото-электрического преобразования, устройство 104 кодирования видео, устройство 105 кодирования системы и блок 106 передачи. Блок 101 управления содержит центральный процессор (CPU) и в нем управляют работой соответствующих блоков устройства 100 передачи на основе программы управления, хранящейся в запоминающем устройстве (не показана).
В LDR камере 102L формируют изображение объекта и подают на выход данные (LDR видеоданные) изображения малого динамического диапазона (LDR). Эти данные LDR изображения обладают коэффициентом контраста, равным от 0 до 100%, относительно яркости пика белого обычного LDR изображения. В HDR камере 102H формируют изображение того же объекта, что и объект LDR камеры 102L, и подают на выход данные (HDR видеоданные) изображения большого динамического диапазона (HDR). Эти данные HDR изображения обладают коэффициентом контраста, равным от 0 до 100% * N, например, от 0 до 400% или от 0 до 800%. Здесь уровень, равный 100%, может быть основан на уровне, соответствующем значению яркости белого, равному 100 кд/м2.
В устройстве 103L LDR фото-электрического преобразования применяют характеристику фото-электрического преобразования (кривую LDR OETF) для LDR изображения к данным LDR изображения, полученным из камеры 102L, с целью получения данных V1 первого изображения для передачи. Кривая а1 с фиг. 3 является примером кривой LDR OETF. Далее, кривая а2 с фиг. 4 является другим примером кривой LDR OETF. В устройстве 103H HDR фото-электрического преобразования применяют характеристику фото-электрического преобразования (кривую HDR OETF) для HDR изображения к данным HDR изображения, полученным из камеры 102H, с целью получения данных V2 второго изображения для передачи. Кривая b1 с фиг. 3 является примером кривой HDR OETF. Далее, кривая b2 с фиг. 4 является другим примером кривой HDR OETF.
Заметим, что на фиг. 3 и 4 по горизонтальной оси откладывают вход устройства 103L LDR фото-электрического преобразования или устройства 103H HDR фото-электрического преобразования в относительных значениях [%] яркости. Уровень черного соответствует минимальному значению коэффициента контраста N * 100:1. При отображении на приемной стороне могут ссылаться на это значение. Пик яркости определяет пиковую яркость (максимальное значение яркости) HDR и используют относительное значение N * 100. В устройстве приема при осуществлении электро-фото преобразования (EOTF) могут осуществлять необходимую регулировку яркости с учетом значения и способности отображения для устройства (блок отображения) отображения. В качестве альтернативы, вместо определения максимального уровня яркости, в устройстве приема могут добиться аналогичного результата путем направления значения промежуточного уровня яркости и его значения коэффициента контраста на приемную сторону. Далее на фиг. 3 и 4 по вертикальной оси откладывают значение (AMP) амплитуды, которое является выходом устройства 103L LDR фото-электрического преобразования или устройства 103H HDR фото-электрического преобразования.
В устройстве 104 кодирования видео делят данные V1 первого изображения для передачи и данные V2 второго изображения для передачи на слои и кодируют слои с целью выработки видеопотока VS с данными закодированного изображения для кадров слоев. В этом случае, в устройстве 104 кодирования видео кодируют данные V1 первого изображения для передачи как они есть с целью получения данных закодированного изображения первого слоя. Далее, в этом случае, в устройстве 104 кодирования видео вычитают данные V1 первого изображения для передачи из данных V2 второго изображения для передачи с целью получения данных DV разности изображений и кодируют данные DV разности изображений с целью получения данных закодированного изображения второго слоя.
Для улучшения эффективности кодирования, в устройстве 104 кодирования видео к данным первого изображения для передачи применяют регулировку уровней и делают значение данных V1 первого изображения для передачи ближе к значению данных V2 второго изображения для передачи при получении данных DV разности изображений. В этом случае, хотя подробного описания не приведено, регулировку осуществляют на основе кривой регулировки уровней (кривой координации уровней), полученной из соотношения кривой LDR OETF и кривой HDR OETF. В это время, в устройстве 104 кодирования видео вставляют в слой видеопотока информацию о характеристике регулировки уровней, то есть информацию о кривой регулировки уровней.
В устройстве 104 кодирования видео классифицируют кадры данных V1 первого изображения для передачи и данных DV разности изображений по нескольким уровням иерархии и кодируют кадры. В этом случае, данные закодированного изображения каждого кадра для данных V1 первого изображения для передачи размещают на более низких уровнях иерархии, а данные закодированного изображения каждого кадра для данных DV разности изображений размещают на более высоких уровнях иерархии. Далее, в этом случае, так осуществляют кодирование, что тип закодированного кадра для каждого кадра из данных V1 первого изображения для передачи и тип закодированного кадра для каждого соответствующего кадра из данных DV разности изображений соответствуют друг другу.
В устройстве 104 кодирования видео, для каждого кадра, к данным закодированного изображения для кадров каждого уровня иерархии добавляют идентификационную информацию об уровне иерархии, нужную для идентификации уровня иерархии, которому принадлежит кадр. В этом варианте осуществления изобретения «nuh_temporal_id_plus1», что означает идентификатор уровня иерархии (temporal_id), расположен в заголовочной части NAL блока (nal_unit) каждого кадра. Далее, в устройстве 104 кодирования видео, для каждого кадра, к данным закодированного изображения для кадров каждого уровня иерархии добавляют информацию о слое, нужную для идентификации слоя кодирования. В этом варианте осуществления изобретения идентификатор слоя (Layer_id) расположен в заголовочной части NAL блока (nal_unit) каждого кадра в качестве информации о слое.
На фиг. 5 показан пример иерархического кодирования, осуществляемого в устройстве 104 кодирования видео. Этот пример является примером, в котором кадры классифицируют по шести уровням иерархии от 0 до 5 и кодирование применяют к данным изображения для кадров каждого уровня иерархии. По вертикальной оси откладывают уровни иерархии. Кадры данных V1 первого изображения для передачи формируют более низкие уровни иерархии от 0 до 2, а кадры данных DV разности изображений формируют более высокие уровни иерархии от 3 до 5.
Числа от 0 до 5 соответственно установлены в качестве temporal_ids (идентификационной информации об уровне иерархии), подлежащей размещению в заголовочной части NAL блока (nal_unit), который придает конфигурацию данным закодированного изображения для кадров уровней иерархии от 0 до 5. Горизонтальная ось представляет порядок отображения (POC: порядок кадров в структуре), при этом левая сторона указывает на более раннее время отображения, а правая сторона указывает на более позднее время отображения.
На фиг. 6(a) показан пример (синтаксис) структуры заголовка NAL блока, а на фиг. 6(b) показано содержание (семантика) основных параметров в примере структуры. 0 является существенным для 1-битового поля «Forbidden_zero_bit», а 6-битовое поле «nal_unit_type» указывает тип NAL блока.
6-битовое поле «nuh_layer_id» указывает идентификатор (Layer_id) слоя. «0» указывает, что отсутствуют слои, отличные от temporal_id (идентификационная информация об уровне иерархии). «1» указывает, что слой, отличный от temporal_id (идентификационная информация об уровне иерархии) принадлежит базовому слою, то есть первому слою. «2» указывает, что слой, отличный от temporal_id (идентификационная информация об уровне иерархии) принадлежит слою улучшения, то есть второму слою. 3-битовое поле «nuh_temporal_id_plus1» указывает temporal_id, и указывает значение (от 1 до 6), к которому прибавлено число 1.
Как показано на фиг. 5, прямоугольные рамки показывают кадры, а числа указывают порядок закодированных кадров, то есть порядок кодирования (порядок декодирования на приемной стороне). Четыре кадра от «1» до «4» формируют подгруппу кадров данных V1 первого изображения для передачи, и «1» является основным кадром в этой подгруппе кадров. «0» является кадром предыдущей подгруппы кадров. Далее, четыре кадра от «5» до «8» формируют следующую подгруппу кадров данных V1 первого изображения для передачи, и «5» является основным кадром в этой подгруппе кадров. Здесь «1» представляет собой I кадр (внутренний кадр), «5» представляет собой Р кадр (прогнозный кадр со ссылкой на один кадр), а другие кадры являются В кадрами (прогнозный кадр со ссылкой на два кадра).
Далее, четыре кадра от «1’» до «4’» формируют подгруппу кадров данных DV разности изображений, и «1’» является основным кадром в этой подгруппе кадров. «0’» является кадром предыдущей подгруппы кадров. Далее, четыре кадра от «5’» до «8’» формируют следующую подгруппу кадров данных DV разности изображений, и «5’» является основным кадром в этой подгруппе кадров. Здесь «1’» представляет собой I кадр (внутренний кадр), «5’» представляет собой Р кадр (прогнозный кадр со ссылкой на один кадр), а другие кадры являются В кадрами (прогнозный кадр со ссылкой на два кадра).
Как показано, кадры от «1» до «8» данных V1 первого изображения для передачи соответствуют кадрам «1’» до «8’» данных DV разности изображений и кодирование осуществляют так, что типы закодированных кадров для данных V1 первого изображения для передачи и типы закодированных кадров соответствующих кадров для данных DV разности изображений соответствуют друг другу.
Сплошные стрелки показывают взаимоотношение среди кадров при кодировании. Например, кадр «5» является Р кадром и его кодируют с учетом кадра «1». Далее, кадр «6» является В кадром и его кодируют с учетом кадров «1» и «5». Аналогично, другие кадры кодируют с учетом соседних кадров в порядке отображения.
На фиг. 7 показан пример конфигурации устройства 104 кодирования видео. Устройство 104 кодирования видео содержит блок 141 кодирования преобразования предсказания движения/квантования, блок 142 энтропийного кодирования, блок 143 регулировки уровней, блок 144 вычитания, блок 145 кодирования преобразования предсказания движения/квантования, блок 146 энтропийного кодирования и блок 147 упаковки потока.
В блоке 141 кодирования преобразования предсказания движения/квантования осуществляют кодирование преобразования предсказания движения для данных V1 первого изображения для передачи из данных временной оси в данные частотной оси и далее осуществляют квантование данных частотной оси с целью получения квантованных данных. В блоке 142 энтропийного кодирования осуществляют энтропийное кодирование квантованных данных, полученных в блоке 141 кодирования преобразования предсказания движения/квантования, что делают с целью получения данных CV1 закодированного изображения первого слоя.
В блоке 143 регулировки уровней применяют регулировку уровней к данным V1 первого изображения для передачи с целью улучшения эффективности кодирования и делают значение данных V1 первого изображения для передачи ближе к значению данных V2 второго изображения для передачи. В блоке 143 регулировки уровней регулируют уровень данных первого изображения для передачи на основе кривой регулировки уровней (кривой координации уровней), полученной из соотношения кривой LDR OETF и кривой HDR OETF.
Регулировка уровней будет подробно описана ниже. Описание приведено со ссылками на кривую LDR OETF и кривую HDR OETF с фиг. 3. При регулировке уровней, к значению AMP LDR применяют корректировку, так что значение AMP (значение данных V1 первого изображения для передачи) LDR приближается к значению AMP (значению данных V2 второго изображения для передачи) HDR в PL диапазоне значений относительной яркости LDR (входной диапазон по горизонтальной оси). В этом случае, Px_A, которое является значением AMP (значение данных V1 первого изображения для передачи) LDR, подлежащим корректировке, отображают в Px_B.
Кривая с1 с фиг. 8 показывает кривую отображения в этом время. Эта кривая отображения формирует кривую регулировки уровней в случае, когда используют кривую LDR OETF и кривую HDR OETF с фиг. 3. В блоке 143 регулировки уровней отображают Px_A, которое является значением AMP (значение данных V1 первого изображения для передачи) LDR, на Px_B на основе этой кривой отображения и приближают значение данных V1 первого изображения для передачи к значению данных V2 второго изображения для передачи.
Заметим, что даже если кривая LDR OETF и кривая HDR OETF находятся в другой комбинации, кривая отображения, которая формирует кривую регулировки уровней, может быть получена аналогично, и в блоке 143 регулировки уровней могут приблизить значение данных V1 первого изображения для передачи к значению данных V2 второго изображения для передачи с помощью отображения Px_A, которое является значением AMP (значение данных V1 первого изображения для передачи) LDR, на Px_B, что делают на основе кривой отображения. Например, кривая с2 с фиг. 9 показывает кривую отображения в случае, когда используют кривую LDR OETF и кривую HDR OETF с фиг. 4.
Возвращаясь к фиг. 7, в блоке 144 вычитания вычитают данные V1 первого изображения для передачи, подвергнутые регулировке уровней в блоке 143 регулировки уровней, из данных V2 второго изображения для передачи с целью получения данных DV разности изображений. Заметим, что при такой выработке данных DV разности изображений, процесс предсказания с использованием вектора движения, аналогичный процессу из блока 145 кодирования преобразования предсказания движения/квантования, осуществляют так, что информация о разности становится малой и вектор движения передают вместе с данными о разности. В блоке 145 кодирования преобразования предсказания движения/квантования осуществляют кодирование преобразования предсказания движения для данных DV разности изображений из данных временной оси в данные частотной оси и далее осуществляют квантование данных частотной оси с целью получения квантованных данных. В блоке 146 энтропийного кодирования осуществляют энтропийное кодирование квантованных данных, полученных в блоке 145 кодирования преобразования предсказания движения/квантования, что делают с целью получения данных CV2 закодированного изображения второго слоя.
В блоке 147 упаковки потока вырабатывают видеопоток VS (элементарный видеопоток), содержащий данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя. В это время, в заголовочной части NAL блока (nal_unit) каждого кадра располагают «nuh_temporal_id_plus1», что означает идентификатор (temporal_id) уровня иерархии, и идентификатор (Layer_id) слоя. Далее, в это время, информацию о характеристике регулировки уровней вставляют в слой видеопотока. Эту информацию о характеристике вставляют, например, в блок группы (GOP) кадров, то есть в блок доступа отображения, содержащий предсказанное изображение.
Возвращаясь к фиг. 2, в устройстве 105 кодирования системы вырабатывают транспортный поток TS, содержащий видеопоток VS, выработанный в устройстве 104 кодирования видео. Далее в устройстве 106 передачи передают транспортный поток TS на устройство 200 приема в радиовещательном диапазоне или в пакетах сети.
В это время, в устройстве 105 кодирования системы в слой контейнера (транспортный поток) вставляют информацию о слое, нужную для идентификации слоя для данных закодированного изображения для кадров каждого уровня иерархии. Эта информация о слое описана, например, в дескрипторе в цикле элементарного видеопотока под таблицей структуры программы. Эта информация о слое указывает значение идентификатора (temporal_id) уровня иерархии, содержащегося в каждом слое.
Далее коротко опишем работу устройства 100 передачи, показанного на фиг. 2. Данные LDR изображения (LDR видеоданные), сформированные и полученные в LDR камере 102L, подают в устройство 103L LDR фото-электрического преобразования. В этом устройстве 103L LDR фото-электрического преобразования применяют характеристику фото-электрического преобразования (кривую LDR OETF) для LDR изображения к данным LDR изображения и получают данные V1 первого изображения для передачи. Эти данные V1 первого изображения для передачи подают на устройство 104 кодирования видео.
Далее, данные HDR изображения (HDR видеоданные), сформированные и полученные в HDR камере 102H, подают в устройство 103H HDR фото-электрического преобразования. В этом устройстве 103H HDR фото-электрического преобразования применяют характеристику фото-электрического преобразования (кривую HDR OETF) для HDR изображения к данным HDR изображения и получают данные V2 второго изображения для передачи. Эти данные V2 второго изображения для передачи подают на устройство 104 кодирования видео.
В устройстве 104 кодирования видео данные V1 первого изображения для передачи и данные V2 второго изображения для передачи делят на слои и слои кодируют и вырабатывают видеопоток VS с закодированным изображением кадров слоев. В этом случае, данные V1 первого изображения для передачи кодируют как они есть и получают данные закодированного изображения первого слоя. Далее, в этом случае, данные DV разности изображений, полученные вычитанием данных VD1 первого изображения для передачи из данных V2 второго изображения для передачи, кодируют и получают данные закодированного изображения второго слоя.
Здесь, для улучшения эффективности кодирования, применяют регулировку уровней к данным первого изображения для передачи, которую делают на основе кривой регулировки уровней (кривая отображения), полученной из соотношения кривой LDR OETF и кривой HDR OETF, и значение данных V1 первого изображения для передачи приближают к значению данных V2 второго изображения для передачи, когда получены данные DV разности изображений.
Далее, в устройстве 104 кодирования видео, для каждого кадра, к данным закодированного изображения для кадра каждого уровня иерархии добавляют идентификационную информацию об уровне иерархии, нужную для идентификации уровня иерархии, которому принадлежит кадр. Далее, в устройстве 104 кодирования видео, для каждого кадра, к данным закодированного изображения для кадра каждого уровня иерархии добавляют информацию о слое, нужную для идентификации слоя.
Видеопоток VS, выработанный в устройстве 104 кодирования видео, подают в устройство 105 кодирования системы. В этом устройстве 105 кодирования системы вырабатывают MPEG-2 транспортный поток TS, содержащий видеопоток. В это время, в устройстве 105 кодирования системы, в слой контейнера (транспортный поток) вставляют информацию о слое, нужную для идентификации слоя данных закодированного изображения для кадров каждого уровня иерархии. Этот транспортный поток TS передают из устройства 100 передачи на устройство 200 приема в радиовещательном диапазоне или в пакетах сети.
[Информация о характеристике регулировки уровней, информация о слое и конфигурация TS]
Как описано выше, информацию о характеристике регулировки уровней вставляют в слой видеопотока. Например, в случае, когда способом кодирования является HEVC, эту информацию о характеристике регулировки уровней вставляют в часть «SEI» блока (AU) доступа как сообщение (SEI сообщение Level_Adjusting) регулировки уровней/SEI.
На фиг. 10 показан блок доступа заголовка группы (GOP) кадров в случае, когда способом кодирования является HEVC. В случае HEVC способа кодирования, группу «Prefix_SEI» SEI сообщения, используемую для декодирования, располагают до «срезов», в которых закодированы данные пикселов, а группу «Suffix_SEI» SEI сообщения, используемую для отображения, располагают после «срезов». Сообщение регулировки уровней/SEI располагают как группу «Suffix_SEI» SEI сообщения.
На фиг. 11(а) показан пример (синтаксис) структуры «Level_Adjusting SEI сообщение». «uuid_iso_iec_11578» обладает UUID значением, указанным в «ISO/IEC 11578:1996 Приложение A.». «Level_Adjusting_SEI()» вставлено в поле «user_data_payload_byte». На фиг. 11(b) показан пример (синтаксис) структуры из «Level_Adjusting_SEI()» и «Level_Adjusting_information_data()», которые вставляют в «Level_Adjusting_SEI()» в качестве информации о характеристике регулировки уровней. «userdata_id» представляет собой идентификатор информации о характеристике регулировки уровней, указанный в 16 битах без кода. 8-битовое поле «Level_Adjusting_SEI_length» указывает размер в битах «Level_Adjusting_information_data()» в поле и после него.
На фиг. 12 показан пример (синтаксис) структуры «Level_Adjusting_information_data()». На фиг. 13 показано содержание (семантика) информации в примере структуры, показанной на фиг. 12. 8-битовое поле «peak_brightness_level» указывает уровень яркости текущего пика. В этом случае, уровень яркости пика равен peak_brightness_level * 100 (кд/м2).
8-битовое поле «Contrast_ratio» указывает динамический диапазон от 0 до peak_brightness_level. В этом случае, яркость уровня черного равна peak_brightness_level * (1/(black_level * 100)). «1» указывает уровень, равный 1/100 от peak_brightness_level. «4» указывает уровень, равный 1/400 от peak_brightness_level. «16» указывает уровень, равный 1/1600 от peak_brightness_level. «64» указывает уровень, равный 1/6400 от peak_brightness_level. Далее, «128» указывает уровень, равный 1/12800 от peak_brightness_level.
4-битовое поле «coded_bit_extension_minus1» указывает расширение ширины в битах для каждого компонента пиксела, подлежащего передаче. «0» указывает 1-битовое расширение (8 битов+1 бит=9 битов). «1» указывает 2-битовое расширение (8 битов+2 бита=10 битов). «2» указывает 3-битовое расширение (8 битов+3 бита=11 битов). «3» указывает 4-битовое расширение (8 битов+4 бита=12 битов). 16-битовое поле «level_adjust [i]» указывает значение корректировки входа i на значение с кодом.
Далее, как описано выше, в слой контейнера (транспортный поток) вставляют информацию о слое для идентификации слоя данных закодированного изображения для кадров каждого уровня иерархии. В этом варианте осуществления изобретения, например, дескриптор (Layer_hierarchy дескриптор) иерархии слоев, то есть дескриптор, содержащий информацию о слое, вставляют под таблицей (PMT) структуры программы.
На фиг. 14 показан пример (синтаксис) структуры дескриптора иерархии слоев. На фиг. 15 показано содержание (семантика) информации в примере структуры, показанной на фиг. 14. 8-битовое поле «Layer_hierarchy_tag» указывает тип дескриптора и здесь указывает на то, что тип дескриптор представляет собой дескриптор иерархии слоев. 8-битовое поле «Layer_hierarchy_length» указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байт.
3-битовое поле «Layer_id_for _full_decoding» указывает максимальный временный идентификатор (temporal_id) в случае полного декодирования соответствующего видеопотока. 3-битовое поле «Layer_id_for _base_decoding» указывает максимальный временный идентификатор (temporal_id) в случае декодирования базового слоя (первый слой) соответствующего видеопотока. 1-битовое поле «NAL_layer_signaling» указывает, что для заголовка NAL блока осуществляют передачу сигнала слоя с nuh_layer_id.
На фиг. 16 показан пример структуры конфигурации транспортного потока TS. Транспортный поток TS содержит PES пакет «PID1: video PES1» элементарного видеопотока. Описанное выше сообщение (Level_Adjusting SEI сообщение) регулировки уровней/SEI вставлено в элементарный видеопоток. Далее, в заголовочной части NAL блока располагают «nuh_temporal_id_plus1», что означает идентификатор (temporal_id) уровня иерархии, и в качестве информации о слое располагают идентификатор (Layer_id) слоя.
Далее, транспортный поток TS содержит таблицу (PMT) структуры программы в качестве зависимой от программы информации (PSI). PSI является информацией, описывающей, какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке. Далее, транспортный поток TS содержит таблицу (EIT) информации о событиях в качестве служебной информации (SI), для осуществления управления в блоке события (программа).
В PMT существует элементарный цикл, содержащий информацию, касающуюся каждого элементарного потока. В этом примере структуры, существует элементарный цикл (Видео ES цикл) видео. В этом элементарном цикле видео расположена такая информация, как тип потока и идентификатор (PID) пакета, соответствующая каждому элементарному видеопотоку, и также расположен дескриптор, описывающий информацию, касающуюся элементарного видеопотока. Описанный выше дескриптор (дескриптор Layer_hierarchy) иерархии слоев расположен под элементарным циклом (Видео ES цикл) видео в PMT.
(Конфигурация устройства приема)
На фиг. 17 показан пример конфигурации устройства 200 приема. Устройство 200 приема содержит блок 201 управления, блок 202 приема, устройство 203 декодирования системы, устройство 204 декодирования видео, блок 205 переключения, устройство 206L LDR электро-фото преобразования, устройство 206H HDR электро-фото преобразования и блок 207 (устройство отображения) отображения. Блок 201 управления содержит центральный процессор (CPU) и в нем управляют работой соответствующих блоков устройства 200 приема на основе программы управления, хранящейся в запоминающем устройстве (не показана).
В блоке 202 приема принимают транспортный поток TS, направленный от устройства 100 передачи в радиовещательном диапазоне или в пакетах сети. В устройстве 203 декодирования системы из транспортного потока TS извлекают видеопоток VS (элементарный поток). Далее, в устройстве 203 декодирования системы извлекают информацию различных типов, вставленную в слой контейнера (транспортный поток), и направляют эту информацию в блок 201 управления. Эта информация содержит описанный выше дескриптор иерархии слоев.
В устройстве 204 декодирования видео осуществляют декодирование и подобную обработку видеопотока VS, извлеченного в устройстве 203 декодирования системы, и по выбору подают на выход данные V1 первого изображения для передачи или данные V2 второго изображения для передачи, что делают на основе способности отображения блока 207 отображения. То есть, в случае, когда блок 207 отображения обладает способностью отображать LDR изображение, в устройстве 204 декодирования видео подают на выход данные V1 первого изображения для передачи. Между тем, в случае, когда блок 207 отображения обладает способностью отображать HDR изображение, в устройстве 204 декодирования видео подают на выход данные V2 второго изображения для передачи.
Далее, в устройстве 204 декодирования видео извлекают SEI сообщение, вставленное в видеопоток VS, и передают SEI сообщение в блок 201 управления. Это SEI сообщение содержит сообщение регулировки уровней/SEI, включающее в себя информацию о характеристике регулировки уровней.
На фиг. 18 показана конфигурации устройства 204 декодирования видео. Устройство 204 декодирования видео содержит блок 241 распаковки потока, блок 242 энтропийного декодирования, блок 243 обращения квантования/декодирования преобразования компенсации движения, блок 244 энтропийного декодирования, блок 245 обращения квантования/декодирования преобразования компенсации движения, блок 246 регулировки уровней, блок 247 сложения и блок 248 переключения.
В блоке 241 распаковки потока классифицируют и извлекают из видеопотока VS данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя. В этом случае, в блоке 241 распаковки потока классифицируют данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя на основе информации о слое данных закодированного изображения для кадров каждого слоя, при этом информация о слое вставлена в слой видеопотока или слой контейнера. Когда в устройстве приема осуществляют отображение LDR, в блоке 241 распаковки потока направляют только CV1 на блок 242 энтропийного декодирования. Между тем, когда в устройстве приема осуществляют отображение HDR, в блоке 241 распаковки потока направляют CV1 на блок 242 энтропийного декодирования и направляют CV2 на блок 244 энтропийного декодирования.
В этом случае, в блоке 241 распаковки потока выбирают «способ А» или «способ В» на основе 1-битового поля «NAL_layer_signaling» дескриптора иерархии слоев (смотри фиг. 14), и классифицируют данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя.
Например, когда 1-битовое поле «NAL_layer_signaling» равно «1» и указывает, что для заголовка NAL блока осуществляют передачу сигнала слоя с nuh_layer_id, в блоке 241 распаковки потока применяют «способ А». В это время, «nuh_layer_id» и «nuh_temporal_id_plus1», полученные в ходе анализа (разборки) NAL блока, переходят в состояние, показанное для стороны «способ А» из фиг. 19.
То есть, в кадрах первого слоя (базового слоя), когда значение «nuh_temporal_id_plus1» равно 0, 1 и 2, значение «nuh_layer_id» равно 1, 1 и 1. Между тем, в кадрах второго слоя (слоя улучшения), когда значение «nuh_temporal_id_plus1» равно 3, 4 и 5, значение «nuh_layer_id» равно 2, 2 и 2. Следовательно, в этом «способе А» данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя классифицируют с использованием значений «nuh_layer_id».
Между тем, когда 1-битовое поле «NAL_layer_signaling» равно «0» и указывает, что для заголовка NAL блока не осуществляют передачу сигнала слоя с nuh_layer_id, в блоке 241 распаковки потока применяют «способ В». В это время, «nuh_layer_id» и «nuh_temporal_id_plus1», полученные в ходе анализа (разборки) NAL блока, переходят в состояние, показанное для стороны «способ В» из фиг. 19.
То есть, в кадрах первого слоя (базового слоя), когда значение «nuh_temporal_id_plus1» равно 0, 1 и 2, значение «nuh_layer_id» равно 0, 0 и 0. Между тем, в кадрах второго слоя (слоя улучшения), когда значение «nuh_temporal_id_plus1» равно 3, 4 и 5, значение «nuh_layer_id» равно 0, 0 и 0. Следовательно, данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя не могут классифицировать с использованием значений «nuh_layer_id».
Тем не менее, в дескрипторе иерархии слоев существуют «Layer_id_for_full_decoding» и «Layer_id_for_base_decoding». Как описано выше, 3-битовое поле «Layer_id_for _full_decoding» указывает максимальный временный идентификатор (temporal_id) в случае полного декодирования соответствующего видеопотока. Далее, 3-битовое поле «Layer_id_for _base_decoding» указывает максимальный временный идентификатор (temporal_id) в случае декодирования базового слоя (первый слой) соответствующего видеопотока. Следовательно, в этом «способе В» данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя классифицируют с использованием значений «Layer_id_for_full_decoding» и «Layer_id_for_base_decoding» и значения «nuh_temporal_id_plus1».
Далее, как показано на фиг. 18, в устройстве 241 декодирования видео извлекают SEI сообщение, вставленное в видеопоток VS, и передают SEI сообщение в блок 201 управления. Это SEI сообщение содержит сообщение регулировки уровней/SEI, включающее в себя информацию о характеристике регулировки уровней.
В блоке 242 энтропийного декодирования осуществляют энтропийное декодирование для данных CV1 закодированного изображения первого слоя с целью получения квантованных данных. В блоке 243 обращения квантования/декодирования преобразования компенсации движения применяют обратное квантование к квантованным данным и далее осуществляют декодирование преобразования компенсации движения из данных частотной оси в данные временной оси с целью получения данных V1 первого изображения для передачи.
В блоке 244 энтропийного декодирования осуществляют энтропийное декодирование для данных CV2 закодированного изображения второго слоя с целью получения квантованных данных. В блоке 245 обращения квантования/декодирования преобразования компенсации движения применяют обратное квантование к квантованным данным и далее осуществляют декодирование преобразования компенсации движения из данных частотной оси в данные временной оси с целью получения данных DV разности изображений.
В блоке 246 регулировки уровней применяют регулировку уровней к данным V1 первого изображения для передачи. В этом случае, в блоке 246 регулировки уровней применяют корректировку с использованием кривой отображения (кривая регулировки уровней), аналогичной кривой из блока 143 регулировки уровней устройства 104 кодирования видео устройства 100 передачи, что делают на основе информации о характеристике регулировки уровней, содержащейся в сообщении регулировки уровней/SEI, которое извлекают в блоке 241 распаковки потока.
В блоке 247 сложения складывают данные V1 первого изображения для передачи, подвергнутые регулировке уровней в блоке 246 регулировки уровней, с данными DV разности изображений с целью получения данных V2 второго изображения для передачи. Заметим, что во время сложения, осуществляют предсказание/компенсацию с использованием вектора предсказания между слоями. В блоке 248 переключения по выбору подают на выход данные V1 первого изображения для передачи или данные V2 второго изображения для передачи в соответствии со способностями отображения блока 207 отображения (устройство отображения), что делают под управлением блока 201 управления. То есть, когда блок 207 отображения обладает способностью отображать LDR изображение, в устройстве 248 переключения подают на выход данные V1 первого изображения для передачи. Между тем, когда блок 207 отображения обладает способностью отображать HDR изображение, в устройстве 248 переключения подают на выход данные V2 второго изображения для передачи.
Возвращаясь к фиг. 17, в блоке 205 переключения по выбору направляют данные изображения, поданные на выход в устройстве 204 декодирования видео, на устройство 206L LDR электро-фото преобразования или устройство 206H HDR электро-фото преобразования. В этом случае, в блоке 205 переключения направляют данные V1 первого изображения для передачи на устройство 206L LDR электро-фото преобразования, когда данные изображения, поданные на выход в устройстве 204 декодирования видео, являются данными V1 первого изображения для передачи. Между тем, в блоке 205 переключения направляют данные V2 второго изображения для передачи на устройство 206H HDR электро-фото преобразования, когда данные изображения, поданные на выход в устройстве 204 декодирования видео, являются данными V2 второго изображения для передачи.
В устройстве 206L LDR электро-фото преобразования применяют к данным V1 первого изображения для передачи электро-фото преобразование, обладающее обратной характеристикой по сравнению с характеристикой фото-электрического преобразования из устройства 103L LDR фото-электрического преобразования устройства 100 передачи, что делают с целью получения данных выходного изображения для отображения LDR изображения. Далее, в устройстве 206H HDR электро-фото преобразования применяют к данным V2 второго изображения для передачи электро-фото преобразование, обладающее обратной характеристикой по сравнению с характеристикой фото-электрического преобразования из устройства 103H HDR фото-электрического преобразования устройства 100 передачи, что делают с целью получения данных выходного изображения для отображения HDR изображения.
Блок 207 отображения выполнен, например, из жидкокристаллического дисплея (LCD), органической электролюминесцентной (EL) панели и подобного. Когда блок 207 отображения обладает способностью отображать LDR изображение, в устройстве 207 отображения отображают LDR изображение с помощью данных выходного изображения, полученных из устройства 206L LDR электро-фото преобразования. Между тем, когда блок 207 отображения обладает способностью отображать HDR изображение, в устройстве 207 отображения отображают HDR изображение с помощью данных выходного изображения, полученных из устройства 206H HDR электро-фото преобразования. Заметим, что этот блок 207 отображения может быть внешним устройством, соединенным с устройством 200 приема.
Далее коротко опишем работу устройства 200 приема, показанного на фиг. 17. В блоке 202 приема принимают транспортный поток TS, направленный от устройства 100 передачи в радиовещательном диапазоне или в пакетах сети. Этот транспортный поток TS подают в устройство 203 декодирования системы. В устройстве 203 декодирования системы из транспортного потока TS извлекают видеопоток VS (элементарный поток). Далее, в устройстве 203 декодирования системы извлекают информацию различных типов, вставленную в слой контейнера (транспортный поток), и направляют в блок 201 управления. Эти типы информации содержат описанный выше дескриптор иерархии слоев.
Видеопоток VS, извлеченный в устройстве 203 декодирования системы, подают в устройство 204 декодирования видео. Этот видеопоток VS содержит данные CV1 закодированного изображения первого слоя, которые выработаны путем кодирования данных V1 первого изображения для передачи, и данные CV2 закодированного изображения второго слоя, которые выработаны путем кодирования данных DV разности изображений, полученных путем вычитания данных V1 первого изображения для передачи из данных V2 второго изображения для передачи.
В устройстве 204 декодирования видео данные CV1 закодированного изображения первого слоя и данные CV2 закодированного изображения второго слоя разделяют и извлекают из видеопотока VS на основе информации о слое для данных закодированного изображения для кадров каждого слоя, при этом информация о слое вставлена в слой видеопотока или слой контейнера.
Далее, в устройстве 204 декодирования видео декодируют данные CV1 закодированного изображения первого слоя и получают данные V1 первого изображения для передачи. Далее, в устройстве 204 декодирования видео декодируют данные CV2 закодированного изображения второго слоя и данные V1 первого изображения для передачи складывают с данными DV разности изображений и получают данные V2 второго изображения для передачи. Здесь, к данным V1 первого изображения для передачи, подлежащим сложению с данными DV разности изображений, применяют регулировку уровней, что делают на основе информации о характеристике регулировки уровней, содержащейся в сообщении регулировки уровней/SEI.
Когда данные изображения, поданные на выход в устройстве 204 декодирования видео, являются данными V1 первого изображения для передачи, эти данные V1 первого изображения для передачи подают на устройство 206L LDR электро-фото преобразования с помощью блока 205 переключения. В этом устройстве 206L LDR электро-фото преобразования к данным V1 первого изображения для передачи применяют электро-фото преобразование, обладающее обратной характеристикой по сравнению с характеристикой фото-электрического преобразования из устройства 100 передачи, и получают данные выходного изображения для отображения LDR изображения. Эти данные выходного изображения направляют в блок 207 отображения и LDR изображение показывают в блоке 207 отображения.
Между тем, когда данные изображения, поданные на выход в устройстве 204 декодирования видео, являются данными V2 второго изображения для передачи, эти данные V2 второго изображения для передачи подают на устройство 206H HDR электро-фото преобразования с помощью блока 205 переключения. В этом устройстве 206H HDR электро-фото преобразования к данным V2 второго изображения для передачи применяют электро-фото преобразование, обладающее обратной характеристикой по сравнению с характеристикой фото-электрического преобразования из устройства 100 передачи, и получают данные выходного изображения для отображения HDR изображения. Эти данные выходного изображения направляют в блок 207 отображения и HDR изображение показывают в блоке 207 отображения.
Как описано выше, в системе 10 передачи/приема, показанной на фиг. 1, данные первого изображения для передачи, полученные путем применения фото-электрического преобразования к данным LDR изображения, и данные второго изображения для передачи, полученные путем применения фото-электрического преобразования к данным HDR изображения, делят на слои и кодируют и передают контейнер, содержащий видеопоток с данными закодированного изображения для кадров слоев. Следовательно, как данные HDR изображения, так и данные LDR изображения могут быть переданы подходящим образом.
Далее, в системе 10 передачи/приема, показанной на фиг. 1, данные первого изображения для передачи вычитают из данных второго изображения для передачи и получают данные разности изображений, данные первого изображения для передачи кодируют и получают данные закодированного изображения первого слоя и кодируют данные разности изображений и получают данные закодированного изображения второго слоя. Следовательно, может быть улучшена эффективность кодирования.
Далее, в системе 10 передачи/приема, показанной на фиг. 1, тип закодированного кадра для каждого кадра из данных первого изображения для передачи и тип закодированного кадра для каждого кадра, соответствующего данным разности изображений, соответствуют друг другу. Следовательно, на приемной стороне декодирование каждого кадра для данных закодированного изображения первого слоя и декодирование каждого соответствующего кадра для данных закодированного изображения второго слоя могут быть выполнены одновременно и задержка декодирования для получения данных второго изображения для передачи может быть сделана малой.
Далее, в системе 10 передачи/приема, показанной на фиг. 1, информацию о слое для данных закодированного изображения для кадров каждого слоя вставляют в слой видеопотока или слой контейнера и передают.Следовательно, на приемной стороне, данные закодированного изображения для кадров каждого слоя могут быть легко извлечены из видеопотока.
Далее, в системе 10 передачи/приема, показанной на фиг. 1, когда получают данные разности изображений, к данным первого изображения для передачи применяют регулировку уровней и приближают к данных второго изображения для передачи. Следовательно, значение данных разности изображений может быть сделано малым и может быть дополнительно увеличена эффективность кодирования.
Далее, в системе 10 передачи/приема, показанной на фиг. 1, информацию о характеристике регулировки уровней вставляют в слой видеопотока и передают.Следовательно, на приемной стороне, после осуществления регулировки уровней для данных первого изображения для передачи на основе информации о характеристике регулировки уровней, данные первого изображения для передачи прибавляют к данным разности изображений, так что могут быть подходящими образом получены данных второго изображения для передачи.
<2. Модификация>
Заметим, что в описанном выше варианте осуществления изобретения, описан пример получения данных CV2 закодированного изображения второго слоя с помощью кодирования данных DV разности изображений, которые получены вычитанием данных V1 первого изображения для передачи после регулировки уровней из данных V2 второго изображения для передачи. Тем не менее, может быть рассмотрено (1) получение данных CV2 закодированного изображения второго слоя с помощью кодирования данных DV разности изображений, которые получены вычитанием данных V1 первого изображения для передачи из данных V2 второго изображения для передачи, подвергнутых регулировке уровней. Далее может быть рассмотрено (2) получение данных CV2 закодированного изображения второго слоя с помощью кодирования самих данных V2 второго изображения для передачи.
На фиг. 20 показан пример конфигурации устройства 104А кодирования видео, соответствующего упомянутым выше (1) и (2). Заметим, что на фиг. 20 часть, соответствующая фиг. 7, обозначена той же ссылочной позицией и ее подробное описание опущено. В блоке 143 регулировки уровней применяют регулировку уровней к данным V2 второго изображения для передачи с целью приближения значения данных V2 второго изображения для передачи к данным V1 первого изображения для передачи. В блоке 144 вычитания вычитают данные V1 первого изображения для передачи из данных V2 второго изображения для передачи, которые подверглись регулировке уровней, что делают с целью получения данных DV разности изображений. Заметим, что во время вычитания, осуществляют предсказание/компенсацию с использованием вектора предсказания между слоями.
В блоке 148 переключения по выбору направляют данные V2 второго изображения или данные DV разности изображений на блок 145 кодирования преобразования предсказания движения/квантования. Здесь, когда выбраны данные DV разности изображений, данные CV2 закодированного изображения второго слоя являются данными, полученными с помощью кодирования данных DV разности изображений, которые получены вычитанием данных V1 первого изображения для передачи из данных V2 второго изображения для передачи, которые подверглись регулировке уровней. Между тем, когда выбраны данные V2 второго изображения, данные CV2 закодированного изображения второго слоя являются данными, полученными с помощью кодирования самих данных V2 второго изображения для передачи.
На фиг. 21 показан пример конфигурации устройства 204А декодирования видео, соответствующего устройству 104 кодирования видео с фиг. 20. Заметим, что на фиг. 21 часть, соответствующая фиг. 18, обозначена той же ссылочной позицией и ее подробное описание опущено. В блоке 245 обращения квантования/декодирования преобразования компенсации движения подают на выход данные DV разности изображений, когда данные CV2 закодированного изображения второго слоя, направленные из передающей стороны, представляют собой закодированные данные DV разности изображений.
В этом случае, в блоке 247 сложения складывают данные DV разности изображений и данные V1 первого изображения для передачи. Заметим, что во время сложения, осуществляют предсказание/компенсацию с использованием вектора предсказания между слоями. Далее, в блоке 247 регулировки уровней применяют, к добавленным данным, регулировку уровней, обратную по отношению к регулировке из блока 143 регулировки уровней устройства 104 кодирования видео, что делают с целью получения данных V2 второго изображения для передачи. Далее, в этом случае, в блоке 249 переключения осуществляют переключение с целью подачи на выход данных V2 второго изображения для передачи, полученных из блока 246 регулировки уровней.
Между тем, в блоке 245 обращения квантования/декодирования преобразования компенсации движения подают на выход данные V2 второго изображения для передачи, когда данные CV2 закодированного изображения второго слоя, направленные из передающей стороны, представляют собой закодированные данных V2 второго изображения для передачи. Далее, в этом случае, в блоке 249 переключения осуществляют переключение с целью подачи на выход данных V2 второго изображения для передачи.
Далее, в этом описанном выше варианте осуществления изобретения, описан (смотри фиг. 5) пример осуществления соответствия друг другу типа закодированного кадра для каждого кадра из данных V1 первого изображения для передачи и типа закодированного кадра для каждого соответствующего кадра из данных DV разности изображений. Тем не менее, настоящее изобретение может быть применено в случае, когда типы закодированного кадра не делают соответствующими друг другу.
На фиг. 22 показан пример иерархического кодирования в этом случае. В этом примере, кадры данных классифицируют по четырем уровням иерархии от 0 до 3 и кодируют данные изображения для кадров каждого уровня иерархии. По вертикальной оси откладывают уровни иерархии. Кадры данных V1 первого изображения для передачи формируют более низкие уровни иерархии от 0 до 2, а кадры данных DV разности изображений формируют более высокий уровень иерархии, равный 3.
Числа от 0 до 3 соответственно установлены в качестве temporal_ids (идентификационной информации об уровне иерархии), подлежащей размещению в заголовочной части NAL блока (nal_unit), который придает конфигурацию данным закодированного изображения для кадров уровней иерархии от 0 до 3. Горизонтальная ось представляет порядок отображения (POC: порядок кадров в структуре), при этом левая сторона указывает на более раннее время отображения, а правая сторона указывает на более позднее время отображения. Прямоугольные рамки показывают кадры, а числа указывают порядок закодированных кадров, то есть порядок кодирования (порядок декодирования на приемной стороне).
Далее, в описанном выше варианте осуществления изобретения, описан пример, в котором один видеопоток VS, содержащий данные закодированного изображения кадров первого слоя (базового слоя) и второго слоя (слоя улучшения), содержится в транспортном потоке TS. Тем не менее, в транспортный поток TS могут быть включены два видеопотока, содержащие видеопоток с данными закодированного изображения для кадров первого слоя (базовый слой) и видеопоток с данными закодированного изображения для кадров второго слоя (слой улучшения).
Далее, настоящее изобретение может принимать описанные ниже конфигурации.
(1). Устройство передачи, содержащее:
блок кодирования изображения, выполненный для деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев, данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; и
блок передачи, выполненный для передачи контейнера заранее заданного формата, который содержит видеопоток.
(2). Устройство передачи по (1), в котором
в блоке кодирования изображений
осуществляют процесс вычитания данных второго изображения для передачи и данных первого изображения для передачи с целью получения данных разности изображений, и
кодируют данные первого изображения для передачи с целью получения данных закодированного изображения первого слоя и кодируют данные разности изображений с целью получения данных закодированного изображения второго слоя.
(3). Устройство передачи по (2), в котором
в блоке кодирования изображения применяют регулировку уровней к данным первого изображения для передачи или данным второго изображения для передачи при осуществлении процесса вычитания с целью получения данных разности изображений.
(4). Устройство передачи по (3), дополнительно содержащее:
блок вставки информации, выполненный для вставки информации о характеристике регулировки уровней и/или информации об уровне и информации о контрасте для яркости в слой видеопотока.
(5). Устройство приема по любому из (2) - (4), в котором
в устройстве кодирования изображения делают тип закодированного кадра для каждого кадра из данных первого изображения для передачи и тип закодированного кадра для каждого соответствующего кадра из данных разности изображений соответствующими друг другу.
(6). Устройство передачи по (1), в котором
в блоке кодирования изображения кодируют данные первого изображения для передачи с целью получения данных закодированного изображения первого слоя и кодируют данные второго изображения для передачи с целью получения данных закодированного изображения второго слоя.
(7). Устройство передачи по любому из (1) - (6), дополнительно содержащее:
блок вставки информации о слое, выполненный для вставки информации о слое для данных закодированного изображения кадров слоев в слой видеопотока или слой контейнера.
(8). Устройство передачи по (7), в котором
в блоке вставки информации о слое вставляют информацию о слое в заголовок NAL блока, при вставке информации о слое в слой видеопотока.
(9). Устройство передачи по (7), в котором
информация о слое, подлежащая вставке в слой контейнера, указывает временный идентификатор, соответствующий каждому слою.
(10). Способ передачи, включающий в себя следующие этапы:
делят данные первого изображения для передачи и данные второго изображения для передачи на слои и кодируют слои, данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; и
передают, в блоке передачи, контейнер заранее заданного формата, который содержит видеопоток.
(11). Устройство приема, содержащее:
блок приема, выполненный для приема контейнера, содержащего видеопоток, включающий в себя данные закодированного изображения для кадров слоев, видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев,
данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, и
данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого; и
блок обработки, выполненный для обработки видеопотока, содержащегося в контейнере, принятом в блоке приема.
(12). Устройство приема по (11), в котором
в блоке обработки по выбору подают на выход данные первого изображения для передачи или данные второго изображения для передачи.
(13). Устройство приема по (12), в котором
в блоке обработки подают на выход данные первого изображения для передачи или данные второго изображения для передачи в соответствии со способностями отображения блока отображения.
(14). Устройство приема по любому из (12) - (13) дополнительно содержащее:
устройство электро-фото преобразования, выполненное для применения соответствующего электро-фото преобразования для данных первого изображения для передачи или данных второго изображения для передачи, которые поданы на выход в блоке обработки.
(15). Устройство приема по любому из (11) - (14), в котором
видеопоток содержит данные закодированного изображения первого слоя, выработанные путем кодирования данных первого изображения для передачи, и данные закодированного изображения второго слоя, выработанные путем кодирования данных разности изображений, полученных путем осуществления процесса вычитания для данных второго изображения для передачи и данных первого изображения для передачи, и
в блоке обработки
декодируют данные закодированного изображения первого слоя с целью получения данных первого изображения для передачи, и
прибавляют данные первого изображения для передачи к данным разности изображений, полученным декодированием данных закодированного изображения второго слоя, что делают с целью получения данных второго изображения для передачи.
(16). Устройство приема по (15), в котором
в блоке обработки применяют регулировку уровней к данным первого изображения для передачи или добавленным данным изображения, при получении данных второго изображения для передачи.
(17). Устройство приема по (16), в котором
информацию о характеристике регулировки уровней вставляют в слой видеопотока, и
в блоке обработки применяют регулировку уровней к данным первого изображения для передачи или добавленным данным изображения, что делают на основе информации о характеристике регулировки уровней.
(18). Устройство приема по любому из (15) - (17), в котором
информацию о слое для данных закодированного изображения для кадров каждого слоя вставляют в слой видеопотока или слой контейнера, и
в блоке обработки извлекают из видеопотока данные закодированного изображения первого слоя и данные закодированного изображения второго слоя, что делают на основе информации о слое.
(19). Способ приема, включающий в себя следующие этапы:
принимают, в блоке приема, контейнер, содержащий видеопоток, включающий в себя данные закодированного изображения для кадров слоев, видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев,
данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, и
данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого; и
обрабатывают видеопоток, содержащийся в контейнере, принятом на этапе приема.
Основная характеристика настоящего изобретения заключается в предоставлении возможности подходящей передачи как данных HDR изображения, так и данных LDR изображения, что делают путем разделения данных первого изображения для передачи, полученных путем применения фото-электрического преобразования к данным LDR изображения, и данных второго изображения для передачи, полученных путем применения фото-электрического преобразования к данным HDR изображения, на слои и кодирования слоев, и передачи контейнера, содержащего видеопоток с данными закодированного изображения для кадров слоев (смотри фиг. 5).
Список ссылочных позиций
Изобретение относится к технологиям сетевой связи. Технический результат заключается в повышении эффективности кодирования. Устройство передачи видеопотока, содержащее: блок кодирования изображения, выполненный с возможностью деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев, при этом данные первого изображения для передачи получают путем применения фото-электрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фото-электрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; блок вставки информации о слое, выполненный с возможностью вставки информации о слое для данных закодированного изображения кадров слоев в слой видеопотока или слой контейнера; и блок передачи, выполненный с возможностью передачи контейнера заранее заданного формата, который содержит видеопоток. 4 н. и 13 з.п. ф-лы, 22 ил.
1. Устройство передачи видеопотока, содержащее: блок кодирования изображения, выполненный с возможностью деления данных первого изображения для передачи, и данных второго изображения для передачи на слои и кодирования слоев, при этом данные первого изображения для передачи получают путем применения фотоэлектрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фотоэлектрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; блок вставки информации о слое, выполненный с возможностью вставки информации о слое для данных закодированного изображения кадров слоев в слой видеопотока или слой контейнера; и блок передачи, выполненный с возможностью передачи контейнера заранее заданного формата, который содержит видеопоток.
2. Устройство передачи по п. 1, в котором в блоке кодирования изображений осуществляют процесс вычитания данных второго изображения для передачи и данных первого изображения для передачи с целью получения данных разности изображений и кодируют данные первого изображения для передачи с целью получения данных закодированного изображения первого слоя и кодируют данные разности изображений с целью получения данных закодированного изображения второго слоя.
3. Устройство передачи по п. 2, в котором в блоке кодирования изображения применяют регулировку уровней к данным первого изображения для передачи или данным второго изображения для передачи при осуществлении процесса вычитания с целью получения данных разности изображений.
4. Устройство передачи по п. 3, дополнительно содержащее: блок вставки информации, выполненный с возможностью вставки информации о характеристике регулировки уровней и/или информации об уровне и информации о контрасте для яркости в слой видеопотока.
5. Устройство передачи по п. 2, в котором в устройстве кодирования изображения делают тип закодированного кадра для каждого кадра из данных первого изображения для передачи и тип закодированного кадра для каждого соответствующего кадра из данных разности изображений соответствующими друг другу.
6. Устройство передачи по п. 1, в котором в блоке кодирования изображения кодируют данные первого изображения для передачи с целью получения данных закодированного изображения первого слоя и кодируют данные второго изображения для передачи с целью получения данных закодированного изображения второго слоя.
7. Устройство передачи по п. 1, в котором в блоке вставки информации о слое вставляют информацию о слое в заголовок NAL блока, при вставке информации о слое в слой видеопотока.
8. Устройство передачи по п. 1, в котором информация о слое, подлежащая вставке в слой контейнера, указывает временный идентификатор, соответствующий каждому слою.
9. Способ передачи видеопотока, включающий в себя следующие этапы: делят данные первого изображения для передачи и данные второго изображения для передачи на слои и кодируют слои, при этом данные первого изображения для передачи получают путем применения фотоэлектрического преобразования к данным первого входного изображения, коэффициент контраста которого составляет от 0 до 100% относительно яркости пика белого обычного LDR изображения, а данные второго изображения для передачи получают путем применения фотоэлектрического преобразования к данным второго входного изображения, коэффициент контраста которого составляет от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого, что делают с целью выработки видеопотока, содержащего данные закодированного изображения для кадров слоев; вставляют информацию о слое для данных закодированного изображения кадров слоев в слой видеопотока или слой контейнера и передают, в блоке передачи, контейнер заранее заданного формата, который содержит видеопоток.
10. Устройство приема видеопотока, содержащее: блок приема, выполненный с возможностью приема контейнера, содержащего видеопоток, включающий в себя данные закодированного изображения для кадров слоев, при этом видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев, данные первого изображения с возможностью передачи получают путем применения фотоэлектрического преобразования к данным первого входного изображения с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, и данные второго изображения с возможностью передачи получают путем применения фотоэлектрического преобразования к данным второго входного изображения с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого; и блок обработки, выполненный с возможностью обработки видеопотока, содержащегося в контейнере, принятом в блоке приема, в котором в блоке обработки по выбору подают на выход данные первого изображения для передачи или данные второго изображения для передачи.
11. Устройство приема по п. 10, в котором в блоке обработки подают на выход данные первого изображения для передачи или данные второго изображения для передачи в соответствии со способностями отображения блока отображения.
12. Устройство приема по п. 10, дополнительно содержащее устройство электрофотопреобразования, выполненное с возможностью применения соответствующего электрофотопреобразования для данных первого изображения для передачи или данных второго изображения для передачи, которые поданы на выход в блоке обработки.
13. Устройство приема по п. 10, в котором видеопоток содержит данные закодированного изображения первого слоя, выработанные путем кодирования данных первого изображения для передачи, и данные закодированного изображения второго слоя, выработанные путем кодирования данных разности изображений, полученных путем осуществления процесса вычитания для данных второго изображения для передачи и данных первого изображения для передачи, и в блоке обработки декодируют данные закодированного изображения первого слоя с целью получения данных первого изображения для передачи и прибавляют данные первого изображения для передачи к данным разности изображений, полученным декодированием данных закодированного изображения второго слоя, что делают с целью получения данных второго изображения для передачи.
14. Устройство приема по п. 13, в котором в блоке обработки применяют регулировку уровней к данным первого изображения для передачи или добавленным данным изображения при получении данных второго изображения для передачи.
15. Устройство приема по п. 14, в котором информацию о характеристике регулировки уровней вставляют в слой видеопотока и в блоке обработки применяют регулировку уровней к данным первого изображения для передачи или добавленным данным изображения, что делают на основе информации о характеристике регулировки уровней.
16. Устройство приема по п. 13, в котором информацию о слое для данных закодированного изображения для кадров каждого слоя вставляют в слой видеопотока или слой контейнера и в блоке обработки извлекают из видеопотока данные закодированного изображения первого слоя и данные закодированного изображения второго слоя, что делают на основе информации о слое.
17. Способ приема видеопотока, включающий в себя следующие этапы: принимают, в блоке приема, контейнер, содержащий видеопоток, включающий в себя данные закодированного изображения для кадров слоев, при этом видеопоток получают путем деления данных первого изображения для передачи и данных второго изображения для передачи на слои и кодирования слоев, данные первого изображения для передачи получают путем применения фотоэлектрического преобразования к данным первого входного изображения с коэффициентом контраста от 0 до 100% относительно яркости пика белого обычного LDR изображения, и данные второго изображения для передачи получают путем применения фотоэлектрического преобразования к данным второго входного изображения с коэффициентом контраста от 0 до 100% * N (N является числом, большим 1), коэффициент контраста превышает яркость обычного пика белого; и обрабатывают видеопоток, содержащийся в контейнере, принятом на этапе приема, в котором на этапе обработки по выбору подают на выход данные первого изображения для передачи или данные второго изображения для передачи.
| Способ приготовления лака | 1924 |
|
SU2011A1 |
| МАССАЖНАЯ ГОЛОВКА И УСТРОЙСТВО ДЛЯ МАССАЖА, В КОТОРОМ ИСПОЛЬЗУЕТСЯ ТАКАЯ ГОЛОВКА | 2015 |
|
RU2667610C2 |
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
