1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее раскрытие, в общем, относится к кодированию и декодированию изображений/видео. В частности, но не исключительно, область техники настоящего раскрытия относится к кодированию/декодированию как цветного изображения, значения пикселей которого принадлежат высокому динамическому диапазону (HDR), так и по меньшей мере одного цветного изображения, значения которого принадлежат стандартному динамическому диапазону (SDR) и которое получается посредством послесъемочной операции цветокоррекции, применяемой к упомянутому цветному изображению высокого динамического диапазона (HDR).
2. УРОВЕНЬ ТЕХНИКИ
Настоящий раздел предназначен для введения читателя в различные аспекты данной области техники, которые могут относиться к различным аспектам настоящего раскрытия, которые описываются и/или заявляются ниже. Предполагается, что это описание является полезным в обеспечении читателя вводной информацией для облегчения более хорошего понимания различных аспектов настоящего раскрытия. Соответственно, следует понимать, что эти утверждения должны читаться в этом свете, и не как признание в качестве предшествующего уровня техники.
В последующем, цветное изображение содержит несколько массивов отсчетов (значений пикселей) в конкретном формате изображения/видео, который определяет всю информацию относительно значений пикселей изображения (или видео) и всю информацию, которая может использоваться устройством отображения и/или любым другим устройством, чтобы визуализировать и/или декодировать изображение (или видео), например. Цветное изображение содержит по меньшей мере одну компоненту, в форме первого массива отсчетов, обычно компоненту яркости (luma, luminance), и по меньшей мере одну другую компоненту, в форме по меньшей мере одного другого массива отсчетов. Или, эквивалентно, та же информация также может представляться посредством набора массивов цветовых отсчетов (цветовой компоненты), как, например, традиционного трехцветного представления RGB.
Значение пикселя представляется посредством вектора c значений, где c является количеством компонент. Каждое значение вектора представляется с помощью некоторого количества бит, которое определяет максимальный динамический диапазон значений пикселей.
Изображения стандартного динамического диапазона (изображения SDR) являются цветными изображениями, значения яркости которых представляются с помощью ограниченной динамики, обычно измеряемой в степени два или f-стопах. Изображения SDR имеют динамику около 10 f-стопов, то есть, отношение 1000 между самыми яркими пикселями и самыми темными пикселями в линейной области, и кодируются с помощью ограниченного количества бит (наиболее часто 8 или 10 в HDTV (телевизионных системах высокой четкости) и UHDTV (телевизионных системах сверхвысокой четкости) в нелинейной области, например, посредством использования ITU-R BT.709 OEFT (оптико-электрической передаточной функции) (Rec. ITU-R BT.709-5, апрель 2002) или ITU-R BT.2020 OETF (Rec. ITU-R BT.2020-1, июнь 2014) для уменьшения динамики. Это ограниченное нелинейное представление не позволяет корректное воспроизведение малых изменений сигнала, в частности, в темных и ярких диапазонах яркости. В изображениях высокого динамического диапазона (изображениях HDR), динамика сигнала является намного более высокой (вплоть до 20 f-стопов, отношение один миллион между самыми яркими пикселями и самыми темными пикселями) и необходимо новое нелинейное представление, чтобы поддерживать высокую точность сигнала в его полном диапазоне. В изображениях HDR, исходные данные обычно представляются в формате с плавающей точкой (либо 32-битном, либо 16-битном для каждой компоненты, именно с плавающей точкой с полной или половинной точностью), при этом наиболее популярным форматом является формат с плавающей точкой с половинной точностью openEXR (16-бит в расчете на компоненту RGB, то есть, 48 бит в расчете на пиксель), или в целых числах с длинным представлением, обычно по меньшей мере 16 бит.
Цветовая палитра является некоторым полным набором цветов. Наиболее общее использование указывает на набор цветов, которые могут точно представляться в заданных условиях, как, например, внутри заданного цветового пространства или посредством некоторого устройства вывода.
Цветовая палитра иногда определяется посредством основных цветов RGB, обеспеченных в диаграмме хроматичности цветового пространства CIE1931, и белой точки, как проиллюстрировано на фиг. 1.
Является обычным определять основные цвета в так называемой диаграмме хроматичности цветового пространства CIE1931. Она является двумерной диаграммой (x, y), определяющей цвета независимо от компоненты яркости. Любой цвет XYZ тогда проецируется в этой диаграмме посредством преобразования:
Компонента z=1-x-y также определяется, но не несет никакой дополнительной информации.
В этой диаграмме палитра определяется посредством треугольника, вершины которого являются набором координат (x, y) трех основных цветов RGB. Белая точка W является другой заданной точкой (x, y), принадлежащей треугольнику, обычно близкой к центру треугольника.
Цветовой объем определяется посредством цветового пространства и динамического диапазона значений, представленных в упомянутом цветовом пространстве.
Например, цветовая палитра определяется посредством цветового пространства RGB рекомендации ITU-R BT.2020 для UHDTV. Более старый стандарт, рекомендация ITU-R BT.709, определяет более малую цветовую палитру для HDTV. В SDR, динамический диапазон определяется официально вплоть до 100 нит (кандела на квадратный метр) для цветового объема, в котором кодируются данные, хотя некоторые технологии устройств отображения могут показывать более яркие пиксели.
Как подробно описано в "A Review of RGB Color Spaces" автора Danny Pascale, изменение палитры, то есть, преобразование, которое отображает три основных цвета и белую точку из одной палитры в другую, может выполняться посредством использования матрицы 3×3 в линейном цветовом пространстве RGB. Также, изменение пространства из XYZ в RGB выполняется посредством матрицы 3×3. Как следствие, какие бы ни были цветовые пространства RGB или XYZ, изменение палитры может выполняться посредством матрицы 3×3. Например, изменение палитры из BT.2020 линейного RGB в BT.709 XYZ может выполняться посредством матрицы 3×3.
Изображения высокого динамического диапазона (изображения HDR) являются цветными изображениями, значения яркости которых представляются с помощью динамики HDR, которая является более высокой, чем динамика изображения SDR.
Динамика HDR еще не определена стандартом, но можно ожидать динамический диапазон вплоть до нескольких тысяч нит. Например, цветовой объем HDR определяется посредством цветового пространства RGB BT.2020, и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат динамическому диапазону от 0 до 4000 нит. Другой пример цветового объема HDR определяется посредством цветового пространства RGB BT.2020, и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат динамическому диапазону от 0 до 1000 нит.
Цветокоррекция изображения (или видео) является обработкой изменения/усиления цветов изображения (или видео). Обычно, цветокоррекция изображения включает в себя изменение цветового объема (цветового пространства и/или динамического диапазона) или изменение цветовой палитры по отношению к этому изображению. Таким образом, две разных подвергнутых цветокоррекции версии одного и того же изображения являются версиями этого изображения, значения которого представляются в разных цветовых объемах (или цветовой палитре), или версиями изображения, у которых по меньшей мере один из цветов был изменен/усилен согласно разным цветокоррекциям. Это может включать в себя взаимодействия с пользователем.
Например, в кинематографическом производстве, изображение и видео захватываются с использованием трехцветных камер в цветовые значения RGB, состоящие из 3 компонент (красной, зеленой и синей). Цветовые значения RGB зависят от трехцветных характеристик (основных цветов) датчика.
Затем получается подвергнутая цветокоррекции версия HDR захваченного изображения для получения кинотеатральных воспроизведений (с использованием конкретной кинотеатральной коррекции). Обычно, значения первой подвергнутой цветокоррекции версии захваченного изображения представляются согласно стандартизированному формату YUV, такому как BT.2020, который определяет значения параметров для UHDTV.
Формат YUV обычно выполняется посредством применения нелинейной функции, так называемой оптическая электронная передаточная функция (OETF), к линейным компонентам RGB, чтобы получать нелинейные компоненты R'G'B', и затем применения цветового преобразования (обычно матрицы 3×3) к полученным нелинейным компонентам R'G'B', чтобы получать три компоненты YUV. Первая компонента Y является компонентой яркости и две компоненты U, V являются компонентами цветности.
Затем, оператор цветокоррекции, обычно совместно с главным оператором, выполняет управление над цветовыми значениями первой подвергнутой цветокоррекции версии захваченного изображения посредством тонкой настройки/подстраивания некоторых цветовых значений, чтобы вводить артистическое намерение.
Также обычно получается подвергнутая цветокоррекции версия SDR захваченного изображения (или видео), чтобы получать конкретное воспроизведение (с использованием конкретной коррекции). Обычно, значения подвергнутой цветокоррекции изображения SDR (или видео) представляются согласно стандартизированному формату YUV, такому как BT.709, который определяет значения параметров для HDTV, или снова BT.2020, который определяет значения параметров для UHDTV. Например, согласно упомянутой рекомендации BT.709, коррекция 100 нит применяется для фильмов для широковещания и рыночного распространения потребителям, как, например, диски Blu-ray®.
Затем, оператор цветокоррекции также выполняет управление над цветовыми значениями подвергнутой цветокоррекции изображения SDR посредством точной настройки/подстраивания некоторых цветовых значений, чтобы вводить артистическое намерение.
Проблема, подлежащая решению, состоит в распространении обеих подвергнутых цветокоррекции версий HDR и SDR захваченного изображения (или видео), то есть, распространении сжатого изображения HDR (или видео), представляющего подвергнутую цветокоррекции версию захваченного изображения (или видео), а также, в то же время, распространении ассоциированного изображения SDR (или видео), представляющего подвергнутую цветокоррекции версию SDR упомянутого захваченного изображения (или видео).
Тривиальным решением является одновременная передача обеих этих подвергнутых цветокоррекции изображений HDR и SDR (или видео) по инфраструктуре распространения, но недостаток состоит в фактически удвоении необходимой полосы пропускания по сравнению с унаследованной инфраструктурой, адаптированной для широковещания изображения SDR (или видео), такой как профиль HEVC main 10 ("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, октябрь 2014).
Использование унаследованной инфраструктуры распространения является требованием для ускорения появления распространения изображений HDR (или видео). Также, должен минимизироваться битрейт при обеспечении хорошего качества обоих изображений SDR и HDR (или видео).
Более того, может обеспечиваться полная обратная совместимость, то есть, пользователи, оснащенные унаследованным декодером и устройством отображения, имеют опыт, близкий к артистическому намерению, то есть, сохраняется цветокоррекция (возможно модифицированная оператором цветокоррекции) изображения SDR.
Другое непосредственное решение состоит в том, чтобы уменьшать динамический диапазон изображения HDR (или видео) посредством подходящей нелинейной функции, обычно в ограниченное количество бит (скажем, 10 бит), и сжимать уменьшенную в динамике версию изображения HDR посредством профиля HEVC main10. Такая нелинейная функция (кривая) уже существует, как, например, так называемая PQ EOTF, предложенная в SMPTE (SMPTE standard: High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014).
Недостатком этого решения является отсутствие полной обратной совместимости, так как полученная уменьшенная в динамике версия изображения (видео) не сохраняет цветокоррекцию изображения SDR, как требуется оператору цветокоррекции.
Настоящее раскрытие было разработано при учете вышеупомянутого.
3. СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Последующее представляет упрощенное резюме раскрытия для обеспечения базового понимания некоторых аспектов раскрытия. Этот раздел Сущность изобретения не является широким обзором раскрытия. Он не предназначен для идентификации ключевых или критических элементов раскрытия. Последующий раздел Сущность изобретения всего лишь представляет некоторые аспекты раскрытия в упрощенной форме в качестве вступления к более подробному описанию, обеспеченному ниже.
Раскрытие обеспечивается, чтобы исправить по меньшей мере один из недостатков предшествующего уровня техники с помощью способа кодирования цветного изображения высокого динамического диапазона (HDR) и по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR), при этом упомянутый способ содержит:
- кодирование второго цветного изображения стандартного динамического диапазона (SDR), полученной из цветного изображения HDR.
Способ дополнительно содержит:
- определение по меньшей мере одной части информации цветового повторного отображения, из упомянутого второго цветного изображения стандартного динамического диапазона (SDR) в упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона (SDR), при этом упомянутая по меньшей мере одна часть информации цветового повторного отображения используется, чтобы получать аппроксимацию упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR) из упомянутого второго цветного изображения стандартного динамического диапазона (SDR).
Может казаться, что цвета, полученные посредством только классического кодирования цветного изображения стандартного динамического диапазона (SDR), полученной из цветного изображения HDR, не сохраняют соответствие цветокоррекции с намерением оператора цветокоррекции.
Необходимо отметить, что используется признак "аппроксимация", так как информация цветового повторного отображения помогает в формировании изображения SDR, которое является визуально близким к первому цветному изображению SDR, но не гарантирует какой-либо дистанционной цели, в смысле математического искажения между двумя изображениями.
Другими словами такое второе цветное изображение SDR, автоматически полученное посредством классического кодирования из изображения HDR, может обеспечивать возможность просмотра после декодирования, но его отображение не будет приемлемым с точки зрения оператора цветокоррекции или главного оператора, если второе изображение SDR не соответствует артистическому намерению оператора цветокоррекции.
Определение информации цветового повторного отображения обеспечивает возможность информировать декодер об истинной коррекции рассматриваемого изображения, которая требуется оператором цветокоррекции или главным оператором. Определение "информации цветового повторного отображения" раскрыто в разделе D.3.32, озаглавленном "Colour remapping information SEI message semantics", стандарта ITU-T H.265 (10/2014) серия H: Audiovisual and Multimedia Systems.
В настоящем раскрытии, упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона (SDR) получается из подвергнутой цветокоррекции версии упомянутого цветного изображения высокого динамического диапазона (HDR).
Благодаря информации цветового повторного отображения, ассоциированной с кодированным вторым цветным изображением SDR, во время декодирования, оттенок и воспринимаемая насыщенность цвета первого наложенного цветного изображения SDR, полученного из подвергнутой цветокоррекции версии упомянутого цветного изображения HDR, таким образом, сохраняются, как необходимо оператору цветокоррекции.
Способ обеспечивает, таким образом, полную обратную совместимость с воспроизведением SDR, где накладывается выделенная коррекция SDR, и без какой-либо дополнительной операции кодирования (и соответствующего увеличения полосы пропускания), что имеет следствием кодирование данных остатка между вторым цветным изображением стандартного динамического диапазона (SDR), полученным из цветного изображения HDR.
Согласно одному варианту осуществления, кодирование второго цветного изображения SDR, полученного из упомянутого цветного изображения высокого динамического диапазона (HDR), содержит:
- получение компоненты яркости (L) и двух компонент цветности (C1, C2) из упомянутого второго цветного изображения стандартного динамического диапазона (SDR),
- отображение компонент яркости (L) и цветности (C1, C2) на конечную компоненту яркости (L'') и две конечные компоненты цветности (C''1, C''2) для того, чтобы палитра цветов, полученных из упомянутых конечных компонент яркости (L'') и цветности (C''1, C''2), отображалась на палитру цветов цветного изображения высокого динамического диапазона, при этом значения конечной компоненты яркости (L'') всегда ниже, чем значения компоненты яркости (L).
Классически, цвета, полученные посредством комбинирования вместе компоненты яркости и двух компонент цветности, представляющих версию SDR цветного изображения HDR, не сохраняют оттенок и воспринимаемую насыщенность цветов цветного изображения HDR.
Это имеет место, когда используется PQ EOTF, например. Отображение палитры цветов такого второго изображения SDR на палитру цветов цветного изображения HDR, подлежащей кодированию, корректирует оттенок и воспринимаемую насыщенность по отношению к упомянутому изображению HDR.
Оттенок и воспринимаемая насыщенность цвета изображения HDR, таким образом, сохраняются, увеличивая визуальное качество декодированного изображения SDR, воспринимаемые цвета которого более хорошо соответствуют исходному HDR.
Следовательно, преимущество этого способа отображения состоит в том, что он обеспечивает второе изображение SDR, которое является близким к начальному цветному изображению HDR, в смысле воспринимаемого оттенка и цветовой насыщенности. Поэтому, по сравнению с классическими способами отображения (PQ-EOTF), это обеспечивает второе изображение SDR, которое более коррелирует с первым изображением SDR, выданным из обработки цветокоррекции, которая выполнялась, начиная с упомянутого цветного изображения HDR.
Таким образом, во время декодирования, он делает более легким для модуля адаптации информации цветового повторного отображения, управляемого посредством процессора устройства декодирования, получать хорошую аппроксимацию первого изображения SDR из второго изображения SDR.
Согласно одному варианту осуществления, упомянутый способ дополнительно содержит передачу упомянутой по меньшей мере одной части информации цветового повторного отображения.
Таким образом, упомянутая по меньшей мере одна часть информации цветового повторного отображения распространяется как метаданные, ассоциированные с упомянутым вторым изображением SDR.
В дополнение, согласно одному варианту упомянутое второе цветное изображение стандартного динамического диапазона (SDR) предоставляется посредством упомянутого отображения. Другими словами, упомянутое второе изображение SDR представляет уменьшенную в динамике версию цветного изображения HDR, и соответствующая информация цветового повторного отображения получается из двух цветных изображений SDR, при этом одно цветное изображение SDR накладывается оператором цветокоррекции и соответствует подвергнутой цветокоррекции версии упомянутого цветного изображения HDR и другое цветное изображение SDR предоставляется посредством отображения цветного изображения HDR.
Таким образом, настоящее раскрытие раскрывает передачу кодированного цветного изображения SDR как уменьшенной в динамике версии исходного цветного изображения HDR, при этом такое цветное изображение SDR также ассоциировано с по меньшей мере одной частью информации цветового повторного отображения, передаваемой в декодер.
На приемном конце, декодер принимает кодированное цветное изображение SDR как уменьшенную в динамике версию исходного цветного изображения HDR и его по меньшей мере одну ассоциированную часть информации цветового повторного отображения.
Начиная с этих двух принятых вводов, декодер будет способным восстанавливать по меньшей мере три элемента:
- декодированное цветное изображение SDR, которое может обеспечивать возможность просмотра, но не соответствует намерению оператора цветокоррекции, и
- декодированное цветное изображение HDR, соответствующее цветному изображению HDR, обработанному во время кодирования,
- по меньшей мере, одну аппроксимацию первого цветного изображения SDR, заданного как подвергнутая цветокоррекции версия SDR цветного изображения HDR.
Таким образом, без увеличения полосы пропускания, и при поддержании системы кодирования видео низкой сложности, такой способ кодирования обеспечивает, во время декодирования, разные типы цветных изображений, начиная с одиночного цветного изображения HDR.
Следует отметить, что передача этих двух вводов, то есть, кодированного цветного изображения SDR и ассоциированной с ним информации цветового повторного отображения, не должна удваивать требуемую полосу пропускания, но размер полосы пропускания аналогичен размеру, требуемому для передачи одиночного кодированного изображения SDR.
Согласно одному варианту осуществления, по меньшей мере два разных первых цветных изображения стандартного динамического диапазона (SDR), соответственно, получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона (HDR) посредством использования, соответственно, разных цветовых палитр, и для каждого рассматриваемого первого цветного изображения стандартного динамического диапазона (SDR) из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона (SDR), одна часть информации цветового повторного отображения, соответственно, определяется из упомянутого второго стандартного динамического диапазона (SDR), предоставляемого посредством упомянутого отображения в упомянутое рассматриваемое первое цветное изображение стандартного динамического диапазона (SDR).
Другими словами, в этом конкретном варианте осуществления, на приемном конце, декодер принимает кодированное цветное изображение SDR как контейнер исходного цветного изображения HDR и его по меньшей мере две ассоциированные части информации цветового повторного отображения.
Начиная с этих трех принятых вводов, декодер будет способным восстанавливать по меньшей мере четыре элемента:
- декодированное цветное изображение SDR, которое может обеспечивать возможность просмотра, но не соответствует намерению оператора цветокоррекции,
- декодированное цветное изображение HDR, соответствующее цветному изображению HDR, обработанному во время кодирования,
- с использованием одной информации цветового повторного отображения из упомянутых по меньшей мере двух ассоциированных частей информации цветового повторного отображения, аппроксимацию цветного изображения SDR, заданного как первая подвергнутая цветокоррекции версия SDR цветного изображения HDR,
- с использованием другой информации цветового повторного отображения из упомянутых по меньшей мере двух ассоциированных частей информации цветового повторного отображения, другую аппроксимацию другого цветного изображения SDR, заданного как вторая подвергнутая цветокоррекции версия SDR цветного изображения HDR,
при этом упомянутые первая и вторая подвергнутая цветокоррекции версия SDR соответствуют двум разным цветовым палитрам.
В качестве альтернативы упомянутому вышеописанному варианту осуществления, согласно другому варианту осуществления, по меньшей мере два разных первых цветных изображения стандартного динамического диапазона (SDR), соответственно, получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона (HDR) посредством использования, соответственно, разных цветовых палитр, и упомянутый второй стандартный динамический диапазон (SDR) предоставляется посредством обратимого отображения палитр между упомянутыми разными цветовыми палитрами, при этом упомянутое обратимое отображение палитр выполняется после упомянутого отображения и до упомянутого кодирования, и отображает одну из упомянутых разных цветовых палитр на другую, и
для рассматриваемого первого цветного изображения стандартного динамического диапазона (SDR) из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона (SDR), упомянутая соответствующая часть информации цветового повторного отображения определяется из упомянутого второго стандартного динамического диапазона (SDR) в упомянутое другое первое цветное изображение стандартного динамического диапазона (SDR), и
для другого первого цветного изображения стандартного динамического диапазона (SDR) из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона (SDR), упомянутая соответствующая часть информации цветового повторного отображения определяется из третьего стандартного динамического диапазона (SDR), предоставляемого посредством обратной операции, выполняемой после упомянутого обратимого отображения палитр, в упомянутое другое первое цветное изображение стандартного динамического диапазона (SDR).
Упомянутый другой вариант осуществления обеспечивает возможность изменять палитру кодированного и переданного кодированного изображения SDR, при обеспечении возможности восстанавливать во время декодирования соответствующее цветное изображение HDR и по меньшей мере две разных аппроксимации соответственно двух подвергнутых цветокоррекции версий упомянутого высокого динамического диапазона (HDR).
Согласно конкретному варианту упомянутая по меньшей мере одна часть информации цветового повторного отображения передается в выделенном канале передачи, отличающемся от канала, используемого для передачи битового потока, содержащего упомянутый второй стандартный динамический диапазон (SDR).
Таким образом, является возможным передавать информацию цветового повторного отображения отдельно от кодированного цветного изображения SDR. Такой аспект обеспечивает возможность гибкой передачи, при этом имеется возможность передавать упомянутую информацию цветового повторного отображения одновременно или с задержкой относительно передачи кодированного цветного изображения SDR.
Согласно другому из его аспектов, настоящее раскрытие относится к способу декодирования цветного изображения высокого динамического диапазона (HDR) и по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR), из второго цветного изображения стандартного динамического диапазона (SDR) принятого битового потока, при этом способ содержит декодирование упомянутого второго цветного изображения стандартного динамического диапазона (SDR).
Способ дополнительно содержит:
- получение по меньшей мере одной части информации цветового повторного отображения, ассоциированной с упомянутым вторым цветным изображением стандартного динамического диапазона (SDR), и
- применение упомянутой по меньшей мере одной информации цветового повторного отображения к упомянутому второму цветному изображению стандартного динамического диапазона (SDR), чтобы предоставлять аппроксимацию упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR).
Согласно другому из его аспектов, раскрытие относится к устройствам, содержащим процессор, сконфигурированный с возможностью осуществлять вышеописанные способы, компьютерному программному продукту, содержащему инструкции программного кода для исполнения этапов вышеописанных способов, когда эта программа исполняется на компьютере, считываемому процессором носителю, имеющему сохраненные на нем инструкции для предписания процессору выполнять по меньшей мере этапы вышеописанных способов, и нетранзиторному (некратковременному) запоминающему носителю, несущему инструкции программного кода для исполнения этапов вышеописанных способов, когда упомянутая программа исполняется на вычислительном устройстве.
Конкретная суть раскрытия также как другие объекты, преимущества, признаки и использования раскрытия станут ясны из последующего описания вариантов осуществления, взятого совместно с сопровождающими чертежами.
4. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На чертежах, проиллюстрирован один вариант осуществления настоящего раскрытия. Он показывает:
- Фиг. 1 показывает примеры диаграмм хроматичности;
- Фиг. 2 схематически показывает диаграмму этапов способа кодирования цветного изображения в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 3 иллюстрирует принцип отображения палитр в соответствии с настоящим раскрытием;
- Фиг. 4 схематически показывает диаграмму подэтапов этапа 12 в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 5 схематически показывает диаграмму подэтапов этапа 11 в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 6a-b схематически показывают диаграммы подэтапов этапа 170 соответственно в соответствии с двумя разными вариантами осуществления раскрытия;
- Фиг. 7a-b схематически показывают диаграмму этапов способа кодирования цветного изображения в соответствии с двумя другими разными вариантами осуществления относительно одной из фиг. 2;
- Фиг. 8a-c схематически показывают диаграмму этапов способа декодирования цветного изображения из по меньшей мере одного битового потока в соответствии с тремя разными вариантами осуществления раскрытия;
- Фиг. 9 схематически показывает диаграмму подэтапов этапа 22 в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 10 схематически показывает диаграмму подэтапов этапа 23 в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 11a-b схематически показывают диаграмму подэтапов этапа 230 в соответствии с разными вариантами осуществления раскрытия;
- Фиг. 12 схематически показывает диаграмму подэтапов этапа 231 в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 13 показывает пример архитектуры устройства в соответствии с одним вариантом осуществления раскрытия;
- Фиг. 14 показывает два удаленных устройства, осуществляющих связь по сети связи в соответствии с одним вариантом осуществления раскрытия; и
- Фиг. 15 иллюстрирует пример набора элементов в диаграмме CEI 1931 палитры.
Аналогичные или одинаковые элементы указываются с помощью одних и тех же ссылочных позиций.
6. ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Настоящее раскрытие будет описываться более полно ниже со ссылкой на сопровождающие фигуры, на которых показаны варианты осуществления раскрытия. Это раскрытие может, однако, осуществляться во многих альтернативных формах и не должно толковаться как ограниченное вариантами осуществления, здесь изложенными. Соответственно, в то время как раскрытие допускает различные модификации и альтернативные формы, его конкретные варианты осуществления показаны в качестве примера на чертежах и будут здесь описываться подробно. Следует понимать, однако, что не имеется намерения ограничивать раскрытие конкретными раскрытыми формами, но наоборот, раскрытие должно охватывать все модификации, эквиваленты, и альтернативы, попадающие в пределы сущности и объема раскрытия, как определено посредством формулы изобретения.
Терминология, здесь используемая, предназначена только для цели описания конкретных вариантов осуществления и не предназначена ограничивать раскрытие. Как здесь используется, предполагается, что формы единственного числа включают в себя также формы множественного числа, если контекст явным образом не указывает иное. Следует дополнительно понимать, что признаки "содержит", "содержащий", "включает в себя" и/или "включающий в себя", когда используются в этом описании, определяют присутствие заявленных признаков, целых чисел, этапов, операций, элементов, и/или компонентов, но не исключают присутствие или добавление одного или более других признаков, целых чисел, этапов, операций, элементов, компонентов, и/или их групп. Более того, когда элемент упоминается как являющийся "реагирующим" или "соединенным" с другим элементом, он может быть напрямую реагирующим или соединенным с другим элементом, или могут присутствовать промежуточные элементы. В противоположность, когда элемент упоминается как являющийся "напрямую реагирующим" или "напрямую соединенным" с другим элементом, не имеется присутствующих промежуточных элементов. Как здесь используется признак "и/или" включает в себя любые и все комбинации из одного или более из ассоциированных перечисленных элементов и может сокращаться как "/".
Следует понимать, что, хотя признаки первый, второй, и т.д. могут использоваться здесь, чтобы описывать различные элементы, эти элементы не должны ограничиваться этими признаками. Эти признаки используются, только чтобы отличать один элемент от другого. Например, первый элемент может называться второй элемент, и, аналогично, второй элемент может называться первый элемент без отхода от идей раскрытия.
Хотя некоторые из диаграмм включают в себя стрелки на путях передачи данных, чтобы показывать первичное направление передачи данных, следует понимать, что передача данных может происходить в противоположном направлении по отношению к изображенным стрелкам.
Некоторые варианты осуществления описываются по отношению к блок-схемам и операционным блок-схемам последовательности операций, в которых каждый блок представляет элемент схемы, модуль, или часть кода, который содержит одну или более исполнимых инструкций для осуществления определенной логической функции (функций). Также следует отметить, что в других вариантах осуществления, функция (функции), отмеченная в блоках, может совершаться вне отмеченного порядка. Например, два блока, показанные в последовательности, могут, фактически, исполняться, по существу, параллельно или блоки могут иногда исполняться в обратном порядке, в зависимости от используемых функциональных возможностей.
Ссылка здесь на "один вариант осуществления" или "вариант осуществления" означает, что конкретный признак, структура, или характеристика, описанные в соединении с вариантом осуществления, могут включаться в по меньшей мере один вариант осуществления раскрытия. Появления фразы "в одном варианте осуществления" или "согласно одному варианту осуществления" в различных местах в описании не необходимо все указывают на один и тот же вариант осуществления, и также не являются отдельными или альтернативными вариантами осуществления, необходимо взаимно исключающими с другими вариантами осуществления.
Ссылочные позиции, появляющиеся в формуле изобретения, предназначены только для иллюстрации и не должны иметь никакого ограничивающего влияния на объем формулы изобретения.
Пока явно не описано, настоящие варианты осуществления и варианты могут использоваться в любой комбинации или подкомбинации.
В одном варианте осуществления, коэффициент зависит от значения модуляции Ba. Значение модуляции (или задней подсветки) обычно ассоциировано с изображением HDR и представляет яркость изображения HDR. Здесь, признак (модуляция) задняя подсветка используется по аналогии с приемниками TV, сделанными из цветовой панели, как, например, панели LCD, например, и устройства заднего освещения, такого как матрица LED, например. Заднее устройство, обычно генерирующее белый свет, используется, чтобы облучать цветовую панель, чтобы обеспечивать больше яркости для TV. Как следствие, яркость TV является продуктом яркости модуля заднего облучения и яркости цветовой панели. Этот модуль заднего облучения часто называется "модуляция" или "задняя подсветка" и его интенсивность до некоторой степени представляет яркость всей сцены.
Раскрытие описывается для кодирования/декодирования цветного изображения, но простирается на кодирование/декодирование последовательности изображений (видео), так как каждое цветное изображение последовательности последовательно кодируется/декодируется, как описано ниже.
В последующем, цветное изображение HDR рассматривается как имеющее три цветовых компоненты Ec (c=1, 2 или 3), в которых представлены значения пикселей цветного изображения HDR .
Настоящее раскрытие не ограничено каким-либо цветовым пространством, в котором представлены три компоненты Ec, но простирается на любое цветовое пространство, такое как RGB, CIELUV, XYZ, CIELab, и т.д.
Фиг. 2 схематически показывает диаграмму этапов способа кодирования цветного изображения HDR и по меньшей мере одного первого изображения SDR в соответствии с одним вариантом осуществления раскрытия.
Из упомянутого цветного изображения HDR , второе цветное изображение SDR получается и кодируется модулем 101 кодирования.
В дополнение, при учете первого цветного изображения SDR , полученного из подвергнутой цветокоррекции версии упомянутого цветного изображения HDR , часть информации цветового повторного отображения (CRI) определяется (102), из упомянутого второго цветного изображения SDR в упомянутое первое цветное изображение стандартного динамического диапазона SDR, при этом упомянутая часть информации цветового повторного отображения используется, во время декодирования, чтобы получать аппроксимацию упомянутого первого цветного изображения SDR из упомянутого второго цветного изображения SDR.
Определение "информации цветового повторного отображения" раскрыто в разделе D.3.32, озаглавленном "Colour remapping information SEI message semantics", стандарта ITU-T H.265 (10/2014) серия H: Audiovisual and Multimedia Systems.
Более точно во время послесъемочной операции, называемой коррекция (10) (как представлено с помощью пунктирных линий), относительно захвата упомянутого цветного изображения HDR , оператор цветокоррекции, обычно совместно с главным оператором, выполняет управление над цветовыми значениями первой подвергнутой цветокоррекции версии захваченного изображения посредством точной настройки/подстраивания некоторых цветовых значений, чтобы вводить артистическое намерение. Первое цветное изображение SDR , таким образом, получается из подвергнутой цветокоррекции версии упомянутого цветного изображения HDR .
Таким образом, упомянутая часть информации цветового повторного отображения (CRi) определяется (102) из упомянутого второго цветного изображения SDR , которое может обеспечивать возможность просмотра, но не находится в соответствии с артистическим намерением оператора цветокоррекции, и наложенного цветного изображения SDR в соответствии с намерением оператора цветокоррекции.
В дополнение, упомянутая часть информации цветового повторного отображения затем передается 1020 как метаданные, ассоциированные с упомянутым вторым цветным изображением SDR . Упомянутая передача 1020 упомянутой части информации цветового повторного отображения может осуществляться одновременно или нет с этапом передачи 1010 второго цветного изображения SDR , предоставляемого посредством упомянутого отображения (12), выполняемого посредством унаследованной инфраструктуры, адаптированной для широковещания изображения SDR (или видео), такой как профиль HEVC main 10.
Согласно конкретному варианту упомянутая часть информации цветового повторного отображения передается 1020 в выделенном канале передачи, отличающемся от канала, используемого для передачи 1010 упомянутого второго цветного изображения SDR .
Более точно, упомянутый модуль 101 кодирования содержит модуль C, получающий (11) компоненту яркости L и две компоненты цветности C1 и C2 из упомянутого цветного изображения HDR , подлежащего кодированию. Например, компоненты (L, C1, C2) могут принадлежать цветовому пространству YUV, полученному после применения OETF над упомянутым цветным изображением HDR , и цветовые компоненты Ec могут принадлежать либо линейному RGB, или XYZ цветовому пространству.
Упомянутый модуль 101 кодирования также содержит модуль GM, отображающий (12) компоненты яркости L и цветности C1, C2 на конечную компоненту яркости L'' и две конечные компоненты цветности C''1, C''2, чтобы палитра G2 цветов, полученных из упомянутых конечных компонент яркости (L'') и цветности (C''1, C''2), отображалась на палитру G1 цветов упомянутого цветного изображения HDR , подлежащего кодированию.
Упомянутое отображение (12) соответствует "отображению HDR в SDR".
Таким образом, согласно настоящему раскрытию, упомянутая часть информации цветового повторного отображения конкретно получается из двух цветных изображений SDR, одно цветное изображение SDR накладывается оператором цветокоррекции и соответствует подвергнутой цветокоррекции версии упомянутого цветного изображения HDR, и другое цветное изображение SDR предоставляется посредством упомянутого отображения (12) цветного изображения HDR.
Фиг. 3 иллюстрирует такое отображение палитр. С помощью пунктирной линии представлена палитра (R, G, B, W) цветов, полученных из компоненты L и двух компонент цветности C1 и C2, и с помощью сплошной линии палитра (R', G', B', W') цветов упомянутого цветного изображения HDR , подлежащего кодированию.
Отображение палитры (R, G, B, W) на палитру (R', G', B', W') означает отображение основных цветов R, G, B в основные цвета R', G', B' соответственно и отображение белой точки W в белую точку W'. Цель отображения состоит в том, чтобы преобразовывать (L, C1, C2) в (L'', C''1, C''2) таким образом, чтобы воспринимаемые цвета, полученные из компонент L'', C''1, C''2, соответствовали цветам упомянутого цветного изображения HDR более хорошо, чем (L, C1, C2).
Упомянутый модуль 101 кодирования также содержит кодер ENC, кодирующий (13) упомянутое второе цветное изображение SDR , предоставляемое посредством упомянутого отображения (12), при этом, упомянутый кодер ENC предоставляет соответствующее кодированное второе цветное изображение SDR .
Согласно одному варианту осуществления упомянутый кодер ENC также кодирует конечную компоненту яркости L'' и две конечные компоненты цветности C''1, C''2.
Согласно упомянутому варианту осуществления, кодированная компонента L'' и компоненты цветности C''1, C''2 сохраняются в локальной или удаленной памяти и/или добавляются в битовый поток F.
Согласно одному варианту осуществления этапа 12, проиллюстрированному на фиг. 4, две конечные компоненты цветности C''1, C''2 получаются посредством масштабирования (этап 121) каждой из двух компонент цветности C1, C2 посредством коэффициента , который зависит как от значения модуляции Ba, полученного из компоненты яркости L, так и значения каждого пикселя i компоненты яркости L, и модуль LCC (этап 122) получает конечную компоненту яркости L'' посредством линейного комбинирования вместе компоненты яркости L и двух конечных компонент цветности C''1, C''2:
где m и n являются коэффициентами (действительными значениями), которые предотвращают цветовую насыщенность посредством корректировки наивысших пиков яркости.
Согласно одному варианту осуществления, коэффициенты m и n сохраняются либо в локальной, либо в удаленной памяти и/или добавляются в битовый поток BF, как проиллюстрировано на фиг. 4.
Согласно одному варианту модуля LCC (из уравнения A), значения конечной компоненты яркости L'' всегда ниже, чем значения компоненты яркости L:
Это обеспечивает то, что значения конечной компоненты яркости L'' не превосходят значения компоненты яркости L и, таким образом, обеспечивает то, что никакая цветовая насыщенность не происходит.
Согласно одному варианту осуществления, коэффициент получается из таблицы поиска (LUT) для конкретного значения модуляции Ba и конкретного значения яркости L(i). Таким образом, для множества значений пиков яркости, таких, как, например, 1000, 1500 и 4000 нит, конкретный коэффициент сохраняется в LUT для каждого конкретного значения модуляции Ba.
Согласно одному варианту, коэффициент для конкретного значения модуляции Ba получается для значения пикселя компоненты яркости L посредством интерполяции пиков яркости между множеством пиков яркости, для которых сохранены LUT.
Согласно одному варианту осуществления, коэффициент и коэффициенты m и n в уравнении (A) получаются следующим образом.
Отображение палитры G2 цветов, полученных из конечных компонент яркости (L'') и цветности (C''1, C''2), на палитру G1 цветов упомянутого цветного изображения HDR (полученных из компонент L, C1 и C2) дается посредством:
где является функцией отображения, зависящей от линейной яркости Y цветного изображения I. Обычно, линейная яркость Y получается как линейная комбинация компонент Ec цветного изображения I. Компонента яркости L недвусмысленно связана с линейной яркостью Y и значением задней подсветки Ba, так что можно записать
и функция отображения рассматривается как функция компоненты яркости L.
Теперь, зафиксируем значение модуляции Ba и конкретный уровень линейной яркости . Предположим, что цветовые компоненты Ec выражены в линейном цветовом пространстве RGB. Ассоциированные три основных цвета палитры G2 даются посредством
где A1 является однострочной матрицей, которая определяет линейную яркость Y из линейного RGB, то есть,
Пусть S обозначает матрицу 3×3, составленную из изображений , соответствующих применению модуля C (этап 11), этих трех основных цветов:
Назначение функции отображения состоит в том, чтобы отображать назад на три основных цвета палитры G2. Другими словами, матрица должна иметь форму:
где r,g,b являются неизвестными параметрами и A является матрицей 3×3, которая преобразует нелинейное цветовое пространство R'G'B' в цветовое пространство LC1C2. Помещая все вместе, получаем:
Также, сохранение белой точки, координатами которой являются [1 0 0] в цветовом пространстве LC1C2, ведет к другому условию:
где является другим неизвестным параметром. Как следствие, матрица D однозначно определяется посредством:
где деление понимается как деление коэффициентов первого столбца на первый столбец . Как следствие, матрица отображения определяется вплоть до масштабирующего коэффициента .
Обратная к функции отображения , требуемая на стороне декодирования, не получается легко, так как это требует решения неявной нелинейной задачи относительно L, так как легко получается обратная матрица как функция компоненты яркости L, но не ее дополнительная часть как функция конечной компоненты яркости L''. Мы показываем, что формулировка может дополнительно упрощаться, чтобы получать простую обратную .
Фактически, функция отображения может быть выражена посредством:
где m и n являются коэффициентами (действительными значениями), которые зависят от уровня яркости . Обратная к функции отображения дается посредством:
где ее первый столбец дается посредством
Следуя некоторым алгебраическим манипуляциям, можно показать, что уравнение (F) становится
что ведет к функции отображения
где m и n являются действительными значениями (коэффициентами), которые не зависят от значения модуляции Ba и компоненты яркости L, и фиксированная матрица определяется как
Уравнения (B) и (G) показывают, что функция отображения имеет два эффекта: первый, динамика компоненты яркости L масштабируется посредством масштабирующего коэффициента и, второй, компоненты цветности C1 и C2 также масштабируются посредством масштабирующего коэффициента .
Чтобы сохранять глобальное отображение яркости между L и L'', параметр устанавливается на единицу. Уравнение (G) становится:
где фактически зависит от значения модуляции Ba и компоненты яркости. Эта формула обращается для получения обратной функции отображения
Здесь, компонента яркости L получается обратно из L'', C''1, C''2 посредством применения матрицы и затем, так как L является известной, можно найти коэффициент , чтобы применять к конечным компонентам цветности C''1, C''2, чтобы обратно получать компоненты цветности C1, C2.
Функция отображения затем обеспечивается посредством уравнения (H), где постоянная матрица используется для всего уровня яркости вплоть до пика яркости P цветного изображения I, и определен на полном диапазоне яркости вплоть до пика яркости P.
Включение уравнения (H) в уравнение (B) ведет к уравнению (A).
Согласно другому варианту осуществления, коэффициент рассматривается как зависящий также от коэффициентов m и n, которые задаются как описано в предыдущем варианте осуществления.
Коэффициент является, таким образом, единственным неизвестным значением на этапе 12.
Коэффициент получается таким образом, чтобы минимизировалось искажение палитры, вычисленное между палитрами G1 и G2. Другими словами, коэффициент является оптимальным коэффициентом при условии сохранения палитры.
Говоря математически, коэффициент получается посредством:
где является заданным значением яркости, из которого выводится значение яркости , является заданным значением модуляции, и искажение палитры дается посредством:
где искажение палитры определяется посредством суммирования квадратичной ошибки между элементом (xj, yj) палитры G1 и ассоциированным элементом (x'j, y'j) палитры G2.
Ассоциированный элемент (x'j, y'j) является изображением элемента (xj, yj), полученного посредством обработки кодирования.
Фиг. 15 иллюстрирует пример набора элементов (xj,yj) в диаграмме CEI 1931 палитры. Отметим, что координаты XYZ каждого элемента (xj, yj) даются посредством
и
Посредством осуществления изменения значения модуляции и компоненты яркости , и минимизации ассоциированного искажения палитры , получаем все коэффициенты в зависимости от значения модуляции , компоненты яркости и для фиксированных коэффициентов m и n.
Согласно одному варианту осуществления этапа 11, проиллюстрированному на фиг. 5, на этапе 110, модуль IC получает компоненту Y, которая представляет яркость упомянутого цветного изображения HDR , посредством линейного комбинирования вместе трех компонент Ec:
где A1 является первой строкой матрицы 3×3 A, которая определяет преобразования цветового пространства из цветового пространства (E1, E2, E3) в цветовое пространство (Y, C1, C2).
На этапе 130, модуль FM получает компоненту яркости L посредством применения нелинейной функции f к компоненте Y:
где Ba является значением модуляции, полученным из компоненты Y посредством модуля BaM (этап 120).
Применение нелинейной функции f к компоненте Y уменьшает ее динамический диапазон. Другими словами, динамика компоненты яркости L уменьшается по сравнению с динамикой компоненты Y.
В основном динамический диапазон компоненты Y уменьшается, чтобы значения яркости компоненты L представлялись посредством использования 10 бит.
Согласно одному варианту осуществления, компонента Y делится на значение модуляции Ba до применения нелинейной функции f:
Согласно одному варианту осуществления, нелинейная функция f является гамма функцией:
где равняется либо Y, либо согласно вариантам осуществления из уравнения (1) или (2), B является постоянным значением, является параметром (действительным значением строго ниже 1).
Согласно одному варианту осуществления, нелинейная функция f является функцией S-Log:
где a, b и c являются параметрами (действительными значениями) кривой SLog, определенной таким образом, что f(0) и f(1) являются инвариантными, и производная кривой SLog является непрерывной в 1, когда продолжается посредством гамма кривой ниже 1. Таким образом, a, b и c являются функциями параметра .
Обычные значения показаны в таблице 1.
Таблица 1
В одном предпочтительном варианте осуществления, значение , близкое к 1/2.5, является эффективным исходя из производительности сжатия HDR также как хорошей возможности просмотра полученной яркости SDR. Таким образом, 3 параметра могут предпочтительно принимать следующие значения: a=0.44955114, b=0.12123691, c=0.94855684.
Согласно одному варианту осуществления, нелинейная функция f является либо гамма коррекцией, либо коррекцией SLog согласно значениям пикселей компоненты Y.
Применение гамма коррекции к компоненте Y, вытаскивает вверх темные области, но не понижает достаточно высокое освещение, чтобы избегать выгорания ярких пикселей.
Затем, согласно одному варианту осуществления, модуль FM применяет либо гамма коррекцию, либо коррекцию SLog согласно значениям пикселей компоненты Y. Данные информации Inf могут указывать то, применяется ли либо гамма коррекция, либо коррекция Slog.
Например, когда значение пикселя компоненты Y ниже порога (равного 1), то применяется гамма коррекция, и в противном случае применяется коррекция SLog.
Согласно одному варианту осуществления этапа 120, значение модуляции Ba является средним, медианным, минимальным или максимальным значением из значений пикселей компоненты Y. Эти операции могут выполняться в линейной области яркости HDR или в нелинейной области, как, например, ln(Y) или , где .
Согласно одному варианту осуществления, когда способ используется, чтобы кодировать несколько цветных изображений, принадлежащих последовательности изображений, значение модуляции Ba определяется для каждого цветного изображения, группы изображений (GOP) или для части цветного изображения, такой как, но не ограниченной этим, слайс или единица передачи, как определено в HEVC.
Согласно одному варианту осуществления, значение Ba и/или параметры нелинейной функции f (такие как a, b, c или ) и/или данные информации Inf сохраняется (сохраняются) в локальной или удаленной памяти и/или добавляется (добавляются) в битовый поток BF, как проиллюстрировано на фиг. 2 и 5.
На этапе 140, модуль CC получает по меньшей мере одну цветовую компоненту EC (c=1, 2, 3) из цветного изображения I. Цветовая компонента Ec может получаться напрямую из локальной или удаленной памяти или посредством применения цветового преобразования к цветному изображению I.
На этапе 150, промежуточная цветовая компонента E'c (c=1, 2 или 3) получается посредством масштабирования каждой цветовой компоненты Ec посредством коэффициента r(L), который зависит от компоненты яркости L:
где является коэффициентом (действительным значением), определенным посредством модуля RM (этап 160), который зависит от значения пикселя i компоненты L, является значением пикселя i промежуточной цветовой компоненты E'c, и является значением пикселя i цветовой компоненты Ec.
Масштабирование посредством коэффициента означает умножение на упомянутый коэффициент или деление на обратный к упомянутому коэффициенту.
Масштабирование каждой цветовой компоненты Ec посредством коэффициента r(L), который зависит от компоненты яркости L, сохраняет оттенок цветов цветного изображения I.
Согласно одному варианту осуществления этапа 160, коэффициент r(L) является отношением компоненты яркости L к компоненте Y:
где Y(i) является значением пикселя i компоненты Y. Фактически, значение Y(i) пикселя компоненты Y зависит недвусмысленно от значения L(i) пикселя компоненты яркости L, так что отношение может быть записано как функция только от L(i).
Этот вариант осуществления является предпочтительным, так как масштабирование каждой цветовой компоненты Ec посредством коэффициента r(L), который дополнительно зависит от компоненты Y, сохраняет оттенок цветов упомянутого цветного изображения HDR и, таким образом, улучшает визуальное качество декодированного цветного изображения.
Более точно, в колориметрии и теории цвета, красочность, цветность, и насыщенность указывают на воспринимаемую интенсивность конкретного цвета. Красочность является степенью различия между цветом и серым цветом. Цветность является красочностью по отношению к яркости другого цвета, который проявляется белым при аналогичных условиях просмотра. Насыщенность является красочностью цвета для цвета по отношению к его собственной яркости.
Высококрасочный стимул является живым и интенсивным, в то время как менее красочный стимул проявляется более приглушенным, более близким к серому. Без какой-либо красочности вовсе, цвет является "нейтральным" серым (изображение без какой-либо красочности в каком-либо из его цветов называется полутоновым). Любой цвет может быть описан с точки зрения его красочности (или цветности или насыщенности), осветленности (или яркости), и оттенка.
Определение оттенка и насыщенности цвета зависит от цветового пространства, используемого, чтобы представлять упомянутый цвет.
Например, когда используется цветовое пространство CIELUV, насыщенность определяется как отношение между цветностью к яркости .
Оттенок тогда дается посредством
Согласно другому примеру, когда используется цветовое пространство CIELAB, насыщенность определяется как отношение цветности к яркости:
Оттенок тогда дается посредством
Эти уравнения являются разумным предсказателем насыщенности и оттенка, которые находятся в согласии с восприятием человека насыщенности, и демонстрируют, что регулировка яркости в цветовом пространстве CIELAB (или CIELUV) при поддержании угла (или ) фиксированным действительно оказывает влияние на оттенок и, таким образом, восприятие того же цвета. На этапе 150, масштабирование цветовых компонент Ec посредством одного и того же коэффициента сохраняет этот угол, таким образом, оттенок.
Теперь рассмотрим случай, когда упомянутое цветное изображение HDR представлено в цветовом пространстве CIELUV, и изображение I2, которое сформировано посредством комбинирования вместе компоненты яркости L, динамический диапазон которой уменьшен по сравнению с динамическим диапазоном яркости упомянутого цветного изображения HDR (этап 130), и двух компонент цветности U (=C1) и V (=C2) цветового пространства CIELUV. Цвета изображения I2, таким образом, воспринимаются человеком по другому, так как насыщенность и оттенок цветов изменены. Способ (этап 150) определяет компоненты цветности C1 и C2 изображения I2, чтобы оттенок цветов изображения I2 наилучшим образом соответствовал оттенку цветов цветного изображения I.
Согласно одному варианту осуществления этапа 160, коэффициент r(L) дается посредством:
Этот последний вариант осуществления является предпочтительным, так как он предотвращает, что коэффициент идет к нулю для очень темных пикселей, то есть, позволяет, чтобы отношение было обратимым независимо от значения пикселя.
На этапе 170, две компоненты цветности C1, C2 получаются из упомянутой по меньшей мере одной промежуточной цветовой компоненты E'c.
Согласно одному варианту осуществления этапа 170, проиллюстрированному на фиг. 6, по меньшей мере одна промежуточная компонента Dc (c=1, 2 или 3) получается посредством применения (этап 171) OETF к каждой промежуточной цветовой компоненте (E'c):
Например, OETF определяется в рекомендации ITU-R BT.709 или BT.2020 и формулируется следующим образом
Этот вариант осуществления обеспечивает возможность уменьшения динамического диапазона согласно конкретной OETF, но ведет к сложной обработке декодирования, как подробно описано ниже.
Согласно одному варианту этого варианта осуществления, проиллюстрированному на фиг. 6b, OETF аппроксимируется посредством взятия квадратного корня, то есть по меньшей мере одна промежуточная компонента Dc (c=1, 2 или 3) получается посредством взятия квадратного корня (этап 171) от каждой промежуточной цветовой компоненты (E'c):
Этот вариант осуществления является предпочтительным, так как он обеспечивает хорошую аппроксимацию функции OETF, определенной в рекомендации ITU-R BT.709 или BT.2020, и ведет к декодеру низкой сложности.
Согласно другому варианту этого варианта осуществления, OETF аппроксимируется посредством взятия кубического корня, то есть по меньшей мере одна промежуточная компонента Dc (c=1, 2 или 3) получается посредством взятия кубического корня (этап 171) от каждой промежуточной цветовой компоненты (E'c):
Этот вариант осуществления является предпочтительным, так как он обеспечивает хорошую аппроксимацию OETF, определенной в рекомендации ITU-R BT.709 или BT.2020, но он ведет к до некоторой степени более сложному декодеру, чем декодер, полученный, когда OETF аппроксимируется посредством взятия квадратного корня.
На этапе 172, модуль LC1 получает две компоненты цветности C1 и C2 посредством линейного комбинирования трех промежуточных компонент Dc:
где A2 и A3 являются второй и третьей строками матрицы 3×3 A.
Фиг. 7a-b схематически показывают диаграмму этапов способа кодирования цветного изображения в соответствии с двумя конкретными разными вариантами осуществления относительно одной из фиг. 2.
Согласно одному варианту осуществления способа кодирования согласно настоящему раскрытию, проиллюстрированному на фиг. 7a, по меньшей мере два разных первых цветных изображения SDR и , соответственно, получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения HDR посредством использования, соответственно, разных цветовых палитр, например, палитр BT.2020 или BT.709, где палитра BT.2020 определяет цветовое пространство для UHDTV, тогда как BT.709, определяет более малую цветовую палитру для HDTV.
Например, упомянутое цветное изображение HDR представляется в палитре BT.2020. Во время послесъемочных операций коррекции (121, 122), два первых цветных изображения SDR и , соответственно, получаются из двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения HDR посредством использования, соответственно, разных цветовых палитр.
Более точно, первая коррекция (121) выполняется над упомянутым цветным изображением HDR , и является совместимой с палитрой BT.2020, чтобы предоставлять первое цветное изображение SDR , совместимое с BT.2020.
Вторая коррекция (122) выполняется над упомянутым цветным изображением HDR , и является совместимой с палитрой BT.709, чтобы предоставлять первое цветное изображение SDR , совместимое с палитрой BT.709.
Две части информации цветового повторного отображения, соответственно, определяются (111, 112) и затем передаются (1020, 1030), с одной стороны, одна часть информации цветового повторного отображения из упомянутого второго цветного изображения SDR (предоставляемого посредством упомянутого отображения (12), как описано ранее, цветного изображения HDR) в упомянутое первое цветное изображение SDR , совместимое с палитрой BT.2020, и с другой стороны, одна другая часть информации цветового повторного отображения из упомянутого второго цветного изображения SDR в упомянутое первое цветное изображение SDR , совместимое с палитрой BT.709.
Другими словами, упомянутая часть информации цветового повторного отображения связывает упомянутое второе цветное изображение SDR с упомянутым первым цветным изображением SDR , при этом оба изображения совместимы с палитрой BT.2020. Другая часть информации цветового повторного отображения связывает упомянутое второе цветное изображение SDR с упомянутым первым цветным изображением SDR , при этом упомянутое второе цветное изображение SDR совместимо с палитрой BT.2020, тогда как упомянутое первое цветное изображение SDR совместимо с палитрой BT.709.
Такой вариант осуществления обеспечивает возможность иметь дело со сценарием, где имеется сосуществование видео HDR BT2020 с видео SDR BT2020/BT709. В самом деле, сегодняшние текущие инфраструктуры поддерживают только палитру BT709, но UHDTV будет мигрировать на огромную палитру BT2020.
Другое применение такого варианта осуществления может использоваться в отношении палитры P3, используемой в кинематографической индустрии, и предыдущей палитры BT709.
Палитра P3 является более большой, чем палитра BT709, но более малой, чем палитра BT2020. Например, согласно упомянутой палитре P3, коррекция 48 нит используется для кинематографических проекций в кинотеатре.
Согласно конкретному варианту упомянутые две части цветового повторного отображения каждая передаются (1020, 1030) в одном и том же выделенном канале передачи, отличающемся от канала, используемого для передачи 1010 упомянутого второго цветного изображения SDR , или, согласно другому варианту, соответственно передаются (1020, 1030) в двух выделенных и отдельных каналах передачи, отличающихся от канала, используемого для передачи 1010 упомянутого второго цветного изображения SDR .
Другой вариант осуществления способа кодирования согласно настоящему раскрытию, проиллюстрированный на фиг. 7b, отличается от варианта осуществления на фиг. 7a в том, что упомянутое второе цветное изображение SDR предоставляется посредством обратимого отображения (1200) палитр между упомянутыми разными цветовыми палитрами, при этом упомянутое обратимое отображение (1200) палитр выполняется после упомянутого отображения (12) и до упомянутого кодирования (13), и отображает одну (BT.2020) из упомянутых разных цветовых палитр на другую (BT.709).
Таким образом, например, упомянутое второе цветное изображение SDR является совместимым с палитрой BT.709, тогда как упомянутое цветное изображение HDR является совместимым с палитрой BT.2020 и упомянутое обратимое отображение палитр BT_GM (1200) выполняется, чтобы отображать упомянутую палитру BT.2020 на палитру BT.709 (насыщенность (2020) BT2020 сжимается к насыщенности (709) BT709, как проиллюстрировано посредством фиг. 1), чтобы предоставлять упомянутое второе цветное изображение SDR , совместимое с палитрой BT.709.
Затем, две части информации цветового повторного отображения, соответственно, определяются (1110, 1120) и затем передаются (1020, 1030), с одной стороны, одна часть информации цветового повторного отображения из третьего цветного изображения SDR , предоставляемого посредством обратной операции отображения палитр I_BT_GM (обращение отображения палитр) (103), выполняемой после упомянутого обратимого отображения (1200) палитр, и совместимой с палитрой BT.2020, в упомянутое первое цветное изображение SDR , совместимое с палитрой BT.2020, и с другой стороны, одна другая часть информации цветового повторного отображения из упомянутого второго цветного изображения SDR , совместимого с палитрой BT.709, в упомянутое первое цветное изображение SDR , совместимое с палитрой BT.709.
Другими словами, упомянутая часть информации цветового повторного отображения связывает упомянутое третье цветное изображение SDR с упомянутым первым цветным изображением SDR , при этом оба изображения совместимы с палитрой BT.2020. Другая часть информации цветового повторного отображения связывает упомянутое второе цветное изображение SDR с упомянутым первым цветным изображением SDR , при этом оба изображения совместимы с палитрой BT.709.
Согласно первому варианту осуществления, фиг. 8a схематически показывает диаграмму этапов способа декодирования цветного изображения HDR и по меньшей мере одного первого цветного изображения SDR , из второго цветного изображения SDR принятого битового потока в соответствии с одним вариантом осуществления раскрытия.
В частности, упомянутый битовый поток получается, с использованием способа кодирования, как описано ранее по отношению к фиг. 2-7, из цветного изображения высокого динамического диапазона (HDR) и по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR), при этом упомянутый битовый поток содержит по меньшей мере одно кодированное второе цветное изображение стандартного динамического диапазона (SDR) и также по меньшей мере одну часть информации цветового повторного отображения CRi, ассоциированную с упомянутым по меньшей мере одним кодированным вторым цветным изображением стандартного динамического диапазона (SDR) , при этом упомянутая по меньшей мере одна часть информации цветового повторного отображения используется, чтобы получать аппроксимацию упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR) из упомянутого кодированного второго цветного изображения стандартного динамического диапазона (SDR) .
Таким образом, с одной стороны, из упомянутого принятого битового потока , принятого посредством антенны 20, второе кодированное цветное изображение SDR получается и затем декодируется модулем 201 декодирования, чтобы предоставлять второе декодированное цветное изображение SDR .
С другой стороны, по меньшей мере одна часть информации цветового повторного отображения CRi, ассоциированная с упомянутым кодированным вторым цветным изображением SDR , получается (202) из упомянутого принятого битового потока и затем применяется (203) к упомянутому второму цветному изображению SDR , чтобы предоставлять аппроксимацию упомянутого по меньшей мере одного первого цветного изображения SDR .
Этапы, осуществляемые во время декодирования из фиг. 8a, являются, таким образом, обратными к этапам обработки, осуществляемой во время способа кодирования, проиллюстрированного посредством варианта осуществления из фиг. 2.
Упомянутая по меньшей мере одна часть информации цветового повторного отображения CRi, ассоциированная с упомянутым кодированным вторым цветным изображением SDR , например, вставляется в сообщение SEI упомянутого принятого битового потока , и при декодировании обеспечивает информацию, чтобы обеспечивать возможность повторного отображения восстановленных цветовых отсчетов (то есть, адаптацию CRi) декодированного второго цветного изображения SDR , чтобы получать аппроксимацию упомянутого по меньшей мере одного первого цветного изображения SDR , которое было получено во время кодирования (как проиллюстрировано на фиг. 8a) из подвергнутой цветокоррекции версии исходного цветного изображения HDR , использованного во время кодирования.
Таким образом, из одного принятого битового потока , например, битового потока HEVC , передаваемого по сети, один и тот же видеоконтент может предоставляться на несколько типов оборудования, например, одно устройство отображения HDR, UHDTV с приставкой к телевизору, подходящей для выполнения адаптации CRi, или другие существующие UHDTV и STB без какой-либо дополнительной обработки в существующем оборудовании.
В самом деле, начиная с этих двух принятых вводов, декодер будет способным восстанавливать по меньшей мере три элемента:
- аппроксимацию цветного изображения HDR, обработанного во время кодирования,
- декодированное цветное изображение SDR, которое может обеспечивать возможность просмотра, но не соответствует намерению оператора цветокоррекции, и
- по меньшей мере, одну аппроксимацию цветного изображения SDR, полученного из подвергнутой цветокоррекции версии упомянутого цветного изображения HDR.
Более точно, упомянутая информация цветового повторного отображения может применяться напрямую к декодированному значению отсчетов упомянутого декодированного второго цветного изображения SDR независимо от того, находятся ли они в области яркости и цветности или области RGB. Например, модель цветового повторного отображения, используемая в сообщении SEI информации цветового повторного отображения, компонуется из первой кусочно-линейной функции, применяемой к каждой цветовой компоненте (определенной здесь посредством "предварительного" набора синтаксических элементов), матрицы три-на-три, применяемой к трем цветовым компонентам, и второй кусочно-линейной функции, применяемой к каждой цветовой компоненте (определенной посредством "последующего" набора синтаксических элементов, определенных в разделе D.3.32, озаглавленном "Colour remapping information SEI message semantics", стандарта ITU-T H.265 (10/2014) серия H: Audiovisual and Multimedia Systems).
Согласно конкретному варианту, как проиллюстрировано на фиг. 8a, упомянутый принятый битовый поток содержит по меньшей мере упомянутое второе кодированное цветное изображение SDR и часть информации цветового повторного отображения, ассоциированную с упомянутым вторым кодированным цветным изображением SDR .
Согласно другому конкретному варианту (не представлен), упомянутая часть информации цветового повторного отображения CRi получается 202 с использованием упомянутой приемной антенны 20 из выделенного канала передачи, отличающегося от канала, используемого для передачи 1010 упомянутого второго цветного изображения SDR .
Более точно, упомянутый модуль 201 декодирования содержит декодер DEC для получения (21) компоненты яркости L'' и двух компонент цветности C''1, C''2 либо из локальной или удаленной памяти или посредством декодирования, по меньшей мере частично, битового потока F.
В дополнение, упомянутый модуль 201 декодирования дополнительно содержит модуль IGM для получения (22) конечной компоненты яркости L и двух конечных компонент цветности C1, C2 из упомянутых компонент яркости L'' и цветности C''1, C''2 посредством применения обратного отображения над цветами, полученными из упомянутых компонент яркости L'' и цветности C''1, C''2.
Другими словами, упомянутый модуль IGM обеспечивает возможность преобразовывать цветное изображение SDR в соответствующее изображение HDR, и является обратной операцией для отображения (12) HDR в SDR, выполняемого во время кодирования, как проиллюстрировано на фиг. 2-7.
На этапе 23, модуль INVC получает по меньшей мере одну цветовую компоненту Ec цветного изображения HDR , подлежащего декодированию, из упомянутой конечной компоненты яркости L и упомянутых двух конечных компонент цветности C1, C2. Декодированное изображение получается посредством комбинирования вместе упомянутой по меньшей мере одной цветовой компоненты Ec.
Фиг. 8b-c схематически показывают диаграмму этапов способа декодирования цветного изображения в соответствии с двумя другими разными вариантами осуществления относительно одной из фиг. 8a.
Более точно, этапы, осуществляемые во время декодирования из фиг. 8b-c, являются обратными к этапам обработки, осуществляемой во время способа кодирования, проиллюстрированного посредством соответственно фиг. 7a-b.
Согласно одному варианту осуществления способа декодирования согласно настоящему раскрытию, проиллюстрированному на фиг. 8b, по меньшей мере две разные части информации цветового повторного отображения и , ассоциированные с упомянутым вторым кодированным цветным изображением SDR , получаются (2021, 2022) из упомянутого принятого битового потока , и затем применяются (204, 205) ко второму декодированному цветному изображению SDR , предоставляемому посредством упомянутого модуля 201 декодирования, чтобы предоставлять две разных аппроксимации и по меньшей мере двух разных первых цветных изображений SDR, полученных во время кодирования, как проиллюстрировано посредством фиг. 7a, из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения HDR посредством использования, соответственно, разных цветовых палитр, например, палитр BT.2020 или BT.709, где палитра BT.2020 определяет цветовое пространство для UHDTV, тогда как BT.709 определяет более малую цветовую палитру для HDTV.
Необходимо отметить, что используется признак "аппроксимация", так как информация цветового повторного отображения помогает в формировании изображения SDR, которое является визуально близким к первому цветному изображению SDR, но не гарантирует какой-либо дистанционной цели, в смысле математического искажения между двумя изображениями.
Например, упомянутое декодированное цветное изображение SDR является совместимым с палитрой BT.2020, и обеспечивает возможность получать декодированное цветное изображение HDR , совместимое с палитрой BT.2020, предоставляемое посредством упомянутых модулей IGM и INVC, уже представленных по отношению к фиг. 8a.
Упомянутое декодированное цветное изображение SDR , совместимое с палитрой BT.2020, может обеспечивать возможность просмотра, но его отображение не будет приемлемым с точки зрения оператора цветокоррекции или главного оператора.
С использованием первой части информации цветового повторного отображения , выполняется (204) первая цветовая адаптация упомянутого декодированного цветного изображения SDR , чтобы предоставлять упомянутые аппроксимации , совместимые с палитрой BT.2020 и соответствующие намерению оператора цветокоррекции при учете упомянутой палитры BT.2020.
С использованием второй части информации цветового повторного отображения , выполняется (205) вторая цветовая адаптация упомянутого декодированного цветного изображения SDR , чтобы предоставлять упомянутые аппроксимации , совместимые с палитрой BT.709.
Таким образом, начиная с этих трех принятых вводов: упомянутого второго кодированного цветного изображения SDR и двух ассоциированных разных частей информации цветового повторного отображения и , декодер будет способным восстанавливать по меньшей мере четыре элемента:
- аппроксимацию цветного изображения HDR, например, совместимого с палитрой BT2020, обработанной во время кодирования,
- декодированное цветное изображение SDR , с использованием того же примера, совместимое с палитрой 2020, которая может обеспечивать возможность просмотра, но не соответствует намерению оператора цветокоррекции,
- с использованием одной информации цветового повторного отображения из упомянутых по меньшей мере двух ассоциированных частей информации цветового повторного отображения, аппроксимацию цветного изображения SDR , совместимого с палитрой BT.2020
- с использованием другой информации цветового повторного отображения из упомянутых по меньшей мере двух ассоциированных частей информации цветового повторного отображения, другую аппроксимацию цветного изображения SDR , совместимого с палитрой BT.709.
Согласно другому конкретному варианту (не представленному), упомянутые две части цветового повторного отображения и получаются 202 с использованием упомянутой приемной антенны 20 из выделенного канала передачи, отличающегося от канала, используемого для передачи 1010 упомянутого второго цветного изображения SDR .
Другой вариант осуществления способа декодирования согласно настоящему раскрытию, проиллюстрированный на фиг. 8c, отличается от варианта осуществления на фиг. 8b в том, что упомянутое декодированное цветное изображение SDR является совместимым с палитрой, отличающейся от палитры, которая является совместимой, например, с устройством отображения HDR пользователя.
Например, упомянутое декодированное цветное изображение SDR является совместимым с палитрой BT.709, тогда как устройство отображения HDR является совместимым только с палитрой BT.2020.
Упомянутое декодированное цветное изображение SDR , совместимое с палитрой BT.709, может обеспечивать возможность просмотра, но его отображение не будет приемлемым с точки зрения оператора цветокоррекции или главного оператора.
Чтобы получать декодированное цветное изображение HDR , совместимое с палитрой BT.2020, дополнительная обратная операция I_BT_GM (обращение отображения палитр) (206) обратимого отображения палитр применяется над результатом, предоставляемым посредством упомянутых модулей IGM и INVC, уже представленных по отношению к фиг. 8a.
Упомянутая обратная операция I_BT_GM (обращение отображения палитр) (206) является обратной операцией для обратимого отображения (1200) палитр, которое выполняется во время кодирования, как проиллюстрировано посредством фиг. 7b.
С использованием первой части информации цветового повторного отображения , первая цветовая адаптация упомянутого декодированного цветного изображения SDR , совместимого с палитрой BT.709, выполняется (2040), чтобы предоставлять упомянутые аппроксимации , совместимые с палитрой BT.709 и соответствующие намерению оператора цветокоррекции при учете упомянутой палитры BT.709.
С использованием второй части информации цветового повторного отображения , вторая цветовая адаптация другого декодированного цветного изображения SDR , совместимого с палитрой BT.2020, и предоставляемого посредством обратной операции I_BT_GM (обращение отображения палитр) (206) обратимого отображения палитр упомянутого декодированного цветного изображения SDR , выполняется (2050), чтобы предоставлять упомянутые аппроксимации , совместимые с палитрой BT.2020 и соответствующие намерению оператора цветокоррекции при учете упомянутой палитры BT.2020.
Более точно, согласно конкретному аспекту, который может применяться в любом варианте осуществления из упомянутых трех вариантов осуществления декодирования, как описано ранее по отношению к фиг. 8a-c, на этапе 22, проиллюстрированном на фиг. 9, модуль ILCC получает (этап 222) конечную компоненту яркости L посредством линейного комбинирования вместе компоненты яркости L'' и двух компонент цветности C''1, C''2, и две конечные компоненты цветности C1, C2 получаются посредством масштабирования (этап 221) каждой из двух компонент цветности C''1, C''2 с коэффициентом , который зависит как от значения модуляции Ba, так и значения каждого пикселя i конечной компоненты яркости L, и:
где m и n являются коэффициентом (действительными значениями). Коэффициенты m и n могут быть коэффициентами, получаемыми посредством факторизации матрицы в уравнении (G), то есть, m и n являются коэффициентами, получаемыми в . Следовательно, они зависят от палитры упомянутого цветного изображения HDR (например, палитры BT.709 или BT.2020).
Обычными значениями для m и n являются в интервале [0.1, 0.5].
Уравнение (J) рассматривается как обратное отображение, которое применяется над цветами, полученными из компонент яркости L'' и цветности C''1, C''2. Уравнение (J) напрямую получается из уравнения (A), которое рассматривается как являющееся цветовым отображением.
Согласно одному варианту модуля ILCC, значения конечной компоненты яркости L всегда выше, чем значения компоненты яркости L'':
Этот вариант осуществления является предпочтительным, так как он обеспечивает, что компонента яркости L не превосходит потенциальное значение отсечения, которое обычно используется декодером, чтобы определять пик яркости. Когда декодеру требуется пик яркости и когда компонента яркости L дается посредством уравнения (J), компонента яркости L усекается, вводя некоторые артефакты.
Согласно одному варианту осуществления, значение модуляции Ba и/или коэффициенты m и n получаются из удаленной или локальной памяти, такой как таблица поиска, или из битового потока BF, как проиллюстрировано на фиг. 9.
Согласно одному варианту осуществления, коэффициент получается из таблицы поиска (LUT) для конкретного значения модуляции Ba и конкретного значения L(i) конечной компоненты яркости L. Таким образом, для множества значений пиков яркости, таких, как, например, 1000, 1500 и 4000 нит, конкретный коэффициент сохраняется в LUT для каждого конкретного значения модуляции Ba.
Согласно одному варианту, коэффициент для конкретного значения модуляции Ba получается для значения пикселя конечной компоненты яркости L посредством интерполяции пиков яркости между множеством пиков яркости, для которых сохранены LUT.
Согласно другому конкретному аспекту, для упомянутых трех вариантов осуществления декодирования, как представлено посредством фиг. 8a-c, во время этапа 23, проиллюстрированного на фиг. 10, на этапе 220, модуль IFM получает первую компоненту Y посредством применения нелинейной функции к компоненте яркости L, чтобы динамика первой компоненты Y увеличивалась по сравнению с динамикой компоненты яркости L:
Нелинейная функция является обратной к нелинейной функции f (этап 130).
Таким образом, варианты осуществления функции определяются согласно вариантам осуществления функции f.
Согласно одному варианту осуществления, параметры нелинейной функции (такие как a, b, c или ) и/или данные информации Inf получается (получаются) из локальной или удаленной памяти (например, таблицы поиска) и/или из битового потока BF, как проиллюстрировано на фиг. 10.
Согласно одному варианту осуществления, компонента яркости L умножается на значение модуляции Ba после применения нелинейной функции :
Согласно одному варианту осуществления, нелинейная функция является обратной к гамма функции.
Компонента Y тогда дается посредством:
где равняется Y или Y/Ba согласно вариантам осуществления из уравнения (A3) или (A4), B является постоянным значением, является параметром (действительным значением строго ниже 1).
Согласно одному варианту осуществления, нелинейная функция является обратной к функции S-Log. Компонента тогда дается посредством:
Согласно одному варианту осуществления, нелинейная функция f является обратной к либо гамма коррекции, либо коррекции SLog согласно значениям пикселей компоненты Y. Это указывается посредством данных информации Inf.
На этапе 230, модуль ILC получает по меньшей мере одну цветовую компоненту Ec из первой компоненты Y, двух компонент цветности C1, C2, и из коэффициента r(L), который зависит от компоненты яркости L. Декодированное цветное изображение затем получается посредством комбинирования вместе упомянутой по меньшей мере одной цветовой компоненты Ec.
Когда общая OETF применяется к каждой промежуточной цветовой компоненте E'c (этап 171 на фиг. 6), промежуточные компоненты Dc связаны с компонентой Y, двумя компонентами цветности C1, C2 и коэффициентом r(L):
и
где EOTF (электрооптическая передаточная функция) является обратной к OETF, применяемой на этапе 171.
Уравнение (A5b) обеспечивает
где , являются постоянными, зависящими от матрицы A, и являются линейными функциями, также зависящими от матрицы A. Тогда, уравнение A5a становится:
и затем
Уравнение (A8) является неявным уравнением только относительно . В зависимости от выражения функции EOTF, уравнение (A8) может решаться более или менее просто. Когда решается, получается , выводятся из посредством уравнения (A6).
Затем промежуточные цветовые компоненты E'c получаются посредством применения EOTF к трем полученным промежуточным компонентам Dc, то есть, E'c=EOTF(Dc).
В этом общем случае, то есть, когда общая OETF (не имеет какого-либо конкретного свойства) применяется к каждой промежуточной цветовой компоненте E'c, не существует никакого аналитического решения для уравнения (8). Например, когда OETF является ITU-R BT.709/2020 OETF, и уравнение (A8) может быть решено численно посредством использования так называемого способа Ньютона или любого другого числового способа нахождения корня регулярной функции. Однако это ведет к в высокой степени сложным декодерам.
В этом общем случае, согласно первому варианту осуществления этапа 230, проиллюстрированному на фиг. 11a, на этапе 231, модуль ILEC получает три промежуточные цветовые компоненты E'c из первой компоненты Y, двух компонент цветности C1, C2 и коэффициента r(L), как описано выше. На этапе 232, три цветовые компоненты Ec получаются посредством масштабирования каждой промежуточной цветовой компоненты E'c посредством коэффициента r(L):
где является коэффициентом, заданным посредством этапа 160, который зависит от значения пикселя i конечной компоненты яркости L, является значением пикселя i промежуточной цветовой компоненты E'c, и является значением пикселя i цветовой компоненты Ec.
Фактически этот порядок этап 231 до этапа 232 является обратным к порядку, когда за этапом 150 следует этап 170 способа кодирования.
Согласно одному варианту этого первого варианта осуществления, OEFT является функцией взятия квадратного корня и EOTF тогда является функцией возведения в квадрат.
Согласно другому варианту этого первого варианта осуществления, OEFT является функцией взятия кубического корня и EOTF является тогда кубической функцией.
Когда OETF, используемая на этапе 171, удовлетворяет условию коммутации, именно
,
компонента Y и цветовые компоненты Ec соотносятся посредством:
где Fc являются компонентами, равными OETF(Ec), и
так что условие коммутации обеспечивает
Уравнение (10) обеспечивает
где являются постоянными, зависящими от матрицы A, и являются линейными функциями, также зависящими от матрицы A.
Тогда, уравнение (A9) становится:
и тогда
Когда OETF удовлетворяет условиям коммутации, согласно второму варианту осуществления этапа 230, проиллюстрированному на фиг. 11b, на этапе 232, две промежуточные компоненты C'1 и C'2 получаются посредством масштабирования двух конечных компонент цветности C1 и C2 посредством коэффициента OEFT(r(L(i))), где OETF является функцией, используемой на этапе 171 из фиг. 6:
где является коэффициентом, заданным посредством этапа 160, который зависит от значения пикселя i конечной компоненты яркости L, является соответственно значением пикселя i компоненты C'1 и C'2, является соответственно значением пикселя i компоненты C1 и C2.
На этапе 231, модуль ILEC получает три цветовые компоненты Ec из первой компоненты Y и двух промежуточных компонент цветности C'1, C'2, как описано выше.
Согласно одному варианту этого второго варианта осуществления, OEFT является функцией взятия квадратного корня и EOTF тогда является функцией возведения в квадрат. Затем, на этапе 232 на фиг. 11b, две промежуточные компоненты C'1 и C'2 получаются посредством масштабирования двух компонент цветности C1 и C2 посредством коэффициента
Уравнение (9) становится:
и
так что коммутация обеспечивает
Уравнение (11) становится:
и
Уравнение (A14) является уравнением второго порядка, которое может решаться аналитически. Это аналитическое решение ведет к конкретному варианту осуществления этапа 231, как проиллюстрировано на фиг. 12. Этот вариант осуществления является предпочтительным, так как он делает возможным аналитическое выражение функции EOTF (обратной к OETF) и, таким образом, декодированных компонент изображения. Более того, EOTF является тогда функцией возведения в квадрат, которая является обработкой низкой сложности на стороне декодирования. На этапе 2310, модуль SM получает вторую компоненту S посредством комбинирования вместе двух промежуточных компонент цветности C'1, C'2 и первой компоненты Y:
где и значения параметров и означает квадрат компоненты (c=1 или 2).
На этапе 2311, модуль LC2 получает три компоненты решателя Fc посредством линейного комбинирования вместе промежуточной компоненты цветности C'1, C'2 и второй компоненты S:
где C является матрицей 3×3, определенной как обратная к матрице A.
На этапе 2312, три цветовые компоненты Ec получаются посредством взятия квадрата каждой промежуточной цветовой компоненты (Dc):
Матрица A определяет преобразование упомянутого цветного изображения HDR , подлежащего кодированию, из цветового пространства (E1, E2, E3), в котором представляются значения пикселей изображения, подлежащей кодированию, в цветовое пространство (Y, C1, C2).
Такая матрица зависит от палитры цветного изображения, подлежащей кодированию.
Например, когда изображение, подлежащее кодированию, представлено в палитре BT709, как определено ITU-R Rec. 709, матрица A дается посредством:
и матрица C дается посредством:
Согласно одному варианту этого второго варианта осуществления, OEFT является функцией взятия кубического корня и EOTF является тогда кубической функцией. Затем, на этапе 232 на фиг. 11b, две промежуточные компоненты C'1 и C'2 затем могут получаться посредством масштабирования двух компонент цветности C1 и C2 посредством коэффициента :
EOTF является тогда кубической функцией, таким образом, ведя к уравнению (14) относительно F1, которое является более сложным уравнением третьего порядка, которое может решаться аналитически посредством так называемого способа Кардано.
Очень сложные аналитические решения также существуют для уравнения четвертого порядка (способ Феррари), но нет для порядка, более высокого или равного пяти, как утверждается теоремой Абеля-Руффини.
Декодер DEC сконфигурирован с возможностью декодировать данные, которые были кодированы посредством кодера ENC.
Кодер ENC (и декодер DEC) не ограничен конкретным кодером (декодером), но когда энтропийный кодер (декодер) требуется, энтропийный кодер, такой как кодер Хаффмана, арифметический кодер или контекстно-адаптивный кодер, такой как Cabac, используемый в H264/AVC или HEVC, является предпочтительным.
Кодеры ENC (и декодер DEC) не ограничен конкретным кодером, который может быть, например, унаследованным кодером кадров/видео с потерями, как, например, JPEG, JPEG2000, MPEG2, H264/AVC или HEVC.
На фиг. 1-12, модули являются функциональными блоками, которые могут находиться или могут не находятся в отношении с различимыми физическими блоками. Например, эти модули или некоторые из них могут обеспечиваться вместе в одиночном компоненте или схеме, или вносить вклад в функциональные возможности программного обеспечения. Наоборот, некоторые модули могут потенциально компоноваться из отдельных физических сущностей. Устройства, которое являются совместимыми с раскрытием, осуществляются с использованием либо чистого аппаратного обеспечения, например, с использованием выделенного аппаратного обеспечения такого ASIC или FPGA или VLSI, соответственно "специализированной интегральной схемы", "программируемой пользователем вентильной матрицы", "интеграции очень большого масштаба", или из нескольких интегрированных электронных компонентов, встроенных в устройство, или из смешивания компонентов аппаратного обеспечения и программного обеспечения.
Фиг. 13 представляет иллюстративную архитектуру устройства 1300, которое может быть сконфигурировано с возможностью осуществлять способ кодирования, описанный по отношению к фиг. 1-7, или способ декодирования по отношению к фиг. 8-12.
Устройство 1300 содержит следующие элементы, которые связаны вместе посредством шины 1301 данных и адресов:
- микропроцессор 1302 (или CPU), который является, например, DSP (или цифровым сигнальным процессором);
- ROM (или постоянное запоминающее устройство) 1303;
- RAM (или память с произвольным доступом) 1304;
- интерфейс 1305 I/O для передачи и/или приема данных, от приложения; и
- аккумулятор 1306
Согласно одному варианту, аккумулятор 1306 является внешним к устройству. Каждый из этих элементов из фиг. 13 является хорошо известным специалистам в данной области техники и не будет дополнительно описываться. В каждой из упомянутой памяти, признак "регистр", используемый в описании, может соответствовать области малой емкости (несколько битов) или очень большой области (например, всей программе или большому объему принятых или декодированных данных). ROM 1303 содержит по меньшей мере программу и параметры. Алгоритм способов согласно раскрытию хранится в ROM 1303. Когда включается, CPU 1302 загружает программу в RAM и исполняет соответствующие инструкции.
RAM 1304 содержит, в регистре, программу, исполняемую посредством CPU 1302 и загружаемую после включения устройства 1300, входные данные в регистре, промежуточные данные в разных состояниях способа в регистре, и другие переменные, используемые для исполнения способа в регистре.
Варианты осуществления, здесь описанные, могут осуществляться, например, в способе или обработке, устройстве, программно-реализованной программе, потоке данных, или сигнале. Даже если описывается только в контексте одиночной формы реализации (например, описывается только как способ или устройство), реализация описанных признаков также может осуществляться в других формах (например, программе). Устройство может осуществляться, например, в, соответствующем аппаратном обеспечении, программном обеспечении, и встроенном программном обеспечении. Способы могут осуществляться, например, в, устройстве, таком, как, например, процессор, который указывает на устройства обработки в общем, включающие в себя, например, компьютер, микропроцессор, интегральную схему, или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие, как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые ассистенты ("PDA"), и другие устройства, которые обеспечивают передачу информации между конечными пользователями.
Согласно конкретному варианту осуществления кодирования или кодера, упомянутое цветное изображение HDR получается из источника. Например, источник принадлежит набору, содержащему:
- локальную память (1303 или 1304), например, видеопамять или RAM (или память с произвольным доступом), флэш-память, ROM (или постоянное запоминающее устройство), жесткий диск;
- интерфейс хранилища, например, интерфейс с массовой памятью, RAM, флэш-памятью, ROM, оптическим диском или магнитной опорой;
- интерфейс (1305) связи, например, проводной интерфейс (например, шинный интерфейс, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth®); и
- схему захвата изображений (например, датчик, такой, как, например, CCD (или прибор с зарядовой связью) или CMOS (или комплементарная структура металл-оксид-полупроводник)).
Согласно разным вариантам осуществления декодирования или декодера, декодированное изображение отправляется в пункт назначения; конкретно, пункт назначения принадлежит набору, содержащему:
- локальную память (1303 или 1304), например, видеопамять или RAM (или память с произвольным доступом), флэш-память, ROM (или постоянное запоминающее устройство), жесткий диск;
- интерфейс хранилища, например, интерфейс с массовой памятью, RAM, флэш-памятью, ROM, оптическим диском или магнитной опорой;
- интерфейс (1305) связи, например, проводной интерфейс (например, шинный интерфейс, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth®); и
- устройство отображения.
Согласно разным вариантам осуществления кодирования или кодера, битовый поток BF и/или F отправляются в пункт назначения. В качестве примера, один из битового потока F и BF или оба битовых потока F и BF сохраняются в локальной или удаленной памяти, например, видеопамяти (1304) или RAM (1304), жестком диске (1303). В одном варианте, один или оба битовых потока отправляются в интерфейс хранилища, например, интерфейс с массовой памятью, флэш-памятью, ROM, оптическим диском или магнитной опорой, и/или передаются по интерфейсу (1305) связи, например, интерфейсу для линии связи точка-точка, шине передачи данных, линии связи точка-много точек или широковещательной сети.
Согласно разным вариантам осуществления декодирования или декодера, битовый поток BF и/или F получается из источника. Иллюстративно, битовый поток считывается из локальной памяти, например, видеопамяти (1304), RAM (1304), ROM (1303), флэш-памяти (1303) или жесткого диска (1303). В одном варианте, битовый поток принимается из интерфейса хранилища, например, интерфейса с массовой памятью, RAM, ROM, флэш-памятью, оптическим диском или магнитной опорой, и/или принимается из интерфейса (1305) связи, например, интерфейса для линии связи точка-точка, шины, линии связи точка-много точек или широковещательной сети.
Согласно разным вариантам осуществления, устройство 1300, которое сконфигурировано с возможностью осуществлять способ кодирования, описанный по отношению к фиг. 2-7, принадлежит набору, содержащему:
- мобильное устройство;
- устройство связи;
- игровое устройство;
- планшет (или планшетный компьютер);
- портативный компьютер;
- камеру неподвижных изображений;
- видеокамеру;
- кодирующую микросхему;
- сервер неподвижных изображений; и
- сервер видео (например, широковещательный сервер, сервер видео по запросу или веб-сервер).
Согласно разным вариантам осуществления, устройство 1300, которое сконфигурировано с возможностью осуществлять способ декодирования, описанный по отношению к фиг. 8-12, принадлежит набору, содержащему:
- мобильное устройство;
- устройство связи;
- игровое устройство;
- приставку к телевизору;
- приемник TV;
- планшет (или планшетный компьютер);
- портативный компьютер;
- устройство отображения и
- декодирующую микросхему.
Согласно одному варианту осуществления, проиллюстрированному на фиг. 14, в контексте передачи между двумя удаленными устройствами A и B по сети связи NET, устройство A содержит средства, которые сконфигурированы с возможностью осуществлять способ кодирования изображения, как описано в отношении фиг. 2-7, и устройство B содержит средства, которые сконфигурированы с возможностью осуществлять способ декодирования, как описано по отношению к фиг. 8-12, при этом устройство A из фиг. 2 осуществляет связь с устройством B из фиг. 8a согласно первому варианту осуществления, и устройство A из фиг. 7a и 7b осуществляет связь соответственно с устройством B из фиг. 8b и 8c согласно второму и третьему варианту осуществления соответственно.
Согласно одному варианту раскрытия, сеть является широковещательной сетью, выполненной с возможностью осуществлять широковещательную передачу неподвижных изображений или видеоизображений от устройства A в устройства декодирования, включающие в себя устройство B.
Варианты осуществления различных обработок и признаков, здесь описанных, могут осуществляться в многообразии разных оборудований или приложений. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий вывод из декодера, процессор предварительной обработки, обеспечивающий ввод в кодер, кодер видео, декодер видео, видеокодек, веб-сервер, приставку к телевизору, портативный компьютер, персональный компьютер, сотовый телефон, PDA, и любое другое устройство для обработки изображения или видео или другие устройства связи. Как должно быть ясно, оборудование может быть мобильным и даже установленным в мобильном транспортном средстве.
Дополнительно, способы могут осуществляться посредством инструкций, которые выполняются посредством процессора, и такие инструкции (и/или значения данных, сформированные посредством одного варианта осуществления) могут храниться в считываемом компьютером запоминающем носителе. Считываемый компьютером запоминающий носитель может принимать форму считываемого компьютером программного продукта, осуществленного в одном или более считываемом компьютером носителе (носителях) и имеющего считываемый компьютером программный код, воплощенный на нем, который является исполнимым посредством компьютера. Считываемый компьютером запоминающий носитель, как здесь используется, рассматривается как нетранзиторный запоминающий носитель при имеющейся присущей способности хранить информацию на нем, также как присущей способности обеспечивать извлечение информации из него. Считываемый компьютером запоминающий носитель может быть, например, но не ограничен этим, электронной, магнитной, оптической, электромагнитной, инфракрасной, или полупроводниковой системой, аппаратом, или устройством, или любой подходящей комбинацией вышеупомянутого. Следует принять во внимание, что последующее, в то время как обеспечивает более конкретные примеры считываемых компьютером запоминающих носителей, к которым представленные принципы могут применяться, является всего лишь иллюстративным и не исчерпывающим перечислением, как должно непосредственно приниматься во внимание специалистом в данной области техники: переносная компьютерная дискета; жесткий диск; постоянное запоминающее устройство (ROM); стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память); портативное постоянное запоминающее устройство компакт-диска (CD-ROM); устройство оптического хранилища; устройство магнитного хранилища; или любая подходящая комбинация вышеупомянутого.
Инструкции могут формировать прикладную программу, материально осуществленную на считываемом процессором носителе.
Инструкции могут находиться, например, в аппаратном обеспечении, встроенном программном обеспечении, программном обеспечении, или комбинации. Инструкции могут находиться, например, в операционной системе, отдельном приложении, или комбинации упомянутых двух. Процессор может характеризоваться, поэтому, как, например, как устройство, сконфигурированное с возможностью выполнять обработку, так и устройство, которое включает в себя считываемый процессором носитель (такой как запоминающее устройство), имеющий инструкции для выполнения обработки. Дополнительно, считываемый процессором носитель может хранить, в дополнение к или вместо инструкций, значения данных, сформированные посредством одного варианта осуществления.
Как должно быть ясно специалисту в данной области техники, варианты осуществления могут формировать многообразие сигналов, форматированных для переноса информации, которая может, например, сохраняться или передаваться. Информация может включать в себя, например, инструкции для выполнения способа, или данные, сформированные посредством одного из описанных вариантов осуществления. Например, сигнал может форматироваться для передачи в виде данных правил для записи или считывания синтаксиса описанного варианта осуществления, или для передачи в виде данных фактических синтаксических значений, записанных посредством описанного варианта осуществления. Такой сигнал может быть отформатирован, например, как электромагнитная волна (например, с использованием радиочастотной части спектра) или как сигнал базовой полосы. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с помощью потока кодированных данных. Информация, которую сигнал переносит, может быть, например, аналоговой или цифровой информацией. Сигнал может передаваться по многообразию разных проводных или беспроводных линий связи, как является известным. Сигнал может сохраняться на считываемом процессором носителе.
Было описано некоторое количество вариантов осуществления. Тем не менее, следует понимать, что могут осуществляться различные модификации. Например, элементы разных вариантов осуществления могут комбинироваться, дополняться, модифицироваться, или удаляться для формирования других вариантов осуществления. Дополнительно, специалист в данной области техники должен понимать, что другие структуры и обработки могут заменять те, что раскрыты, и результирующие варианты осуществления будут выполнять, по меньшей мере по существу, такую же функцию (функции), по меньшей мере по существу, таким же способом (способами), чтобы достигать, по меньшей мере по существу, такого же результата (результатов), что и раскрытые варианты осуществления. Соответственно, эти и другие варианты осуществления предусматриваются этой заявкой.
Настоящее раскрытие, в общем, относится к способу кодирования цветного изображения высокого динамического диапазона и по меньшей мере одного первого цветного изображения стандартного динамического диапазона, при этом упомянутый способ содержит кодирование второго цветного изображения стандартного динамического диапазона, полученного из цветного изображения HDR; определение модели цветового повторного отображения, скомпонованной из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, из цветов упомянутого второго цветного изображения стандартного динамического диапазона и цветов упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона. Технический результат заключается в улучшении визуального качества декодированного цветного изображения. 7 н. и 24 з.п. ф-лы, 15 ил., 1 табл.
1. Способ кодирования цветного изображения высокого динамического диапазона (HDR) и по меньшей мере одного первого цветного изображения стандартного динамического диапазона, при этом упомянутый способ содержит:
- кодирование второго цветного изображения стандартного динамического диапазона, полученного из цветного изображения HDR;
отличающийся тем, что способ дополнительно содержит:
- определение модели цветового повторного отображения, скомпонованной из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, из цветов упомянутого второго цветного изображения стандартного динамического диапазона (SDR) и цветов упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона (SDR).
2. Способ по п. 1, в котором упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона получается из подвергнутой цветокоррекции версии упомянутого цветного изображения высокого динамического диапазона.
3. Способ по п. 1 или 2, в котором кодирование второго цветного изображения SDR, полученного из упомянутого цветного изображения высокого динамического диапазона, содержит:
- получение компоненты яркости и двух компонент цветности из упомянутого второго цветного изображения стандартного динамического диапазона,
- отображение компонент яркости и цветности на конечную компоненту яркости и две конечные компоненты цветности, чтобы палитра цветов, полученная из упомянутых конечных компонент яркости и цветности, отображалась на палитру цветов цветного изображения высокого динамического диапазона, при этом значения конечной компоненты яркости всегда ниже, чем значения компоненты яркости.
4. Способ по п. 1, в котором упомянутый способ дополнительно содержит передачу упомянутой модели цветового повторного отображения.
5. Способ по п. 3 или 4, в котором упомянутое второе цветное изображение стандартного динамического диапазона предоставляется посредством упомянутого отображения.
6. Способ по п. 3 или 4, в котором по меньшей мере два разных первых цветных изображения стандартного динамического диапазона соответственно получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, и
при этом, для каждого рассматриваемого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, модель цветового повторного отображения соответственно определяется из упомянутого второго стандартного динамического диапазона, предоставляемого посредством упомянутого отображения в упомянутое рассматриваемое первое цветное изображение стандартного динамического диапазона.
7. Способ по п. 3 или 4, в котором по меньшей мере два разных первых цветных изображения стандартного динамического диапазона соответственно получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, и
при этом упомянутый второй стандартный динамический диапазон предоставляется посредством обратимого отображения палитр между упомянутыми разными цветовыми палитрами, при этом упомянутое обратимое отображение палитр выполняется после упомянутого отображения и до упомянутого кодирования, и отображает одну из упомянутых разных цветовых палитр на другую, и
при этом, для рассматриваемого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, упомянутая соответствующая модель цветового повторного отображения определяется из упомянутого второго стандартного динамического диапазона в упомянутое другое первое цветное изображение стандартного динамического диапазона, и
при этом, для упомянутого другого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, упомянутая соответствующая модель цветового повторного отображения определяется из третьего стандартного динамического диапазона, предоставляемого посредством операции обратного отображения, выполняемой после упомянутого обратимого отображения палитр, в упомянутое другое первое цветное изображение стандартного динамического диапазона.
8. Способ по п. 1, в котором упомянутая модель цветового повторного отображения передается в выделенном канале передачи, отличающемся от канала, используемого для передачи битового потока, содержащего упомянутый второй стандартный динамический диапазон.
9. Битовый поток, получаемый из цветного изображения высокого динамического диапазона и по меньшей мере одного первого цветного изображения стандартного динамического диапазона, при этом упомянутый битовый поток содержит по меньшей мере одно кодированное второе цветное изображение стандартного динамического диапазона, полученное из упомянутого цветного изображения высокого динамического диапазона, отличающийся тем, что упомянутый битовый поток также содержит модель цветового повторного отображения, скомпонованную из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, из цветов, ассоциированных с упомянутым по меньшей мере одним кодированным вторым цветным изображением стандартного динамического диапазона, при этом по меньшей мере одна часть информации цветового повторного отображения используется, чтобы получать аппроксимацию упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона из упомянутого по меньшей мере одного кодированного второго цветного изображения стандартного динамического диапазона.
10. Способ декодирования цветного изображения высокого динамического диапазона и по меньшей мере одного первого цветного изображения стандартного динамического диапазона из второго цветного изображения стандартного динамического диапазона принятого битового потока, при этом упомянутый способ содержит:
- декодирование упомянутого второго цветного изображения стандартного динамического диапазона, полученного из упомянутого цветного изображения высокого динамического диапазона;
отличающийся тем, что способ дополнительно содержит:
- получение модели цветового повторного отображения, скомпонованной из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, и ассоциированной с упомянутым вторым цветным изображением стандартного динамического диапазона, и
- применение упомянутой модели цветового повторного отображения к упомянутому второму цветному изображению стандартного динамического диапазона.
11. Способ по п. 10, в котором упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона получается во время кодирования из подвергнутой цветокоррекции версии упомянутого цветного изображения высокого динамического диапазона.
12. Способ по п. 10 или 11, в котором упомянутое декодирование упомянутого второго цветного изображения стандартного динамического диапазона дополнительно содержит:
- получение конечной компоненты яркости и двух конечных компонент цветности посредством применения обратного отображения над цветами, полученными из компоненты яркости и двух компонент цветности, полученных из битового потока; и
- получение по меньшей мере одной цветовой компоненты упомянутого второго цветного изображения стандартного динамического диапазона из упомянутой конечной компоненты яркости и упомянутых двух конечных компонент цветности, при этом значения конечной компоненты яркости всегда выше, чем значения компоненты яркости.
13. Способ по п. 10 или 11, в котором получаются по меньшей мере две разные модели цветового повторного отображения, ассоциированные с упомянутым вторым цветным изображением стандартного динамического диапазона, и затем применяются к упомянутому второму стандартному динамическому диапазону, чтобы предоставлять по меньшей мере две разные аппроксимации по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, полученных во время кодирования из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр.
14. Способ по п. 10 или 11, в котором получают по меньшей мере две разные модели цветового повторного отображения, ассоциированные с упомянутым вторым цветным изображением стандартного динамического диапазона, и
при этом первая модель цветового повторного отображения из упомянутых по меньшей мере двух моделей цветового повторного отображения применяется к упомянутому второму стандартному динамическому диапазону, чтобы предоставлять аппроксимацию одного первого цветного изображения стандартного динамического диапазона, и
при этом вторая модель цветового повторного отображения из упомянутых по меньшей мере двух моделей цветового повторного отображения применяется к третьему стандартному динамическому диапазону, предоставляемому посредством обратной операции обратимого отображения палитр упомянутого второго стандартного динамического диапазона, чтобы предоставлять аппроксимацию другого первого цветного изображения стандартного динамического диапазона, при этом упомянутые первые цветные изображения стандартного динамического диапазона получают во время кодирования из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, при этом упомянутое обратимое отображение палитр отображает одну из упомянутых разных цветовых палитр на другую.
15. Способ по п. 10, в котором упомянутая модель цветового повторного отображения получается из выделенного канала передачи, отличающегося от канала, используемого для передачи упомянутого битового потока, содержащего упомянутый второй стандартный динамический диапазон.
16. Устройство для кодирования цветного изображения высокого динамического диапазона и по меньшей мере одного первого цветного изображения стандартного динамического диапазона, при этом упомянутое устройство содержит процессор, сконфигурированный с возможностью:
- кодировать второе цветное изображение стандартного динамического диапазона, полученное из цветного изображения HDR;
отличающееся тем, что процессор дополнительно сконфигурирован с возможностью:
- определять модель цветового повторного отображения, скомпонованную из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, из цветов упомянутого второго цветного изображения стандартного динамического диапазона и цветов упомянутого по меньшей мере одного первого цветного изображения стандартного динамического диапазона.
17. Устройство для декодирования цветного изображения высокого динамического диапазона и по меньшей мере одного первого цветного изображения стандартного динамического диапазона из второго цветного изображения стандартного динамического диапазона принятого битового потока, при этом упомянутое устройство содержит процессор, сконфигурированный с возможностью:
- декодировать упомянутое второе цветное изображение стандартного динамического диапазона, полученное из цветного изображения HDR;
отличающееся тем, что процессор дополнительно сконфигурирован с возможностью:
- получать модель цветового повторного отображения, скомпонованную из первой кусочно-линейной функции, матрицы три-на-три и второй кусочно-линейной функции, и ассоциированную с упомянутым вторым цветным изображением стандартного динамического диапазона, и
- применять упомянутую модель цветового повторного отображения к упомянутому второму цветному изображению стандартного динамического диапазона.
18. Компьютерно-читаемый запоминающий носитель, содержащий сохраненную на нем компьютерную программу, содержащую инструкции программного кода для исполнения этапов способа кодирования по п. 1, когда эта программа исполняется на компьютере.
19. Компьютерно-читаемый запоминающий носитель, содержащий сохраненную на нем компьютерную программу, содержащую инструкции программного кода для исполнения этапов способа декодирования по п. 10, когда эта программа исполняется на компьютере.
20. Устройство по п. 16, в котором упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона получается из подвергнутой цветокоррекции версии упомянутого цветного изображения высокого динамического диапазона.
21. Устройство по п. 16 или 20, в котором кодирование второго цветного изображения SDR, полученного из упомянутого цветного изображения высокого динамического диапазона, содержит:
- получение компоненты яркости и двух компонент цветности из упомянутого второго цветного изображения стандартного динамического диапазона,
- отображение компонент яркости и цветности на конечную компоненту яркости и две конечные компоненты цветности, чтобы палитра цветов, полученная из упомянутых конечных компонент яркости и цветности, отображалась на палитру цветов цветного изображения высокого динамического диапазона, при этом значения конечной компоненты яркости всегда ниже, чем значения компоненты яркости.
22. Устройство по п. 16, в котором упомянутый способ дополнительно содержит передачу упомянутой модели цветового повторного отображения.
23. Устройство по п. 16 или 20, в котором упомянутое второе цветное изображение стандартного динамического диапазона предоставляется посредством упомянутого отображения.
24. Устройство по п. 16 или 20, в котором по меньшей мере два разных первых цветных изображения стандартного динамического диапазона соответственно получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, и при этом, для каждого рассматриваемого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, модель цветового повторного отображения соответственно определяется из упомянутого второго стандартного динамического диапазона, предоставляемого посредством упомянутого отображения в упомянутое рассматриваемое первое цветное изображение стандартного динамического диапазона.
25. Устройство по п. 16 или 20, в котором по меньшей мере два разных первых цветных изображения стандартного динамического диапазона соответственно получаются из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, и при этом упомянутый второй стандартный динамический диапазон предоставляется посредством обратимого отображения палитр между упомянутыми разными цветовыми палитрами, при этом упомянутое обратимое отображение палитр выполняется после упомянутого отображения и до упомянутого кодирования, и отображает одну из упомянутых разных цветовых палитр на другую, и при этом, для рассматриваемого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, упомянутая соответствующая модель цветового повторного отображения определяется из упомянутого второго стандартного динамического диапазона в упомянутое другое первое цветное изображение стандартного динамического диапазона, и при этом для упомянутого другого первого цветного изображения стандартного динамического диапазона из упомянутых по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, упомянутая соответствующая модель цветового повторного отображения определяется из третьего стандартного динамического диапазона, предоставляемого посредством операции обратного отображения, выполняемой после упомянутого обратимого отображения палитр, в упомянутое другое первое цветное изображение стандартного динамического диапазона.
26. Устройство по п. 16, в котором упомянутая модель цветового повторного отображения передается в выделенном канале передачи, отличающемся от канала, используемого для передачи битового потока, содержащего упомянутый второй стандартный динамический диапазон.
27. Устройство по п. 17, в котором упомянутое по меньшей мере одно первое цветное изображение стандартного динамического диапазона получается во время кодирования из подвергнутой цветокоррекции версии упомянутого цветного изображения высокого динамического диапазона.
28. Устройство по п. 17 или 27, в котором упомянутое декодирование упомянутого второго цветного изображения стандартного динамического диапазона дополнительно содержит:
- получение конечной компоненты яркости и двух конечных компонент цветности посредством применения обратного отображения над цветами, полученными из компоненты яркости и двух компонент цветности, полученных из битового потока; и
- получение по меньшей мере одной цветовой компоненты упомянутого второго цветного изображения стандартного динамического диапазона из упомянутой конечной компоненты яркости и упомянутых двух конечных компонент цветности, при этом значения конечной компоненты яркости всегда выше, чем значения компоненты яркости.
29. Устройство по п. 17 или 27, в котором получаются по меньшей мере две разные модели цветового повторного отображения, ассоциированные с упомянутым вторым цветным изображением стандартного динамического диапазона, и затем применяются к упомянутому второму стандартному динамическому диапазону, чтобы предоставлять по меньшей мере две разных аппроксимации по меньшей мере двух разных первых цветных изображений стандартного динамического диапазона, полученных во время кодирования из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр.
30. Устройство по п. 17 или 27, в котором получают по меньшей мере две разные модели цветового повторного отображения, ассоциированные с упомянутым вторым цветным изображением стандартного динамического диапазона, и
при этом первая модель цветового повторного отображения из упомянутых по меньшей мере двух моделей цветового повторного отображения применяется к упомянутому второму стандартному динамическому диапазону, чтобы предоставлять аппроксимацию одного первого цветного изображения стандартного динамического диапазона, и при этом вторая модель цветового повторного отображения из упомянутых по меньшей мере двух моделей цветового повторного отображения применяется к третьему стандартному динамическому диапазону, предоставляемому посредством обратной операции обратимого отображения палитр упомянутого второго стандартного динамического диапазона, чтобы предоставлять аппроксимацию другого первого цветного изображения стандартного динамического диапазона, при этом упомянутые первые цветные изображения стандартного динамического диапазона получают во время кодирования из по меньшей мере двух разных подвергнутых цветокоррекции версий упомянутого цветного изображения высокого динамического диапазона посредством использования соответственно разных цветовых палитр, при этом упомянутое обратимое отображение палитр отображает одну из упомянутых разных цветовых палитр на другую.
31. Устройство по п. 17, в котором упомянутая модель цветового повторного отображения получается из выделенного канала передачи, отличающегося от канала, используемого для передачи упомянутого битового потока, содержащего упомянутый второй стандартный динамический диапазон.
CN 103843058 A, 04.06.2014 | |||
CN 105324997 A, 10.02.2016 | |||
МНОГОУРОВНЕВОЕ СЖАТИЕ ВИДЕОИЗОБРАЖЕНИЯ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ, ВИЗУАЛЬНЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ И ШИРОКОЙ ЦВЕТОВОЙ ГАММОЙ | 2010 |
|
RU2504011C2 |
US 2013108183 A1, 02.05.2013. |
Авторы
Даты
2019-12-25—Публикация
2016-06-27—Подача