ПЕРЕФОРМИРОВАНИЕ СИГНАЛОВ ДЛЯ СИГНАЛОВ ШИРОКОГО ДИНАМИЧЕСКОГО ДИАПАЗОНА Российский патент 2019 года по МПК H04N19/85 H04N19/46 H04N19/98 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка запрашивает приоритет предварительных заявок США № 62/302 073, зарегистрированной 1 марта 2016, № 62/300 012, зарегистрированной 25 февраля 2016, № 62/278 362, зарегистрированной 13 января 2016, № 62/202 980, зарегистрированной 10 августа 2015, и № 62/200 797, зарегистрированной 4 августа 2015, каждая из которых полностью включена в данную работу посредством ссылки.

ТЕХНОЛОГИЯ

[0002] Настоящее изобретение относится в общем случае к изображениям. Более конкретно, вариант осуществления настоящего изобретения относится к переформированию сигнала изображений с широким динамическим диапазоном для улучшения обратной совместимости.

УРОВЕНЬ ТЕХНИКИ

[0003] В данной работе термин «динамический диапазон» (DR) может относиться к возможности зрительной системы человека (HVS) воспринимать диапазон интенсивности (например, яркости, luma) на изображении, например, от самых темных участков («теней») до самых ярких белых участков (т.е. «светлых участков»). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к возможности устройства отображения приемлемо или приблизительно визуализировать диапазон интенсивности определенной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. Если конкретный смысл явно не определен, как имеющий конкретное значение в любом месте в данном описании, то следует предполагать, что данный термин может использоваться в любом из смыслов, например, взаимозаменяемо.

[0004] В данной работе термин «широкий динамический диапазон» (HDR) относится к ширине DR, охватывающей около 14-15 порядков величины зрительной системы человека (HVS). На практике DR, по которому человек может одновременно воспринимать большой охват диапазона интенсивности, может быть несколько усеченным относительно HDR. В данной работе термины расширенный динамический диапазон (EDR) или визуальный динамический диапазон (VDR) могут отдельно или взаимозаменяемо относиться к DR, который воспринимается на сцене или изображении с помощью зрительной системы человека (HVS), что включает в себя движения глаз, допуская некоторые изменения адаптации света по сцене или изображению. В данной работе EDR может относиться к DR, который охватывает 5-6 порядков величины. Поэтому, хотя EDR, возможно, несколько уже по отношению к истинной картине указанного HDR, тем не менее он представляет собой большую ширину DR и может также упоминаться в качестве HDR.

[0005] На практике изображения содержат одну или большее количество компонент цвета (например, яркость Y и цветность Cb и Cr), причем каждая компонента цвета представлена с точностью n-бит-на-пиксель (например, n=8). Используя линейное кодирование яркости, изображения, где n ≤ 8 (например, цветные 24-битовые изображения JPEG) считают изображениями стандартного динамического диапазона, в то время как изображения, где n > 8, можно считать изображениями расширенного динамического диапазона. Изображения EDR и HDR могут также храниться и распространяться, используя форматы с плавающей точкой высокой точности (например, 16-битовые), такие как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.

[0006] Если имеется видеопоток, то информация о его параметрах кодирования обычно встраивается в битовый поток в качестве метаданных. В данной работе термин «метаданные» относится к любой вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру визуализировать декодируемое изображение. Такие метаданные могут включать в себя, но не ограничены ими, информацию цветового пространства или палитры, параметры эталонного дисплея и вспомогательные параметры сигнала, которые описаны в данной работе.

[0007] Большинство потребительских настольных дисплеев в настоящее время поддерживают яркость 200-300 кд/м² или нит. Большинство потребительских HDTV находятся в диапазоне от 300 до 500 нит, причем новые модели достигают 1000 нит (кд/м²). Такие обычные дисплеи поэтому олицетворяют более низкий динамический диапазон (LDR), также называемый стандартным динамическим диапазоном (SDR), относительно HDR или EDR. Поскольку доступность контента HDR растет из-за усовершенствования и оборудования фиксации изображений (например, камер), и дисплеев HDR (например, профессиональный эталонный монитор PRM-4200 от Dolby Laboratories), контент HDR может подвергаться цветокоррекции и отображаться на дисплеях HDR, которые поддерживают более высокие динамические диапазоны (например, от 1000 нит до 5000 нит или больше). В общем случае, без ограничения, способы настоящего раскрытия относятся к любому динамическому диапазону, который выше, чем SDR. Как оценивают изобретатели в данной работе, необходимы улучшенные методики кодирования изображений широкого динамического диапазона.

[0008] Подходы, описанные в этой статье, являются подходами, которые могли рассматриваться, но не обязательно являются подходами, которые предложены или рассмотрены ранее. Поэтому, если иное не указано, не следует предполагать, что любой из подходов, описанных в этой статье, квалифицируется в качестве предшествующего уровня техники просто на основании их включения в эту статью. Точно так же не следует предполагать, что проблемы, идентифицированные по отношению к одному или большему количеству подходов, обнаруживаются в любом из предшествующих уровней техники, на основе этой статьи, если иное не указано.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Вариант осуществления настоящего изобретения показывает в качестве примера, а не посредством ограничения, фигуры сопроводительных чертежей, на которых одинаковые ссылочные числа относятся к одинаковым элементам, и на которых:

[00010] Фиг. 1 изображает примерный процесс конвейера доставки видео;

[00011] Фиг. 2 изображает примерный процесс преобразования цветов в цветовое пространство IPT-PQ;

[00012] Фиг. 3 изображает примерный процесс переформирования и кодирования сигнала;

[00013] Фиг. 4 изображает примерную кривую сопоставления тонов для переформирования яркости между ST 2084 IPT и BT 1866 IPT согласно варианту осуществления этого изобретения;

[00014] Фиг. 5 изображает примерную систему обратно совместимого кодирования и декодирования, используя переформирование цветового пространства согласно варианту осуществления этого изобретения;

[00015] Фиг. 6 изображает примерную последовательность операций для генерации матрицы поворота цвета и масштабирования согласно варианту осуществления этого изобретения;

[00016] Фиг. 7A и фиг. 7B изображают функции переформирования тона и насыщенности согласно варианту осуществления этого изобретения;

[00017] Фиг. 8 изображает пример переформирование тона и насыщенности между цветовыми пространствами IPT-PQ и YCbCr-гамма согласно варианту осуществления этого изобретения; и

[00018] Фиг. 9 изображает пример функции EETF согласно варианту осуществления этого изобретения.

ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[00019] В данной работе описаны переформирование и кодирование сигналов изображений широкого динамического диапазона (HDR). В последующем описании в целях объяснения многочисленные конкретные подробности сформулированы для обеспечения полного понимания настоящего изобретения. Будет очевидно, однако, что настоящее изобретение может применяться без этих конкретных подробностей. В других случаях известные структуры и устройства не описаны в исчерпывающих подробностях во избежание ненужного затруднения, сокрытия или усложнения понимания настоящего изобретения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[00020] Примерные варианты осуществления, описанные в данной работе, относятся к переформированию и кодированию изображений широкого динамического диапазона. В способе улучшения обратно совместимого декодирования в кодере процессор обращается к базе данных изображений и

вычисляет значения первого тона изображений в базе данных в первом цветовом пространстве;

вычисляет значения второго тона изображений в базе данных во втором цветовом пространстве;

вычисляет угол поворота тона на основе минимизации стоимостной функции тона, причем стоимостная функция тона основана на показателе различия значений первого тона и значений повернутого второго тона; и

генерирует матрицу поворота цвета на основе угла поворота тона.

[00021] В варианте осуществления первое цветовое пространство является основанным на YCbCr-гамме цветовым пространством, а второе цветовое пространство является основанным на IPT PQ цветовым пространством.

[00022] В варианте осуществления матрица поворота цвета используется для генерации переформированного цветового пространства на основе предпочтительного цветового пространства. Изображения кодируются, используя переформированное цветовое пространство, и информация о матрице поворота цвета передается с кодера на декодер.

[00023] В варианте осуществления, в декодере, в способе восстановления вводимого изображения, кодированного в переформированном цветовом пространстве, декодер:

принимает вводимое изображение, кодированное в переформированном цветовом пространстве, причем переформированное цветовое пространство генерируется с помощью поворота компонент цветности предпочтительного цветового пространства для аппроксимации одного или большего количества параметров унаследованного цветового пространства;

обращается к метаданным, переданным с кодера на декодер, причем метаданные связаны с вводимым кодированным изображением и содержат:

флаг, указывающий на присутствие или отсутствие матрицы поворота цвета и масштабирования; и

множество коэффициентов для матрицы поворота цвета и масштабирования, когда флаг указывает на присутствие матрицы поворота цвета и масштабирования;

декодирует вводимое кодированное изображение для генерации декодированного изображения в переформированном цветовом пространстве; и

генерирует декодируемое изображение в предпочтительном цветовом пространстве на основе декодированного изображения в переформированном цветовом пространстве и матрицы поворота цвета и масштабирования.

[00024] В другом варианте осуществления, в кодере, процессор:

принимает вводимое изображение в предпочтительном цветовом пространстве;

обращается к функции поворота тона, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция поворота тона генерирует выводимое значение повернутого тона, которое соответствует согласно стоимостному критерию тона значению тона в унаследованном цветовом пространстве;

генерирует переформированное изображение на основе вводимого изображения и функции поворота тона; и

кодирует переформированное изображение для генерации кодированного переформированного изображения.

[00025] В другом варианте осуществления, в декодере, процессор:

обращается к вводимому изображению, кодированному в переформированном цветовом пространстве;

обращается к метаданным, связанным с вводимым изображением, причем метаданные содержат данные, связанные с функцией поворота тона, используемой для преобразования вводимого изображения из предпочтительного цветового пространства в переформированное цветовое пространство, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция поворота тона генерирует выводимое значение повернутого тона, которое соответствует согласно стоимостному критерию тона значению тона в унаследованном цветовом пространстве; и

генерирует изображение выводимого сигнала в предпочтительном цветовом пространстве на основе вводимого изображения и данных, связанных с функцией поворота тона.

Примерный конвейер обработки доставки видео

[00026] Фиг. 1 изображает примерный процесс обычного конвейера доставки видео (100), показывающий различные каскады от фиксации видео до отображения видеоконтента. Последовательность видеокадров (102) фиксируется или генерируется, используя блок (105) формирования изображения. Видеокадры (102) могут в цифровой форме фиксироваться (например, с помощью цифрового фотоаппарата) или генерироваться с помощью компьютера (например, используя компьютерную анимацию) для обеспечения видеоданных (107). Также видеокадры (102) могут фиксироваться на пленке с помощью пленочной фотокамеры. Пленка преобразуется в цифровой формат для обеспечения видеоданных (107). В фазе съемки (110) видеоданные (107) редактируются для обеспечения потока (112) съемки видео.

[00027] Видеоданные потока (112) съемки затем обеспечиваются к процессору в блоке (115) послесъемочного редактирования. Послесъемочное редактирование (115) может включать в себя корректировку или модификацию цветов или яркости в конкретных областях изображения для улучшения качества изображения или достижения конкретного вида изображения в соответствии с творческим замыслом создателя видео. Это иногда называют «цветоустановка» или «цветокоррекция». Другое редактирование (например, выбор и упорядочивание сцен, обрезка изображения, добавление генерируемых с помощью компьютера визуальных спецэффектов и т.д.) может выполняться в блоке (115), приводя к окончательной версии (117) съемки для распространения. Во время послесъемочного редактирования (115) видеоизображения просматривают на эталонном дисплее (125).

[00028] После послесъемочного этапа (115) видеоданные (117) готовой продукции могут доставляться в блок (120) кодированию для доставки в нисходящем направлении декодерам и устройствам воспроизведения, таким как телевизоры, абонентские устройства, кинотеатры и т.п. В некоторых вариантах осуществления кодер (120) может включать в себя аудио и видео кодеры, такие, как определяемые ATSC, DVB, DVD, Blu-ray и другими форматами доставки, для генерации кодированного битового потока (122). В приемнике кодированный битовый поток (122) декодируется с помощью блока (130) декодирования для генерации декодированного сигнала (132), представляющего идентичный сигнал или близкую аппроксимацию сигнала (117). Приемник может присоединяться к целевому дисплею (140), который может иметь совершенно другие характеристики, чем эталонный дисплей (125). В этом случае блок (135) управления отображением может использоваться для сопоставления динамического диапазона декодируемого сигнала (132) с характеристиками целевого дисплея (140) путем генерации сопоставленного с дисплеем сигнала (137).

Цветовое пространство IPT-PQ

[00029] В предпочтительном варианте осуществления, без ограничения, часть конвейера обработки, например, кодирование (120), декодирование (130) и управление (135) отображением может выполняться в цветовом пространстве, на которое будут ссылаться как на цветовое пространство IPT-PQ. Использование в качестве примера цветового пространства IPT-PQ для применения для управления отображением может быть найдено в публикации WIPO WO 2014/130 343, R. Atkins и др. «Display Management for High Dynamic Range Video», которая включена полностью посредством ссылки. Цветовое пространство IPT, которое описано в «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner and M.D. Fairchild, in Proc. 6^th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13 (на который ссылаются как на документ Ebner), который включен в данную работу полностью посредством ссылки, является моделью цветового различия между конусами в зрительной системе человека. В этом смысле оно похоже на цветовые пространства YCbCr или CIE-Lab; однако, в некоторых научных исследованиях было показано, что оно лучше имитирует визуальную обработку человека, чем эти пространства. Как CIE-Lab, IPT является пространством, нормализованным к некоторой эталонной яркости. В варианте осуществления нормализация основана на максимальной яркости целевого дисплея (например, 5000 нит).

[00030] В данной работе термин «PQ» относится к перцепционному квантованию. Зрительная система человека реагирует на увеличивающиеся уровни света очень нелинейно. Способность человека видеть стимул находится под влиянием яркости этого стимула, размера стимула, пространственной частоты создания стимула и уровня яркости, к которому адаптировались глаза в определенный момент, когда наблюдают стимул. В предпочтительном варианте осуществления функция средства перцепционного квантования сопоставляет линейные вводимые уровни серого с выводимыми уровнями серого, которые лучше соответствуют контрастным пороговым значениям чувствительности в зрительной системе человека. Примеры функции сопоставления PQ описаны в патенте США № 9 077 994 (на который ссылаются как на «патент 994»), J. S. Miller и др., который включен в данную работу полностью посредством ссылки, части которого заимствованы в спецификации SMPTE ST 2084:2014, озаглавленной «High Dynamic Range Electro-optical Transfer Function of Mastering Reference Displays», от 16 августа 2014, включенной в данную работу полностью посредством ссылки, где при заданном фиксированном размере стимула для каждого уровня яркости (т.е. уровня стимула) минимальный видимый перепад контрастности на этом уровне яркости выбирают согласно самому чувствительному уровню адаптации и самой чувствительной пространственной частоте (согласно моделям HVS). По сравнению с традиционной гамма-кривой, которая представляет кривую реакции физического устройства «электронно-лучевая трубка» (CRT) и одновременно может иметь очень грубое подобие того, как реагирует зрительная система человека, кривая PQ, которая определена «патентом 994», имитирует точную визуальную реакцию зрительной системы человека с помощью относительно простой функциональной модели.

[00031] Фиг. 2 изображает более подробно примерный процесс (200) преобразования цветов в цветовое пространство IPT-PQ согласно варианту осуществления. Как изображено на фиг. 2, если имеется вводимый сигнал (202), который находится в первом цветовом пространстве (например, RGB), преобразование цветового пространства в перцепционно-откорректированное цветовое пространство IPT (IPT-PQ) может содержать следующие этапы:

a) На дополнительном этапе (210) могут нормализовать значения пикселей вводимого сигнала (202) (например, от 0 до 4095) в значения пикселей с динамическим диапазоном между 0 и 1.

b) Если вводимый сигнал (202) является гамма-кодированным или PQ-кодированным (например, согласно BT 1866 или SMPTE ST 2084), то на дополнительном этапе (215) могут использовать оптико-электронную передаточную функцию (EOTF) сигнала (которая обеспечивается с помощью метаданных сигнала) для инвертирования или отмены исходного преобразования дисплея из кодовых значений в яркость. Например, если вводимый сигнал является гамма-кодированным, то на этом этапе применяют обратную гамма-функцию. Если вводимый сигнал является PQ-кодированным согласно SMPTE ST 2084, то на этом этапе применяют обратную функцию PQ. На практике этапы нормализации (210) и обратного нелинейного кодирования (215) могут выполняться с помощью предварительно вычисленной 1-D поисковой таблицы (LUT) для генерации линейного сигнала 217.

c) На этапе (220) линейный сигнал 217 преобразовывают из его исходного цветового пространства (например, RGB, XYZ и т.п.) в цветовое пространство LMS. Например, если исходный сигнал находится в RGB, то этот этап может содержать два этапа, на которых: преобразовывают цвет из RGB в XYZ и преобразовывают цвет из XYZ в LMS. В варианте осуществления, без ограничения, преобразование из XYZ в LMS может задаваться с помощью

. (1a)

[00032] В другом варианте осуществления, как описано во временной патентной заявке США № 62/056 093, зарегистрированной 26 сентября 2014, озаглавленной «Encoding and decoding perceptually-quantized video content» (зарегистрированной также как PCT/US2015/051 964 24 сентября 2015), которая включена в данную работу полностью посредством ссылки, полная эффективность кодирования в цветовом пространстве IPT-PQ может дополнительно увеличиваться, если внедряют матрицу перекрестных помех

как часть преобразования из XYZ в LMS. Например, для c=0,02, умножение матрицы перекрестных помех на матрицу 3×3 в уравнении (1a) приводит к:

. (1b)

Точно так же для c=0,04, в другом варианте осуществления, умножение матрицы перекрестных помех с исходным XYZ на матрицу LMS (например, уравнение (1a)), приводит к:

. (1c)

d) По данным документа Ebner, преобразование цветового пространства из традиционного LMS в IPT содержит применение сначала нелинейной функции мощности к данным LMS и затем применение матрицы линейного преобразования. Хотя можно преобразовывать данные из LMS в IPT и затем применять функцию PQ, чтобы быть в области IPT-PQ, в предпочтительном варианте осуществления на этапе (225) традиционная функция мощности для нелинейного кодирования из LMS в IPT заменена нелинейным кодированием PQ каждой из компонент L, M и S.

e) Используя линейное преобразование из LMS в IPT (например, как определено в документе Ebner), на этапе (230) завершают преобразование сигнала 222 в цветовое пространство IPT-PQ. Например, в варианте осуществления преобразование из L'M'S' в IPT-PQ может задаваться с помощью

. (2a)

В другом варианте осуществления эксперименты показали, что может быть предпочтительно, чтобы I' компонента могла получаться без какой либо зависимости от S' компоненты, следовательно, уравнение (2a) может стать:

. (2b)

IPT-PQ в сравнении с YCbCr-гамма

[00033] Большинство существующих стандартов сжатия видео, таких как MPEG 1, MPEG 2, AVC, HEVC и т.п., тестировалось, оценивалось и оптимизировалось для гамма-кодированных изображений в цветовом пространстве YCbCr; однако, результаты эксперимента показали, что цветовое пространство IPT-PQ может обеспечивать лучший формат представления для изображений широкого динамического диапазона с 10 или большим количеством бит на пиксель для компоненты цвета. Кодирование сигнала в цветовых пространствах, которые лучше подходят для HDR и сигналов широкого цветового охвата (например, IPT-PQ), может привести к лучшему качеству общей картины; однако, унаследованные декодеры (например, абонентские устройства и т.п.) могут не иметь возможности выполнять надлежащее декодирование и преобразование цветов. Для улучшения обратной совместимости, так, чтобы даже устройства, которые не знают о новых цветовых пространствах, могли генерировать приемлемое изображение, как оценивают изобретатели, необходимы новые методики переформирования сигнала.

[00034] Фиг. 3 изображает примерный процесс переформирования и кодирования сигнала согласно варианту осуществления. Как изображено на фиг. 3, если имеется вводимый сигнал (302), то блок (305) прямого переформирования цвета применяет, по мере необходимости, функции преобразования и/или переформирования цвета для генерации сигнала (307) в предпочтительном цветовом пространстве (например, IPT-PQ-r). Связанные с переформированием метаданные (309) могут также генерироваться и передаваться в последующие блоки конвейера кодирования, такие как кодер (310), декодер (315) и блок (320) обратного переформирования цвета.

[00035] Декодер после приема кодированного сигнала (315) будет применять декодирование (315) (такое как HEVC-декодирование) для генерации декодированного сигнала (317). Декодер, знающий о предпочтительном цветовом пространстве HDR-WCG кодирования (например, IPT-PQ-r), будет применять надлежащее обратное или реверсивное переформирование (320) для генерации сигнала (322) в надлежащем цветовом пространстве (например, IPT-PQ). Затем сигнал (322) может преобразовываться в YCbCr или RGB для дополнительной последующей обработки, хранения или отображения.

[00036] Унаследованный декодер, который не знает о предпочтительном пространстве HDR-WCG кодирования, может рассматривать пространство HDR-WCG в качестве унаследованного цветового пространства (например, гамма-кодированного YCbCr); однако, из-за блока (305) прямого переформирования цвета, выводимый сигнал (317) может все еще иметь приемлемое качество изображения, несмотря на то, что никакое обратное переформирование или другое преобразование цвета не применяется к выводимому сигналу (317) декодера.

Переформирование цвета

[00037] Рассматривают, без потери общности, цветовое пространство IPT-PQ. В варианте осуществления линейная матрица переформирования (например, матрица 3×3) генерируется для перцепционного соответствия цвета кожи в сигнале IPT-PQ с цветом кожи в сигнале YCbCr-гамма. Такое преобразование цвета не имеет никакого влияния на производительность большинства приложений для обработки изображений в цветовом пространстве IPT, все же значительно улучшает воспроизведение цвета с помощью унаследованного устройства. Вместо или кроме цвета кожи, аналогичные матрицы преобразования могут также генерироваться для определения соответствия для других важных цветов, таких как цвет зелени, неба и т.д. В варианте осуществления матрица переформирования может вычисляться следующим образом:

[00038] a) Загружают базу данных цветов кожи, например, спектр коэффициентов отражения, и преобразовывают их в независимое от устройств цветовое пространство, такое как XYZ;

[00039] b) Преобразовывают базу данных цветов кожи из XYZ в унаследованный формат цветового пространства (например, YCbCr, Rec. 709). Этот этап может включать в себя, например, следующие подэтапы:

b.1) Преобразовывают базу данных в RGB (Rec. 709);

b.2) Применяют гамму к значениям RGB (например, согласно BT 1886) для генерации гамма-кодированного R'G'B' сигнала;

b.3) Преобразовывают R'G'B' сигналы в значения YCbCr-гамма (например, согласно Rec. 709);

b.4) Вычисляют значения тона (например, Hue_YCbCr=tan^-1()) сигналов YCbCr-гамма;

b.5) Вычисляют значения насыщенности (например, Sat_YCbCr= ) сигналов YCbCr-гамма;

[00040] c) Вычисляют значения цвета кожи в базе данных в предпочтительном цветном формате (например, IPT-PQ). Этот этап может включать в себя следующие подэтапы:

c.1) Преобразовывают из XYZ в LMS;

c.2) Преобразовывают из LMS в L'M'S' и в I'P'T' с помощью применения PQ (например, согласно ST 2084);

c.3) Вычисляют значения тона (например, Hue_IPT=tan^-1();

c.4) Вычисляют значения насыщенности (Sat_IPT=);

[00041] d) Вычисляют матрицу поворота для поворота значений IPT так, чтобы цвета кожи в повернутом или переформированном IPT-PQ (например, IPT-PQ-r) были выровнены с цветами кожи в YCbCr-гамме. В варианте осуществления этот этап вычисляется с помощью оптимизации стоимостной функции, относящейся к значениям тона и насыщенности образцов в этих двух цветовых пространствах. Например, в варианте осуществления стоимостная функция может представлять среднеквадратичную погрешность (MSE) между унаследованным цветовым пространством (например, YCbCr) и повернутым предпочтительным цветовым пространством HDR (например, IPT-PQ). Например, пусть

(3)

обозначает связанную с тоном стоимостную функцию, где Hue_IPT-PQ-r обозначает тон переформированного цвета (то есть, IPT-PQ-r) и может определяться как

(4)

где все обратные функции tan вычисляются в (-π, π).

[00042] В варианте осуществления можно применять любые известные методики оптимизации из предшествующего уровня техники, чтобы найти значение угла «a», обозначенное как a', минимизировать стоимостную функцию согласно заданному критерию. Например, можно применять функцию MATLAB fminunc (fun, x0), при fun=CostH и x0=0,1. Если имеется a', то матрица R поворота может определяться как

. (5)

[00043] В качестве примера, на основе базы данных-образца, в варианте осуществления, для a'=71,74 градуса

. (6)

[00044] Если имеется R и исходная матрица из L'M'S' в I'P'T' LMS2IPTmat (см., например, уравнение (2)), то для преобразования в переформированное цветовое пространство IPT-PQ-r можно использовать новую матрицу LMS2IPTmat-r, определенную как:

LMS2IPTmat-r=R^T*LMS2IPTmat=((LMS2IPTmat^T*R))^T, (7)

где A^T обозначает транспонирование матрицы A.

[00045] В варианте осуществления, в дополнение к выравниванию тонов для цвета кожи, можно также выравнивать насыщенность. Это может включать в себя следующие этапы:

a) Применяют R к исходным данным IPT-PQ для генерации данных значений цветности P_R и T_R с повернутым цветом.

b) Определяют стоимостную функцию насыщенности, например, MSE между значениями насыщенности в исходном и целевом цветовых пространствах:

(8), где

, (9)

и

c) Пусть b' обозначает значение b, которое оптимизирует . Тогда можно применять вектор масштабирования

(10)

к матрице поворота цветности для формирования единой матрицы 3×3 поворота цвета и масштабирования

.(11)

[00046] В некоторых вариантах осуществления стоимостная функция тона и стоимостная функция насыщенности (например, уравнения (3) и (8)) могут объединяться в единую стоимостную функцию тона/насыщенности и решаться и для a', и для b' одновременно. Например, из уравнения (11), в варианте осуществления, для

, (12)

уравнение (4) может модифицироваться как

, (13)

и можно решать уравнение (3) и для оптимального a', и для оптимальных коэффициентов bi' (i=1-4) масштабирования.

[00047] Например, в варианте осуществления, для a'=65 градусов и b1'=1,4, b2'=1,0, b3'=1,4 и b4'=1,0, уравнение (12) приводит к:

. (12b)

Переформирование тона

[00048] Предложенная матрица R поворота может улучшать воспроизведение цвета; однако, декодируемое изображение (317) все еще может восприниматься, как имеющее низкий контраст из-за различия в нелинейных кодирующих функциях EOTF (например, ST 2084 по сравнению с BT 1866). В варианте осуществления контраст можно улучшать с помощью применения 1-D кривой сопоставления тона к каналу яркости (например, I'). Этот этап может включать в себя следующие подэтапы:

a) Применяют кривую сопоставления тона (например, сигмовидную) для сопоставления исходного контента из исходной максимальной яркости HDR (например, 4000 нит) в целевую яркость SDR (например, 100 нит). Пример такой сигмовидной функции может быть найден в патенте США 8,593 480 «Method and Apparatus for Image Data Transformation», A. Ballestad и A. Kostin, который включен в данную работу полностью посредством ссылки. Примеры альтернативных функций переформирования также раскрыты в публикации WIPO WO 2014/160 705 «Encoding perceptually-quantized video content in multi-layer VDR coding», которая включена в данную работу полностью посредством ссылки. Пусть обозначает выводимый сигнал функции f() сопоставления тона, тогда

b) Линеаризуют (например, применяют обратную PQ- или гамма-функцию) для генерации линейных данных I_T; и

c) Применяют унаследованное кодирование EOTF (например, BT 1866) к линеаризованному I_T сигналу для генерации гамма-кодированного сигнала яркости, который будет сжат и передан кодером.

[00049] Пример такого сопоставления между ST 2084 (PQ) и BT 1866 показан на фиг. 4. Кривая имеет более высокий полутоновый контраст, более слабые «тени» и более яркие (с меньшим контрастом) «светлые участки». Это выравнивает тоновую шкалу более тесно со стандартным SDR, так, чтобы, когда вводимая информация декодировалась с помощью унаследованного устройства, изображение было все еще видимым. На фиг. 4, без потери общности, вводимые и выводимые значения нормализованы к (0, 1).

[00050] Информация о переформировании может передаваться от кодера к остальной части конвейера в качестве метаданных. Параметры переформирования могут определяться во множестве моментов времени, например, на основе кадров, на основе сцены или на основе последовательности, чтобы они приводили к самой лучшей эффективности для заданной видео последовательности.

[00051] Несмотря на то, что это описание фокусируется на цветовом пространстве IPT-PQ, эти методики могут в равной степени применяться к другим цветовым пространствам и форматам цвета. Например, подобные методики могут применяться для улучшения обратной совместимости для различных версий YCbCr, например, Rec. 709 YCbCr и Rec. 2020 YCbCr. Таким образом, в варианте осуществления битовый поток Rec. 2020 может корректироваться с помощью методик переформирования сигнала, которые описаны в данной работе, для обеспечения лучшего тона, а выводимый сигнал насыщенности может декодироваться с помощью декодеров унаследованного Rec. 709.

[00052] Фиг. 6 изображает примерную последовательность операций для генерации матрицы поворота цвета и масштабирования согласно варианту осуществления. Если имеется база данных (605) изображений, то на этапе (610) вычисляют значения тона и насыщенности для изображений в базе данных в первом (унаследованном) цветовом пространстве (например, YCbCr-гамма). На этапе (615) вычисляют тон для изображений в базе данных во втором (предпочтительном) цветовом пространстве (например, IPT-PQ).

[00053] Если имеется связанная с тоном стоимостная функция (например, уравнение (3)), то на этапе (620) определяют оптимальный угол a' поворота согласно минимизации стоимостного критерия (такого как среднеквадратичная погрешность (MSE)), которая минимизирует расстояние между тонами, вычисленными в унаследованном цветовом пространстве, и тонами, вычисленными в повернутом предпочтительном цветовом пространстве. На этапе (625) значение a' используется для генерации матрицы поворота цвета.

[00054] Дополнительно может также вычисляться значение масштабирования насыщенности. Если имеется стоимостная функция насыщенности (например, уравнение 8), на этапе (630) дополнительно определяют оптимальное значение b' масштабирования согласно минимизации стоимостного критерия, такого как MSE, между насыщенностью сигналов в первом цветовом пространстве и насыщенностью масштабированных сигналов в предпочтительном цветовом пространстве с повернутым цветом (640, 645).

[00055] Наконец, на этапе (635) угол поворота и значение масштабирования объединяют для генерации матрицы поворота цвета и масштабирования (например, уравнение (11)).

[00056] В кодере кодер будет применять матрицу поворота цвета и масштабирования к вводимым данным в предпочтительном цветовом пространстве для генерации данных в переформированном цветовом пространстве. Данные будут кодироваться (сжиматься) и передаваться в декодер вместе с информацией, относящейся к матрице поворота цвета и масштабирования.

[00057] В декодере унаследованный декодер будет декодировать данные, предполагая, что они кодированы в унаследованном цветовом пространстве. Несмотря на использование информации неправильного цветового пространства, изображения все еще будут видимы с достаточным качеством в более низком динамическом диапазоне. Более новый, имеющий все возможности декодер может использовать преимущества информации принятых метаданных по отношению к матрице поворота цвета и масштабирования для декодирования данных изображения в предпочтительном цветовом пространстве, таким образом обеспечивая зрителю полный широкий динамический диапазон данных.

Синтаксис сообщения SEI для информации переформирования

[00058] Как обсуждается ранее, в одном варианте осуществления матрица (R) поворота и вектор (S) масштабирования могут поглощаться матрицей преобразования из L'M'S' в I'P'T' в (230). Кривая переформирования тона может быть частью блока (305) прямого переформирования цвета. В обоих случаях информация адаптивного переформирования (то есть, матрица и кривая сопоставления тона) может передаваться кодером к декодеру с помощью синтаксиса, предложенного в предварительной заявке США № 62/193 390, зарегистрированной 16 июля 2015, также зарегистрированной в качестве патентной заявки № PCT/US2016/02861 19 апреля 2016, которая включена в данную работу полностью посредством ссылки.

[00059] В другом варианте осуществления, который изображен на фиг. 5, новый блок (510) поворота цвета и масштабирования может добавляться в кодер (500А). Этот блок может добавляться после блока (200) преобразования цвета (например, из RGB в IPT-PQ), но предпочтительно перед блоком (305) прямого переформирования. В декодере (500B), соответствующий блок (515) обратного поворота цвета и масштабирования может добавляться после блока (320) обратного переформирования. Как изображено на фиг. 5, дополнительные блоки преобразования формата цвета (например, из 4:4:4 в 4:2:0 (505) или из 4:2:0 в 4:4:4 (520)) могут добавляться в конвейер кодирования и/или декодирования по мере необходимости.

[00060] С точки зрения синтаксиса можно определять или матрицу поворота 3×3, или просто матрицу 2×2, поскольку обычно канал яркости (например, Y или I) оставляют без изменений. Таблица 1 обеспечивает пример обмена сообщениями SEI для передачи матрицы поворота цвета и масштабирования; однако, сигнализация не ограничена сообщениями SEI; ее можно вставлять в любой синтаксис высокого уровня, как SPS, PPS и т.д.

Таблица 1: Пример обмена сообщениями SEI для матрицы поворота цвета и масштабирования

Colour_Rotation_Scale_Table () { Дескриптор colour_rotation_scale_matrix_present_flag u(1) if (colour_rotation_scale_matrix_present_flag) { for(c=0; c < 2; c++) for(i=0; i < 2; i++) colour_rotation_scale_coeffs [c] [i] i(16) } }

[00061] colour_rotation_scale_matrix_present_flag, равный 1, указывает, что элементы синтаксиса colour_rotation_scale_coeffs [c] [i] для c и i в диапазоне от 0 до 1, включительно, присутствуют. colour_rotation_scale_matrix_present_flag, равный 0, указывает, что элементы синтаксиса colour_rotation_scale_coeffs [c] [i] для c и i в диапазоне от 0 до 1, включительно, не присутствуют.

[00062] colour_rotation_scale_coeffs [c] [i] определяет значения коэффициентов матрицы «два на два» поворота цвета и масштабирования. Значение colour_rotation_scale_coeffs [c] [i] будет в диапазоне от -2^15 до 2^15 - 1, включительно. Когда colour_rotation_scale_coeffs [c] [i] не присутствует, используется матрица поворота цвета и масштабирования по умолчанию.

[00063] В варианте осуществления и кодер, и декодер могут знать о матрице поворота цвета и масштабирования (например, через взаимное определение нового цветового пространства), следовательно, может не требоваться передавать матрицу поворота цвета с кодера на декодер. В другом варианте осуществления на матрицу поворота цвета и масштабирования можно ссылаться в VUI (информации удобства использования видео) вместе с IPT-PQ.

Переформирование множества тонов и насыщенности

[00064] В некоторых вариантах осуществления может быть выгодно применять переформирование для множества тонов. Это увеличит точность переформированного цветового пространства для соответствия унаследованноым цветам, но за счет дополнительных вычислений в декодере. Рассматривают, например, проблему оптимизации переформирования для N тонов (например, цвета кожи, неба, зелени и т.п.). В варианте осуществления можно повторять процессы, обсуждаемые ранее для идентификации набора оптимальных углов и насыщенности в качестве функции от тона. Например, использование изображений базы данных для множества тонов может генерировать набор оптимальных значения (угол поворота, масштаб насыщенности), например, {(a₁, b₁), (a₂, b₂), …, (a_N, b_N)}. Или более широко, пусть для пикселя p

,(14)

,

обозначают оптимальные значения поворота цветности (тона) и масштабирования насыщенности, где обозначает показатель тона для пикселя p. Например, для цветового пространства IPT-PQ, функции и могут вычисляться через функции тона и насыщенности s(p):

h(p)=tan^-1(), (15)

s(p)=.

[00065] Функции и могут выражаться и храниться множеством способов, известных из предшествующего уровня техники, например, как поисковые таблицы или кусочно-линейные или нелинейные полиномы, и могут передаваться из кодера в декодер в качестве метаданных.

[00066] Если имеются и , кодер применяет следующие функции переформирования к каждому пикселю:

, (16)

,

для генерации соответствующего переформированного сигнала. Например, для цветового пространства IPT-PQ, переформированные компоненты цвета P' и T' для пикселя p могут быть получены с помощью

, (17)

.

[00067] В декодере процесс является обратным. Например, если имеются и , из уравнений (14) и (16) декодер генерирует

, (18)

.

[00068] Следует обратить внимание на то, что для предотвращения разногласий в декодере в некоторых вариантах осуществления кодер может передавать в декодер инверсию (например, значения 1/). Для вводимых данных в пространстве IPT-PQ исходные данные могут генерироваться как

, (19)

.

[00069] Из уравнения (17), для применения инверсного переформирования для восстановления данных в предпочтительном цветовом пространстве требуются тригонометрические операции. В некоторых вариантах осуществления тригонометрические операции могут выполняться с помощью поисковых таблиц. В качестве примера, из уравнения (18) уравнение (19) может быть переписано как

, (20)

.

Эти операции могут дополнительно упрощаться с помощью подходящих поисковых таблиц для вычислений косинусной и синусной функций.

[00070] Фиг. 7A изображает пример функции обратного переформирования для преобразования тона из переформированного IPT-PQ-r (который появляется в качестве YCbCr для унаследованного устройства) обратно в IPT-PQ, когда унаследованным цветовым пространством является YCbCr-гамма. Фиг. 7B изображает соответствующую функцию обратного переформирования для корректировки насыщенности. Фиг. 8 изображает, как предпочтительное цветовое пространство IPT-PQ (820) может корректироваться для соответствия характеристикам унаследованного цветового пространства YCbCr (810). Лучи (830) изображают поворот и масштабирование.

[00071] В другом варианте осуществления, вместо вычисления значений P и T на основании косинусной или синусной функций тона, можно создать более простой декодер с поисковыми таблицами, генерируемыми на основе некоторой другой функции тона (например, f(tan^{- 1}(h (p)))). Например, если имеются переформированные компоненты и значения пикселя, в варианте осуществления декодер может восстанавливать исходные значения пикселя следующим образом:

,

, (21)

,

,

где v() и w() обозначают относящиеся к тону функции, которые генерировались так, чтобы изображения в переформированном цветовом пространстве соответствовали набору тона и насыщенности в унаследованном цветовом пространстве. Функции v() и w(), как прежде, могут передаваться с кодера на декодер с помощью метаданных, или они могут быть частью заданного протокола или стандарта кодирования, известного и кодеру, и декодеру.

Цветовое пространство IC_TC_P

[00072] IC_TC_P, также упоминаемое как ICtCp (или IPT), является предложенным новым цветовым пространством, специально разработанным для обработки сигналов широкого цветового охвата (WCG) и широкого динамического диапазона. Как в ITP-PQ, I (интенсивность) обозначает яркость PQ-кодированного сигнала, C_T, тритановая ось, соответствует восприятию сине-желтого цвета, и C_P, протановая ось, соответствует восприятию красно-зеленого цвета. В дополнение к обсуждаемым функциям IPT-PQ, в IC_TC_P:

ак описано ранее, цветность поворачивают для выравнивания цвета кожи более близко к YCbCr

Матрица из XYZ в LMS оптимизируется для лучшей однородности и линейности для изображений WCG

Матрица из L'M'S' в ICtCp оптимизируется для улучшения постоянной яркости и стабильности по отношению к изображениям WCG и HDR.

[00073] В данной работе термин «постоянная яркость» относится к измерению того, как хорошо яркость (например, I в ICtCp или Y' в Y'Cb'Cr') соответствует яркости Y. Косвенно, она измеряется тем, насколько хорошо цветовое пространство отделяет яркость от цветности. Эксперименты, выполненные изобретателями, указывают, что I в ICtCp соответствует яркости намного лучше, чем Y' в Y'Cb'Cr'.

[00074] С точки зрения воплощения, для использования цветового пространства IC_TC_P требуются те же аппаратные средства и поток сигналов, как при использовании традиционного гамма-кодированного YCbCr. Например, рассматривают использование YCbCr с откорректированной гаммой (Y'Cb'Cr') в конвейере камеры. Исходя из XYZ, для процесса требуются следующие этапы:

a) Преобразовывают из XYZ в RGB BT.2020, используя матрицу 3×3;

b) Применяют обратное EOTF (или OETF) к выводимому сигналу на этапе a); и

c) Применяют матрицу 3×3 к выводимому сигналу на этапе b).

[00075] Как изображено на фиг. 2, для использования цвета IC_TC_P требуется выполнение следующих этапов:

a) На этапе (220) преобразовывают из XYZ в LMS, используя в предпочтительном варианте осуществления следующую матрицу 3×3:

(22)

которая соответствует объединению матрицы 3×3 из XYZ в LMS уравнения (1a) с матрицей перекрестных помех с c=0,04 (см. также уравнение (1c)).

b) На этапе (225) преобразовывают сигнал (222) в L'M'S', как описано ранее, с помощью применения нелинейности PQ.

c) На этапе (230) преобразовывают из L'M'S' в IC_TC_P, используя матрицу 3×3, которая в предпочтительном варианте осуществления может определяться как:

.(23)

Уравнение (23) соответствует умножению матрицы поворота уравнения (12b) на исходную матрицу из L'M'S' в I'P'T' уравнения (2b).

[00076] В другом варианте осуществления этапы a) - c) могут также выражаться следующим образом:

,

где

,

и

, (24)

,

,

где RGB_BT.2020 обозначает триплет значений RGB в BT.2020, обозначает инверсию EOTF согласно SMPTE ST 2084. В некоторых вариантах осуществления функция может быть заменена другой нелинейной функцией квантования, такой как функция Hybrid Log-Gamma (HLG). Для завершения ссылки соответствующие уравнения также обобщены в таблице 2, где нижние индексы D относятся к свету дисплея.

Таблица 2: преобразование цвета в IC_TC_P

Параметр Значения PQ Цветовое пространство L, M, S Получение L', M', S' {L', M', S'}=EOTF^-1(F_D)
где F_D={L_D, M_D, S_D} Получение I' Получение цветоразностных сигналов

[00077] Преобразование из IC_TC_P обратно в исходное цветовое пространство производится аналогичным образом, и в варианте осуществления оно может включать в себя следующие этапы:

a) Преобразовывают из IC_TC_P в L'M, используя инверсию уравнения (23) или

. (25)

b) Преобразовывают сигнал из L'M'S' в LMS, используя функцию EOTF сигнала (например, как определено в ST 2084; и

c) Преобразовывают из LMS в XYZ, используя инверсию уравнения (22), например:

. (26)

[00078] В варианте осуществления соответствующие матрицы из L'M'S' в RGB и из IC_TC_P в L'M'S' задаются с помощью:

, (27)

. (28)

Управление эталонным дисплеем

[00079] Контент широкого динамического диапазона можно просматривать на дисплеях, которые имеют меньший динамический диапазон, чем эталонный дисплей, используемый для подготовки контента. Для просмотра контента HDR на дисплеях с более низким динамическим диапазоном должно выполняться сопоставление дисплеев. Оно может принимать форму EETF (электронно-электронной передаточной функции) в дисплее, которая обычно применяется перед применением EOTF для отображения. Эта функция обеспечивает нелинейные участки для корректного спада «светлых участков» и «теней», обеспечивая баланс между сохранением художественного замысла и сохранением детализации. Фиг. 9 является примером EETF-сопоставления полного динамического диапазона 0-10 000 нит на целевой дисплей, допускающий 0,1-1000 нит. EETF может вводиться в сигнал PQ; графики показывают влияние сопоставления, т.е. они показывают, как запланированный свет изменяется в фактически отображаемый свет.

[00080] Ниже приведены математические этапы, которые реализуют эту функцию сопоставления тонов для отображения различных черных и белых уровней яркости. EETF может применяться в нелинейной области или к каналу яркости в IC_TC_P или в Y'C'_BC'_R, или отдельно к каналам RGB.

Вычисление EETF

[00081] Центральная область кривой сопоставления тонов определяется в качестве взаимно однозначного сопоставления исходного дисплея с целевым дисплеем. Дополнительный спад нелинейных участков вычисляется с помощью сплайна Эрмита (Hermite) для сокращения динамического диапазона до возможностей целевого дисплея.

[00082] Сначала определяют точки перегиба (начальные точки (TS) и (SS) нелинейных участков) для сплайна. Это точки, где начинается спад. Пусть minLum и maxLum обозначают минимальное и максимальное значения яркости целевого дисплея, тогда:

[00083] Если имеется E1, исходный вводимый сигнал в нормализованных кодовых комбинациях PQ, то выводимый сигнал E2 вычисляется следующим образом.

Для

Для

Для

Уравнения сплайна Эрмита:

[00084] В другом варианте осуществления:

ЭТАП 1:

ЭТАП 2:

Уравнения сплайна Эрмита

,

где

.

[00085] Результирующая кривая EETF может применяться или к каналу интенсивности I в IC_TC_P, или к каналу яркости Y в Y'C'_BC'_R. Вот некоторые важные возможности:

1) I в IC_TC_P обрабатывает канал интенсивности (I) IC_TC_P, хотя EETF

Корректирует шкалу полутонов более точно

Нет сдвига цветов

Изменения в насыщенности будут необходимы и должны применяться к каналам C_T и C_P с помощью этого уравнения:

2) Y' в Y'C'_BC'_R обрабатывает канал яркости Y' Y'C'_BC'_R, хотя EETF

Корректирует шкалу полутонов более точно

Нет сдвига цветов

Изменения в насыщенности будут необходимы и должны применяться к каналам C'_B и C'_R с помощью этого уравнения:

Дополнительные варианты осуществления, относящиеся к этому изобретению, включает в себя приложение A этой заявки.

Примерное воплощение компьютерной системы

[00086] Варианты осуществления настоящего изобретения могут воплощаться с помощью компьютерной системы, систем, конфигурируемых в электронной схеме и компонентах, устройств в интегральной схеме (ИС, IC), таких, как микроконтроллер, программируемая пользователем вентильная матрица (ППВМ, FPGA) или другое конфигурируемое или программируемое логическое устройство (ПЛУ, PLD), дискретный процессор или процессор цифровой обработки сигналов (ПЦОС, DSP), специализированная ИС (СпИС, ASIC), и/или с помощью устройства, которое включает в себя одну или большее количество таких систем, устройств или компонентов. Компьютер и/или ИС могут выполнять, управлять или исполнять команды переформирования сигнала и кодирования изображений с расширенным динамическим диапазоном, таких, как описаны в данной работе. Компьютер и/или ИС могут вычислять любой из множества параметров или значений, которые относятся к процессам переформирования и кодирования сигнала, описанным в данной работе. Варианты осуществления изображения и видео могут воплощаться в аппаратных средствах, программном обеспечении, аппаратно-программном обеспечении и в различных их комбинациях.

[00087] Некоторые воплощения изобретения содержат компьютерные процессоры, которые исполняют команды программного обеспечения, которые побуждают данные процессоры выполнять способ изобретения. Например, один или большее количество процессоров в дисплее, кодере, телевизионной приставке, транскодере и т.п. могут воплощать способы, относящиеся к переформированию и кодированию сигнала изображений HDR, как описано выше, с помощью исполнения команд программного обеспечения в памяти программ, доступной для процессоров. Изобретение может также обеспечиваться в форме программного продукта. Программный продукт может содержать любой не являющийся временным носитель, который переносит набор считываемых компьютером сигналов, содержащих команды, которые, когда исполняются с помощью процессора обработки данных, побуждают данный процессор обработки данных исполнять способ изобретения. Программные продукты согласно изобретению могут находиться в любом из большого разнообразия форм. Программный продукт может содержать, например, физические носители данных, такие как магнитные носители данных, которые включают в себя дискеты, жесткие диски, оптические носители хранения данных, которые включают в себя CD-ROM (компакт-диски), DVD (цифровые универсальные диски), электронные носители хранения данных, которые включают в себя ПЗУ (постоянные запоминающие устройства), флэш-память и т.п. Считываемые компьютером сигналы в программном продукте могут дополнительно сжиматься или шифроваться.

[00088] Когда на компонент (например, на программный модуль, процессор, блок, устройство, схему и т.д.) ссылаются выше, если иное не указано, ссылка к этому компоненту (которая включает в себя ссылку к «средству») должна интерпретироваться, как включающая в себя в качестве эквивалентов этого компонента любой компонент, который выполняет функцию описанного компонента (например, который является функциональным эквивалентом), который включает в себя компоненты, которые не являются структурными эквивалентами раскрытой структуре, которая выполняет функцию в показанных примерных вариантах осуществления изобретения.

Эквиваленты, расширения, альтернативные варианты и прочее

[00089] Примерные варианты осуществления, которые относятся к эффективному переформированию и кодированию сигнала изображений HDR, таким образом описаны. В предшествующем описании варианты осуществления настоящего изобретения описаны со ссылкой на многочисленные конкретные детали, которые могут варьироваться от воплощения к воплощению. Таким образом, единственным и исключительным указателем того, что представляет собой изобретение, и того, что является изобретением по мнению заявителей, является формула изобретения, которая вытекает из этой заявки, в конкретной форме, в которой представлена данная формула изобретения, включая любую последующую коррекцию. Любые определения, явно сформулированные в данной работе для терминов, содержащихся в такой формуле изобретения, должны обуславливать значения данных терминов в контексте формулы изобретения. Следовательно, никакое ограничение, элемент, свойство, функция, преимущество или атрибут, который явно не изложен в формуле изобретения, не должен ограничивать объем такого изобретения ни в каком случае. Описание и чертежи должны, соответственно, расцениваться в иллюстративном, а не в ограничительном смысле.

Изобретение относится к вычислительной технике. Технический результат – улучшение обратно совместимого декодирования. Способ улучшения обратно совместимого декодирования, причем способ содержит: обращение с помощью процессора к базе данных изображений; вычисление значения первого тона в первом цветовом пространстве изображений в базе данных; вычисление значения второго тона во втором цветовом пространстве изображений в базе данных; вычисление оптимального угла поворота тона с помощью нахождения угла поворота тона, который минимизирует стоимостную функцию тона, причем стоимостная функция тона основана на показателе различия значений первого тона и значений повернутого второго тона; и генерирование на основе оптимального угла поворота тона матрицы поворота цвета для поворота цвета вводимого изображения перед кодированием. 4 н. и 16 з.п. ф-лы, 10 ил., 2 табл.

1. Способ улучшения обратно совместимого декодирования, причем способ содержит этапы, на которых:

обращаются с помощью процессора к базе данных изображений;

вычисляют значения первого тона в первом цветовом пространстве изображений в базе данных;

вычисляют значения второго тона во втором цветовом пространстве изображений в базе данных;

вычисляют оптимальный угол поворота тона с помощью нахождения угла поворота тона, который минимизирует стоимостную функцию тона, причем стоимостная функция тона основана на показателе различия значений первого тона и значений повернутого второго тона; и

генерируют на основе оптимального угла поворота тона матрицу поворота цвета для поворота цвета вводимого изображения перед кодированием.

2. Способ по п. 1, дополнительно содержащий этапы, на которых:

вычисляют значения первой насыщенности изображений в базе данных в первом цветовом пространстве;

преобразовывают изображения в базе данных во второе цветовое пространство для генерации преобразованных изображений;

применяют матрицу поворота цвета к преобразованным изображениям для генерации изображений с повернутым цветом;

вычисляют значения второй насыщенности изображений с повернутым цветом;

вычисляют значение масштабирования насыщенности на основе минимизации стоимостной функции насыщенности, причем стоимостная функция насыщенности основана на показателе различия значений первой насыщенности и значений масштабированного второго тона; и

генерируют вектор масштабирования на основе значения масштабирования насыщенности.

3. Способ по п. 2, дополнительно содержащий этап, на котором объединяют матрицу поворота цвета и вектор масштабирования для генерации матрицы переформирования цвета.

4. Способ по п. 1, в котором первое цветовое пространство содержит гамма-кодированное цветовое пространство YCbCr и второе цветовое пространство содержит PQ-кодированное IPT цветовое пространство.

5. Способ по п. 1, в котором первое цветовое пространство содержит цветовое пространство Rec. 709 YCbCr и второе цветовое пространство содержит цветовое пространство Rec. 2020 YCbCr.

6. Способ по п. 1, в котором матрица поворота цвета содержит

где a' обозначает оптимальный угол поворота тона.

7. Способ по п. 2, в котором вектор масштабирования содержит

где b' обозначает значение масштабирования насыщенности.

8. Способ по п. 1, в котором первым цветовым пространством является цветовое пространство Rec. 709 YCbCr, вторым цветовым пространством является цветовое пространство ST 2084 IPT (IPT-PQ) и матрица поворота цвета содержит

9. Способ по п. 3, в котором матрица переформирования содержит:

причем a' обозначает оптимальный угол поворота тона и b' обозначает значение масштабирования насыщенности.

10. Способ по п. 1, дополнительно содержащий этапы, на которых в кодере:

принимают вводимое изображение во втором цветовом пространстве;

применяют прямое переформирование цвета к вводимому изображению, что включает в себя применение матрицы поворота цвета к вводимому изображению для генерации изображения с повернутым цветом; и

кодируют изображение с повернутым цветом с помощью упомянутого кодера для генерации кодированного изображения;

передают кодированное изображение в декодер;

передают относящиеся к переформированию метаданные в декодер,

причем упомянутый способ дополнительно содержит этапы, на которых в декодере:

принимают кодированное изображение;

принимают относящиеся к переформированию метаданные;

декодируют кодированное изображение для генерации декодированного изображения;

применяют обратное переформирование цвета к декодированному изображению для генерации выводимого изображения во втором цветовом пространстве.

11. Способ по п. 3, дополнительно содержащий этапы, на которых:

принимают вводимое изображение во втором цветовом пространстве;

применяют матрицу переформирования к вводимому изображению для генерации переформированного изображения; и

кодируют переформированное изображение с помощью кодера для генерации кодированного изображения.

12. Способ по п. 10, дополнительно содержащий этап, на котором:

применяют функцию сопоставления тона к значениям яркости переформированного изображения перед этапом кодирования.

13. Способ по п. 11, дополнительно содержащий этап, на котором:

передают информацию на основе матрицы переформирования к декодеру в качестве метаданных.

14. Способ по п. 11, в котором метаданные содержат:

флаг, указывающий на присутствие или отсутствие матрицы поворота цвета и масштабирования; и

множество коэффициентов, основанных на матрице поворота цвета и масштабирования, когда флаг указывает на присутствие матрицы поворота цвета и масштабирования.

15. Способ по п. 3, в котором второе цветовое пространство содержит цветовое пространство IPT и в цветном конвертере матрица преобразования из LMS по умолчанию в IPT заменяется произведением матрицы преобразования из LMS по умолчанию в IPT на матрицу переформирования цвета.

16. Способ по п. 1, в котором стоимостная функция представляет среднеквадратичную ошибку MSE между значениями первого тона и значениями повернутого второго тона.

17. Способ улучшения обратно совместимого декодирования, причем способ содержит этапы, на которых:

принимают вводимое изображение в предпочтительном цветовом пространстве;

обращаются к функции поворота тона, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция поворота тона генерирует выводимое значение повернутого тона, которое соответствует согласно стоимостному критерию тона значению тона в устаревшем цветовом пространстве;

генерируют переформированное изображение на основе вводимого изображения и функции поворота тона; и

кодируют переформированное изображение для генерации кодированного переформированного изображения.

18. Способ по п. 17, дополнительно содержащий этапы, на которых:

обращаются к функции масштабирования насыщенности, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция масштабирования насыщенности генерирует значение тона с масштабированной насыщенностью, которая соответствует согласно стоимостному критерию насыщенности значению насыщенности тона в устаревшем цветовом пространстве; и

генерируют переформированное изображение на основе вводимого изображения, функции поворота тона и функции масштабирования насыщенности.

19. Устройство для улучшения обратно совместимого декодирования, содержащее процессор и выполненное с возможностью выполнения способа, изложенного в п. 1.

20. Постоянный считываемый компьютером носитель, на котором сохранены выполняемые компьютером команды для выполнения с помощью одного или более процессоров способа по п. 1.