УПРАВЛЕНИЕ ОТОБРАЖЕНИЕМ ВИДЕОИЗОБРАЖЕНИЯ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ Российский патент 2018 года по МПК G06T5/00 G09G5/02 H04N1/60 H04N9/68 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка заявляет приоритет предварительной заявки на патент США № 62/105139, поданной 19 января 2015 г., которая полностью включена в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение в общем относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к способу управления отображением изображений с расширенным или увеличенным динамическим диапазоном.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

В настоящем документе термин «динамический диапазон» (DR) может относиться к способности визуальной системы человека (HVS) воспринимать диапазон интенсивности (например, освещенности, яркости) в изображении, например, от самых темных из темных участков (черных) до самых светлых из светлых участков (белых). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно указывается, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует делать вывод, что термин может быть использован в любом смысле, например, взаимозаменяемо.

В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14–15 порядков величины визуальной системы человека (HVS). На практике, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В настоящем документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который одновременно воспринимается визуальной системой человека (HVS). В настоящем документе EDR может относиться к DR, который охватывает 5–6 порядков величины. Таким образом, несмотря на то, что возможна немного более узкая ширина в отношении относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR и может также называться HDR.

На практике, изображения содержат один или более цветовых компонентов (например, яркость Y и цветность Cb и Cr), причем каждый цветовой компонент представлен с точностью до n бит на пиксель (например, n = 8). Используя линейное яркостное кодирование, изображения, в которых n ≤ 8 (например, цветные 24-битные изображения JPEG), рассматриваются в качестве изображений стандартного динамического диапазона, тогда как изображения, в которых n > 8, могут быть рассмотрены в качестве изображений увеличенного динамического диапазона. EDR- и HDR-изображения могут быть сохранены и распределены с использованием высокоточных (например, 16-битных) форматов с плавающей запятой, таких как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.

Большая часть потребительских настольных дисплеев поддерживает яркость от 200 до 300 кд/м² или нитов. Большая часть потребительских HDTV имеет диапазон от 300 до 1000 кд/м². Таким образом, такие традиционные дисплеи являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно HDR или EDR. Поскольку доступность EDR-содержимого растет вследствие развития как оборудования захвата (например, камер), так и EDR-дисплеев (например, профессионального контрольного монитора PRM-4200 от компании Dolby Laboratories), EDR-содержимое может быть отсортировано по цвету и отображено на EDR-дисплеях, которые поддерживают более широкие динамические диапазоны (например, от 1000 нитов до 5000 нитов или больше). В целом, способы согласно настоящему изобретению относятся к любому динамическому диапазону, более широкому, чем SDR. Как отмечено в настоящем документе авторами изобретения, улучшенные методы управления отображением изображений расширенного динамического диапазона на HDR- и SDR-дисплеях являются необходимыми как для обратной совместимости, так и превосходного эффекта погружения.

В настоящем документе термин «управление отображением» обозначает обработку (например, отображением тона и гаммы), необходимую для отображения входного видеосигнала первого динамического диапазона (например, 1000 нитов) на дисплей второго динамического диапазона (например, 500 нитов).

Подходы, описанные в данном разделе, являются подходами, которые могут быть выполнены, но необязательно подходами, которые были ранее предложены или выполнены. Следовательно, если не указано иное, не следует предполагать, что любой из подходов, описанных в данном разделе, расценивается как известный уровень техники только лишь вследствие их включения в данный раздел. Подобным образом, не следует предполагать, что проблемы, определенные относительно одного или более подходов, были учтены в известном уровне техники на основе данного раздела, если не указано иное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на фигурах прилагаемых графических материалов, на которых одинаковые номера позиций относятся к подобным элементам и на которых:

на фиг. 1 показан приведенный в качестве примера процесс управления отображением EDR-изображений согласно варианту осуществления настоящего изобретения;

на фиг. 2 показан приведенный в качестве примера процесс конвертирования входных данных EDR из входного цветового пространства в перцепционно квантованное пространство согласно варианту осуществления настоящего изобретения;

на фиг. 3 показан приведенный в качестве примера процесс отображения цветового объема для EDR-изображений согласно варианту осуществления настоящего изобретения;

на фиг. 4 показан приведенный в качестве примера процесс сохранения детализации согласно варианту осуществления настоящего изобретения; и

на фиг. 5 показан приведенный в качестве примера процесс конвертирования выходного цвета согласно варианту осуществления настоящего изобретения.

ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В настоящем документе описано эффективное управление отображением (например, отображением тона и гаммы) изображений с увеличенным динамическим диапазоном (EDR). В следующем описании в целях пояснения изложены многочисленные специфические подробности для предоставления полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение может быть осуществлено без данных специфических подробностей. В других примерах хорошо известные структуры и устройства не описаны в исчерпывающих подробностях во избежание ненужного перенасыщения, искажения смысла или запутывания содержания настоящего изобретения.

Общее представление

В настоящем документе приведенные в качестве примера варианты осуществления относятся к эффективному управлению отображением EDR-изображений. Процессор управления отображением принимает входное изображение с увеличенным динамическим диапазоном, которое должно быть отображено на целевом дисплее, который имеет отличный от первоначального исходного дисплея динамический диапазон. Входное изображение сначала преобразуется из входного цветового пространства (например, RGB или YCbCr) в перцепционно квантованное (PQ) цветовое пространство, предпочтительно цветовое пространство IPT-PQ. Функция отображения цветового объема, содержащая функцию адаптивного отображения тона и функцию адаптивного отображения гаммы, генерирует первое отображенное изображение. Этап сохранения детализации применяют к компоненту интенсивности первого отображенного изображения для генерирования конечного отображенного изображения с фильтрованным тонально отображенным изображением интенсивности. Конечное отображенное изображение затем передают обратно в предпочтительное цветовое пространство дисплея. Предоставлены примеры функций адаптивного отображения тона и отображения гаммы.

Приведенный в качестве примера алгоритм обработки с управлением отображением

На фиг. 1 показан приведенный в качестве примера процесс управления отображением EDR-изображений (которые также могут быть названы HDR-изображениями) согласно варианту осуществления настоящего изобретения. Данный процесс имеет много общего с процессом управления отображением, описанным в заявке PCT № PCT/US2014/016304, называемой с этого момента как заявка ‘304, поданной 13 февраля, 2014 г., которая полностью включена в настоящий документ посредством ссылки; тем не менее, предложенные варианты осуществления включают ряд улучшений, которые обеспечивают сниженную вычислительную сложность, при этом улучшая общее качество изображения.

Как показано на фиг. 1, видеопроцессор (например, медиа-сервер, телевизионная приставка, устройство воспроизведения изображений на экране или другой подходящий процессор изображений) принимает входное EDR-изображение V_I (102) и необязательно связанные метаданные (104), первоначальные и содержимого, и целевые метаданные (106). Входное EDR-изображение (102) может содержать часть кадра или полный кадр последовательности изображений, такой как EDR-видеосигнал. В настоящем документе термин «метаданные» относится к любой вспомогательной информации, которая передается в качестве части кодированного битового потока и способствует воспроизведению декодером декодированного изображения. Такие метаданные могут включать, без ограничения, информацию о цветовом пространстве или гамме, параметры исходного дисплея и параметры вспомогательного сигнала, например описанные в настоящем документе.

Принятое входное EDR-изображение (102) может быть представлено в цветовом формате RGB или любого другого цветового пространства, такого как YCbCr, XYZ и тому подобное. Принятое изображение может быть подвергнуто цветокоррекции на исходном EDR-мониторе, который может иметь отличные от целевого монитора дисплея динамический диапазон и характеристики цветовой гаммы. В настоящем документе термин «цветокоррекция» обозначает процесс регулирования цвета изображения или видеоизображения для исправления цветовых артефактов и/или для соответствия замыслу режиссера.

Входное EDR-изображение (102) может также включать метаданные (104) первоначального дисплея, относящиеся к дисплею, используемому для цветокоррекции изображения во время производства программы. Например, такие метаданные могут включать исходную электронно-оптическую передаточную функцию (EOTF) (например, Rec. ITU-R BT.1866 (03/2011) или SMPTE ST 2084:2014). Входное EDR-изображение может также включать дополнительные метаданные (104) первоначального дисплея и содержимого, такие как максимальная и минимальная яркость первоначального или исходного дисплея, максимальный, минимальный и усредненный средний тон данных и интенсивность окружающего света во время цветокоррекции. Например, метаданные для исходного монитора могут включать следующие приведенные в качестве примера параметры, используемые для производства:

Минимальная яркость первоначального монитора, Smin = 0,005 нита;

Максимальная яркость первоначального монитора, Smax = 4000 нитов;

Окружающий свет, Samb = 10 нитов;

Гамма, Sgamma = 2,4;

Цветовое пространство = DCI P3, точка белого = D65;

Метаданные для исходного монитора должны быть переданы, как правило, только один раз; однако метаданные для видеоданных могут быть переданы на покадровой основе, на посценовой основе или при любом их изменении. Если метаданные, относящиеся к первоначальному содержимому, отсутствуют, тогда в некоторых вариантах осуществления такие данные могут быть извлечены посредством анализа первоначального видеосодержимого. Целевые метаданные (106) доставляются целевым дисплеем и могут описать характеристики целевого дисплея (например, максимальную яркость, цветовую гамму и тому подобное).

Цветовое пространство IPT-PQ

В предпочтительном варианте осуществления алгоритм (100) обработки выполняют в так называемом перцепционно квантованном цветовом пространстве IPT или IPT-PQ; тем не менее, подобные этапы обработки могут быть выполнены в других цветовых пространствах, таких как линейное RGB, RGB с гамма-коррекцией, YCbCr, XYZ, CIE-Lab и тому подобное. Как отмечено автором изобретения, работа в цветовом пространстве IPT-PQ предоставляет ряд преимуществ, таких как выполнение алгоритма управления отображением в фиксированной точке и на более низкой битовой глубине, а также уменьшение цветовых артефактов благодаря операциям отображения тона и отображения гаммы. IPT, как описано в документе «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner и M.D. Fairchild, в ходе 6^й конференции по цветному изображению: Color Science, Systems, and Applications, IS&T, Скоттсдейл, Аризона, ноябрь 1998 г., страницы 8–13 (именуемый «Ebner paper»), который полностью включен посредством ссылки в настоящий документ, является моделью цветовой разницы между колбочками в визуальной системе человека. В этом смысле оно похоже на цветовые пространства YCbCr или CIE-Lab; однако в некоторых научных исследованиях оно показало лучшую имитацию обработки визуальной системы человека, чем данные пространства. Как и CIE-Lab, IPT является нормированным пространством для некоторой исходной яркости. В варианте осуществления нормирование основано на максимальной яркости целевого дисплея.

В настоящем документе термин «PQ» относится к перцепционному квантованию. Визуальная система человека реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственной частоты (частот), формирующей стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент просмотра стимула. В предпочтительном варианте осуществления функция перцепционного квантователя отображает линейные входные уровни серого на выходные уровни серого, которые лучше соответствуют пороговым значениям контрастной чувствительности в визуальной системе человека. Примеры функций PQ-отображения описаны в заявке PCT № PCT/US2012/068212 (именуемой как заявка ‘212) под названием «Perceptual luminance nonlinearity-based image data exchange across different display capabilities», J. S. Miller и соавт. 6 декабря 2012 года, и которая полностью включена в настоящий документ посредством ссылки, в которых предоставлен фиксированный размер стимула для каждого уровня яркости (т. е. уровень стимула), шаг минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с HVS-моделями). По сравнению с традиционной кривой гамма-распределения, которая представляет характеристическую кривую физического устройства на электронно-лучевой трубке (CRT) и в то же время может иметь очень грубое сходство со способом реагирования визуальной системы человека, кривая PQ, как определено в заявке ‘212, имитирует настоящую визуальную реакцию визуальной системы человека с использованием относительно простой функциональной модели.

Пример EOTF, основанной на кривой PQ, определен в документе SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», который полностью включен в настоящий документ посредством ссылки. Другой пример перцепционно квантованной EOTF представлен в документе «Chromaticity based color signals for wide color gamut and high dynamic range», J. Stessen et al., ISO/IEC JTC1/SC29/WG11 MPEG2014/M35065, октябрь 2014 г., который полностью включен в настоящий документ посредством ссылки.

В таблице 1 описано вычисление EOTF перцепционной кривой для конвертирования кодовых значений цифрового видеоизображения в абсолютные линейные уровни яркости в точке дисплея. Также включено обратное вычисление EOTF (OETF) для конвертирования абсолютной линейной яркости в цифровые кодовые значения.

Таблица 1

Представленные в качестве примера формулировки уравнений:

D = цифровое кодовое значение перцепционной кривой, целое число без знака SDI-legal, 10 или 12 бит;

b = количество бит на компонент в представлении цифрового сигнала, 10 или 12;

V = нормированное значение сигнала перцепционной кривой, ;

Y = нормированное значение яркости, ;

L = абсолютное значение яркости, 0,000 кд/м².

Приведенные в качестве примера уравнения декодирования EOTF:

(t1)

Приведенные в качестве примера уравнения обратного кодирования EOTF:

(t2)

(t3)

Приведенные в качестве примера постоянные:

Примечания:

1. Оператор INT возвращает значение 0 для дробных частей в диапазоне от 0 до 0,4999… и +1 для дробных частей в диапазоне от 0,5 до 0,9999…, т.е. он округляет дроби более 0,5.

2. Все постоянные определяются в качестве точных чисел, кратных 12-битным рациональным числам, для предотвращения проблем с округлением.

3. Компоненты R, G или B сигнала должны быть вычислены таким же образом, как и компонент Y сигнала, описанный выше.

На фиг. 2 более подробно показан приведенный в качестве примера процесс осуществления этапа (110) конвертирования цвета согласно варианту осуществления. Как показано на фиг. 2, заданный входной EDR-сигнал V_I (102), который находится в первом цветовом формате (например, YCbCr 4:2:0 или RGB с гамма-коррекцией 4:4:4), на этапе (110) преобразования цветового пространства превращается в сигнал V_IL (112) в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ). Данное преобразование цвета может включать следующие этапы:

a) На этапе (215), в случае необходимости, можно выполнить повышение дискретизации цветности или другие операции предварительной обработки (например, масштабирование входного сигнала таким образом, чтобы он находился в диапазоне (0, 1)) для генерирования выходного сигнала (217).

b) Входной EDR-сигнал (102) может быть гамма-кодированным или PQ-кодированным, причем он обычно отправляется с использованием первоначальных метаданных (104). На этапе (220) могут применить EOTF (как предоставлено посредством метаданных (104)) для обратной операции или отмены конвертирования первоначальным дисплеем кодовых значений в яркость. Например, если входной сигнал подвергнут гамма-кодированию, то на данном этапе применяют обратную гамма-функцию. Если входной сигнал является PQ-кодированным (например, согласно документу SMPTE ST 2084), то на этом этапе применяют обратную PQ-функцию. На практике, этап (220) линеаризации может быть осуществлен с использованием трех предварительно вычисленных 1-D справочных таблиц (LUT).

c) На этапе (225) конвертируют линеаризованный сигнал (222) в сигнал (227) в цветовом пространстве LMS. Как правило, данный этап выполняют при помощи a) перевода входного сигнала в цветовое пространство XYZ, используя стандартные преобразования, и затем применяя матрицу 3x3 для перевода сигнала из XYZ в LMS.

d) (Этап 230). Согласно «Ebner paper» традиционное конвертирование цветового пространства из LMS в IPT включает применение первой нелинейной степенной функции к LMS-данным, а затем применение матрицы линейного преобразования. Несмотря на возможность преобразования данных из LMS в IPT, а затем применения функции PQ, находящейся в области IPT-PQ, в предпочтительном варианте осуществления на этапе (230) традиционную степенную функцию для нелинейного кодирования из LMS в IPT заменяют нелинейным PQ-кодированием. Например, нелинейные значения L, M, и S вычисляют аналогичным образом, как сигнал V в уравнении (t2), где сигнал Y заменен значениями линейных компонентов L, M, или S. В некоторых вариантах осуществления может быть использована нормированная версия PQ-кодирования, при этом этап уравнения (t3) может быть опущен и диапазон выходных значений PQ составляет от 0 до 1. В некоторых вариантах осуществления также могут быть применены альтернативные операции PQ-кодирования (например, предложенное Stessen).

e) С использованием стандартного линейного преобразования из LMS в IPT 3 x 3, на этапе (235) завершают конвертирование сигнала (102) в цветовое пространство IPT-PQ.

В некоторых вариантах осуществления алгоритм (например, 110) полного преобразования цвета может быть вычислен с использованием 3D LUT. Кроме того, в вариантах осуществления, где входной сигнал уже находится в пространстве IPT-PQ, конвертирование (110) входного цветового пространства может быть пропущено.

Отображение цветового объема

После этапа (110) преобразования цвета интенсивность (I_O) и цветность (P/T) сигнала V_IL (112) должна быть отображена для соответствия ограничениям целевого дисплея. На фиг. 3 показан пример реализации процесса (115) отображения цветового объема согласно варианту осуществления. Первая часть процесса (115) отображения цветового объема определяет значение затемнения цветов на основании как их насыщенности, так и их интенсивности. В варианте осуществления, без ограничения, мера насыщенности S может быть вычислена как сумма квадратов компонентов цветности, или

.(1)

Функция (310) отображения тона применяет нелинейное отображение к интенсивности (302) входных данных V_IL (112) для генерирования тонально отображенных данных I_m (314) интенсивности (например, ). Пример преобразования нелинейного отображения описан A. Ballestad и соавт. в патенте США 8593480 (именуемом как патент ‘480) под названием «Method and apparatus for image data transformation», который полностью включен в настоящий документ посредством ссылки.

Согласно патенту ‘480, приведенная в качестве примера передаточная функция для нелинейного отображения может быть обозначена как

(2)

где C₁, C₂, и C₃ являются постоянными, Y_in является входным значением для цветового канала (например, I_O), Y_out является выходным значением для цветового канала, и Slope и Rolloff являются параметрами. Данная передаточная функция является примером параметризованной сигмоидальной функции тоновой кривой. Экспонента Slope определяет необходимый контраст в средней точке. Ее можно вывести из соотношения между первоначальным и целевым дисплеями для обеспечения незначительно более высокого контраста для более темных изображений. Экспонента Rolloff определяет, насколько резко кривая спадает вверху и внизу кривой. Более низкое значение приводит к более резкому спаду. Параметры C₁, C₂, и C₃ определены на основании определения трех опорных точек, которые в свою очередь определены на основании характеристик яркости исходного (или первоначального) дисплея, которые, как правило, извлекаются из входных метаданных (104), и характеристик яркости целевого дисплея, которые, как правило, уже известны процессору, выполняющему процесс управления отображением посредством целевых метаданных (106).

Ключевой концепцией в отображении тона является сохранение общего внешнего вида изображения, внося как можно меньшее изменение в интенсивность и контраст средней точки. Тени и яркие участки, таким образом, гладко отображаются в диапазоне яркости целевого дисплея. В приведенном в качестве примера варианте осуществления на этапе (310) могут быть вычислены параметры тоновой кривой уравнения (2) следующим образом:

Пусть Tmin и Tmax обозначают минимальную и максимальную яркость целевого дисплея, представленного посредством PQ-кодирования. Также, пусть Smin и Smax обозначают минимальную и максимальную яркость первоначального дисплея, также с PQ-кодированием, тогда в варианте осуществления S2Tratio может быть определено следующим образом:

,

, (3)

.

При условии, что в варианте осуществления,

, (4)

и

Величина Shift обозначает среднюю точку кривой отображения или значение затемнения входного изображения для адаптации его к возможностям целевого дисплея. Без потери общности в варианте осуществления для изображения выбрано находиться между средними точками первоначального и целевого дисплеев для сохранения некоторого творческого замысла режиссера.

В варианте осуществления, величина Rolloff = 1/3 была субъективно определена для обеспечения хорошего качества изображения для широкого разнообразия изображений.

Заданные уравнения (2-4), параметры C₁, C₂, и C₃ могут быть выведены путем решения системы уравнений, которая определяет кривую отображения тона, проходящую через указанные максимальную, минимальную и среднюю контрольные точки.

. (5)

В некоторых вариантах осуществления может быть необходима модификация в тоновой кривой, которая описана выше, например, при отображении в более ярких или более темных окружающих условиях просмотра. Это может быть обеспечено при помощи двух дополнительных параметров, которые могут быть отрегулированы субъективно: Contrast и Brightness. При заданных параметрах Contrast и Brightness, исходные параметры Shift и Slope уравнения (4) могут скорректированы следующим образом:

, (6)

Регулировка параметра Brightness приводит к глобальному повышению или снижению яркости всего изображения, впрочем, она может влиять только на среднюю точку, в зависимости от динамического диапазона целевого дисплея. Регулировка параметра Contrast приводит к повышению или снижению контраста вокруг средней точки, впрочем, она может снижать контраст в теневых или ярких участках, в зависимости от динамического диапазона целевого дисплея.

Регулировки компенсации Brightness и Contrast могут быть изменены для достижения двух целей. Во-первых, они могут быть отрегулированы на конечном дисплее для компенсации различных окружающих условий просмотра. Это осуществляется посредством операции типа калибровки изображения, в которой пользователь регулирует яркость и/или контраст до тех пор, пока черные и белые детали не будут субъективно видны на изображении. Второе применение этих параметров заключается в том, что они составляют часть метаданных для тонкой настройки стандартного отображения для конкретного кадра для достижения конкретного субъективного впечатления.

При заданных выше параметрах C₁, C₂, и C₃ в варианте осуществления отображенная интенсивность может быть вычислена следующим образом:

. (7)

На практике, вычисление тонально отображенного изображения (314), как правило, осуществляется путем использования справочной таблицы.

Как показано на фиг. 3, отображение (115) цветового объема включает функцию (320) отображения насыщенности, применяемую для регулирования значений цветности (P/T) (304) на основании изменений в интенсивности. Когда интенсивность цветов снижена, их цветность также уменьшена для поддержания их внешнего вида или баланса. В варианте осуществления отображение (320) насыщенности может быть выражено следующим образом:

. (8)

Кривые отображения тона и насыщенности вычисляют для указанных возможностей первоначального и целевого дисплеев и, необязательно, любых пользовательских регулировок. Когда они вычислены, они могут быть применены независимо к каждому пикселю для осуществления отображения из первоначального цветового объема в целевой цветовой объем. Суть процедуры заключается в том, чтобы сначала применить тоновую кривую ко входной интенсивности, а затем масштабировать каждый из каналов цветности по кривой насыщенности. Применяя одинаковый масштаб к обоим каналам цветности можно сохранить тон, который в IPT определен углом между P и T. Следовательно, в варианте осуществления,

,

, (9)

.

Это, как правило, приводит к хорошим результатам для цветов, которые находятся внутри цветового объема целевого дисплея. Однако, она не учитывает факт того, что целевой дисплей может быть неспособен отображать яркие, насыщенные цвета. В этом случае, как отмечено автором изобретения, может быть необходимо некоторое дополнительное регулирование цветности.

После отображения цветового объема, любые цвета, остающиеся вне цветового объема целевого дисплея, будут отсечены в пространстве RGB, что может создать артефакты. Для уменьшения количества цветов, оставшихся за пределами цветового объема, в варианте осуществления предлагается два средства для дополнительного отображения цветов в цветовом объеме целевого дисплея. Первое средство состоит в том, чтобы затемнить яркие, насыщенные цвета, а второе средство состоит в том, чтобы уменьшить насыщенность высоконасыщенных цветов. Тогда процедура отображения цветового объема по уравнению (9) может быть изменена, как показано ниже

,
,
,(10)
,

где и представляют собой весовые коэффициенты, как правило, полученные посредством метаданных.

В уравнении (10) сначала вычисляют насыщенность S пикселей и используют в качестве маски для адаптивного отображения гаммы. Это предотвращает влияние на близкие к нейтральным цвета, при этом на высоконасыщенные цвета оказывается наибольшее влияние. Интенсивность цветов регулируется согласно как их насыщенности, так и интенсивности с использованием некоторой величины α. Подобным образом, насыщенность регулируется согласно насыщенности и с использованием другой величины β. Путем определения весовых коэффициентов между этими двумя направлениями можно контролировать стратегию отображения цветового объема для улучшения точности передачи цвета и уменьшения цветовых артефактов в выходном изображении. Наибольшее регулирование применяется к ярким, насыщенным цветам. В варианте осуществления типичные значения этих весовых коэффициентов находятся в диапазоне от 5 до 15. В варианте осуществления уравнение (10) может также включать операции отсечения, вследствие которых значения и никогда не являются отрицательными и равными нулю.

В другом варианте осуществления уравнения (10) могут быть обобщены следующим образом:

,

, (10а)

,

где и обозначают очень общие линейную или нелинейную функции S. Например, для и = , уравнение (10a) становится уравнением (10). Уравнения (10a), в свою очередь, могут также быть дополнительно обобщены в отношении функций совместного отображения следующим образом:

,

, (10b)

.

Преимущество уравнений (10) и (10a) в сравнении с обобщенным подходом (10b) заключается в том, что отображения выражены как уравнения с разделяемыми переменными, что упрощает требования к обработке.

Сохранение детализации

Оператор отображения тона по уравнению (4), как правило, относится к глобальному оператору тонального отображения, поскольку подобное уравнение применяется ко всему изображению или кадру. В варианте осуществления глобальное тональное отображение может сопровождаться оператором (125) сохранения детализации, который улучшает локальный контраст. На этом этапе также восстанавливается высокочастотная детализация в канале интенсивности, потерянная из-за операции отображения тона. Примеры таких операторов отображения локального тона описаны в патенте ‘480 и заявке ‘304. На фиг. 4 показан другой пример сохранения детализации согласно варианту осуществления. При заданных входных сигналах I_o (302), I_m (314), и первоначальных метаданных (104), в результате процесса (125) генерируется фильтрованное изображение I_mf (127) интенсивности согласно следующим этапам.

Пусть W_MSE и W_MS обозначают регулируемые весовые коэффициенты (например, W_MS = 1, W_MSE = 4), которые могут быть извлечены из первоначальных метаданных. Эти весовые коэффициенты контролируют значение сохранения детализации, которое необходимо использовать. Как показано на фиг. 4, пусть

, (11)

, (12)

где F(D,H) обозначает применение к изображению D фильтра с ядром H. В приведенном в качестве примера варианте осуществления H содержит сепарабельный фильтр Гаусса 5x11 с σ = 2; впрочем, также могут быть применены альтернативные фильтры.

Фильтры Hx и Hy являются 1-D фильтрами выделения границ. В варианте осуществления ядра фильтра для Hx и Hy соответствуют [-1 0 1] и [-1 0 1]^T, соответственно. Следовательно, при условии, что

,

, (13)

.

В некотором варианте осуществления функция (420) ограничения может также быть применена к E для обеспечения того, что его значение всегда находится в диапазоне от 0 до 1. Например,

.

Тогда

. (14)

Конвертирование выходного цвета

На фиг. 5 показан приведенный в качестве примера процесс (135) конвертирования цвета для перевода отображенного EDR-сигнала V_M (который содержит компоненты I_m, P_m, T_m или I_mf, P_m, T_m) из перцепционно квантованного цветового пространства (например, IPT-PQ) обратно в требуемое цветовое пространство (например, RGB или YCbCr). В этом процессе зеркально отражены этапы обработки в конвертере (110) входного цвета, выполняемые теперь в обратном порядке. Как показано на фиг. 5, конвертирование цвета может включать следующие этапы:

a) Этап (505): Конвертирование отображенного сигнала V_M из пространства IPT-PQ в пространство LMS-PQ, применяя преобразование 3x3 IPT в LMS.

b) Этап (510): Конвертирование LMS-PQ-сигнала (507) из пространства LMS-PQ в пространство LMS. Этот этап вычисляют, применяя уравнение из таблицы 1. В варианте осуществления этот этап может быть выполнен с применением трех 1-D LUT.

c) Этап (515): Конвертирование LMS-сигнала (512) в цвет (например, RGB) (517) целевого дисплея, как правило, выполняемое с применением матрицы 3x3, основанной на профиле целевого дисплея.

d) Этап (520): Применение EOTF дисплея (например, гамма-кодирования или PQ-кодирования) к сигналу (517) для генерирования выходного сигнала (522).

e) Этап (525): В случае необходимости, применение дополнительной пост-обработки (например, конвертирования цвета и цветовой субдискретизации).

Этот этап исключительно колориметрический, из чего следует, что параметры выведены из результатов измерений или известных характеристик дисплея, и, как правило, нет необходимости в настройке или субъективной модификации. После этапа (520) некоторые величины могут находиться вне пределов возможностей целевого дисплея. В этом случае, рекомендуемой практикой является отсечение до возможностей дисплея; тем не менее, также можно попытаться отрегулировать весовые коэффициенты отображения цветового объема (например, α и β) для достижения необходимого выходного сигнала.

Как отмечено автором изобретения, предложенный алгоритм (100) управления отображением предоставляет ряд заметных преимуществ перед предыдущими решениями, включая:

• Адаптивное отображение тона

• Адаптивное отображение гаммы

• Более высокая точность выходного цвета благодаря регулируемым весовым коэффициентам, относящимся к цветности

• Более простое в плане вычислений, но улучшенное сохранение детализации

• Адаптивные регулирования (например, для яркости и контраста), основанные на окружающих условиях просмотра целевого дисплея (таких как характеристики окружающего света или предпочтения зрителя).

Приведенная в качестве примера реализация компьютерной системы

Варианты осуществления настоящего изобретения могут быть реализованы посредством компьютерной системы, систем, включенных в конфигурацию электронной схемы и компонентов, устройства на интегральной схеме (IC), такого как микроконтроллер, программируемой пользователем вентильной матрицы (FPGA) или другого конфигурируемого или программируемого логического устройства (PLD), процессора (DSP) обработки цифровых или дискретных сигналов, специализированной IC (ASIC) и/или устройства, которое содержит одну или более таких систем, приборов или компонентов. Компьютер и/или IC может выполнять, управлять или исполнять команды, относящиеся к управлению отображением и отображению изображений с увеличенным динамическим диапазоном, таких как описанные в настоящем документе. Компьютер и/или IC может вычислять любые различные параметры или значения, которые относятся к процессам управления отображением, описанным в настоящем документе. Варианты осуществления изображения и видеоизображения могут быть реализованы в аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении и различных их комбинациях.

Определенные реализации изобретения включают компьютерные процессоры, которые исполняют команды программного обеспечения, вызывающие выполнение процессорами способа согласно изобретению. Например, один или более процессоров в дисплее, кодирующем устройстве, телевизионной приставке, транскодере или тому подобном могут реализовать способы, относящиеся к управлению отображением EDR-изображений, как описано выше, посредством исполнения команд программного обеспечения в программной памяти, доступной для процессоров. Изобретение также может быть представлено в форме программного продукта. Программный продукт может содержать любой постоянный носитель, который содержит набор машиночитаемых сигналов, содержащих команды, которые при исполнении процессором данных вызывают исполнение процессором данных способа согласно изобретению. Программные продукты согласно изобретению могут иметь любую форму из широкого разнообразия форм. Программный продукт может содержать, например, физические носители, такие как магнитные носители данных, включая гибкие диски, жесткие диски, оптические носители данных, включая диски CD-ROM и DVD, электронные носители данных, включая ROM, флеш-память RAM или тому подобное. Машиночитаемые сигналы программного продукта необязательно могут быть сжатыми или зашифрованными.

Если компонент (например, программный модуль, процессор, узел, устройство, схема и т. д.) относится к вышеизложенному, если не указано иное, ссылка на данный компонент (включая ссылку на «средства») должна интерпретироваться в качестве включающей эквиваленты любого компонента данного компонента, который выполняет функцию описанного компонента (например, который является функционально эквивалентным), включая компоненты, которые не являются структурно эквивалентными относительно описанной структуры, которая выполняет указанную функцию в проиллюстрированных приведенных в качестве примера вариантах осуществления изобретения.

Эквиваленты, дополнения, альтернативы и прочее

Таким образом, описаны приведенные в качестве примера варианты осуществления, которые относятся к эффективному управлению отображением EDR-изображений. В вышеизложенном описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут отличаться от реализации к реализации. Таким образом, единственным и исключительным показателем того, чем является изобретение, и, того, чем является изобретение по мнению заявителей, является формула изобретения, которая вытекает из данной заявки в конкретной форме, в которой представлена данная формула изобретения, включая любое последующее исправление. Любые определения, изложенные в настоящем документе в прямой форме для терминов, содержащихся в данной формуле изобретения, должны обуславливать значение, в котором данные термины используются в формуле изобретения. Следовательно, никакое ограничение, элемент, свойство, признак, преимущество или атрибут, который не изложен в прямой форме в формуле изобретения, не должен никоим образом ограничивать объем данной формулы изобретения. Соответственно, описание и графические материалы, следует рассматривать в иллюстративном, а не в ограничивающем смысле.

Изобретение относится к области управления отображением изображений. Технический результат – повышение эффективности управления отображением изображений с увеличенным динамическим диапазоном. Способ обработки изображения с управлением отображением изображения включает: получение доступа к входному изображению в первом цветовом пространстве с первым динамическим диапазоном; применение этапа преобразования цвета для определения первого выходного изображения в перцепционно квантованном цветовом пространстве IPT (IPT-PQ); применение функции отображения цветового объема к первому выходному изображению для генерирования тонально отображенного выходного изображения, причем функция отображения цветового объема содержит функцию отображения тона, функцию отображения насыщенности и функцию оценивания насыщенности пикселей; и применение функции сохранения детализации к измененным пиксельным значениям интенсивности тонально отображенного выходного изображения для генерирования пиксельных значений интенсивности фильтрованного тонально отображенного выходного изображения, содержащего измененные пиксельные значения компонентов цветности тонально отображенного выходного изображения. 3 н. и 14 з.п. ф-лы, 5 ил.

1. Способ обработки изображения с управлением отображением изображения, включающий:

получение доступа к входному изображению (102) в первом цветовом пространстве с первым динамическим диапазоном;

применение этапа (110) преобразования цвета к входному изображению (102) для определения первого выходного изображения (112) в перцепционно квантованном цветовом пространстве IPT (IPT-PQ), причем первое выходное изображение (112) содержит пиксельные значения (302) интенсивности и пиксельные значения (304) компонентов цветности, причем этап (110) преобразования цвета включает применение нелинейной функции перцепционного квантователя к функции входного изображения (102);

применение функции (115) отображения цветового объема к первому выходному изображению (112) для генерирования тонально отображенного выходного изображения, причем тонально отображенное выходное изображение содержит пиксельные значения (314) интенсивности и пиксельные значения (327) компонентов цветности,

причем функция (115) отображения цветового объема содержит функцию (310) отображения тона, функцию (320) отображения насыщенности и функцию (330) оценивания насыщенности пикселей,

причем функция (310) отображения тона генерирует пиксельные значения (314) интенсивности тонально отображенного выходного изображения посредством применения нелинейного отображения к пиксельным значениям (302) интенсивности первого выходного изображения (112),

причем функция (320) отображения насыщенности генерирует пиксельные значения (327) компонентов цветности тонально отображенного выходного изображения посредством регулирования пиксельных значений (302) интенсивности первого выходного изображения (112) на основании изменений в интенсивности,

причем функция (330) оценивания насыщенности пикселей вычисляет меру насыщенности (S) как сумму квадратов пиксельных значений (304) компонентов цветности первого выходного изображения (112), причем меру насыщенности применяют к тонально отображенному выходному изображению, чтобы затемнить яркие насыщенные цвета и уменьшить насыщенность высоконасыщенных цветов, таким образом, изменяя пиксельные значения (314) интенсивности и пиксельные значения (327) компонентов цветности; и

применение функции (125) сохранения детализации к измененным пиксельным значениям (314) интенсивности тонально отображенного выходного изображения для генерирования пиксельных значений (127) интенсивности фильтрованного тонально отображенного выходного изображения, причем фильтрованное тонально отображенное выходное изображение содержит измененные пиксельные значения (327) компонентов цветности тонально отображенного выходного изображения.

2. Способ по п. 1, отличающийся тем, что применение этапа (110) преобразования цвета дополнительно включает:

конвертирование линейного изображения (222) в изображение (227) цветового пространства LMS (система управления библиотекой); и

применение нелинейной функции перцепционного квантователя (PQ) к изображению цветового пространства LMS для генерирования первого выходного изображения (112).

3. Способ по п. 2, отличающийся тем, что нелинейная функция перцепционного квантователя предусматривает электронно-оптическую передаточную функцию отображения.

4. Способ по п. 1, отличающийся тем, что функцию (310) отображения тона выражают в виде параметризованной сигмоидальной функции тоновой кривой, причем параметры функции определяют на основе характеристик первоначального дисплея и целевого дисплея.

5. Способ по п. 4, отличающийся тем, что характеристики первоначального дисплея содержат минимальное значение яркости и максимальное значение яркости для первоначального дисплея.

6. Способ по п. 4 или 5, отличающийся тем, что характеристики целевого дисплея содержат минимальное значение яркости и максимальное значение яркости для целевого дисплея.

7. Способ по п. 4 или 5, отличающийся тем, что доступ к характеристикам первоначального дисплея получают посредством получения метаданных (104) первоначального дисплея.

8. Способ по п. 4 или 5, отличающийся тем, что сигмоидальную тоновую функцию выражают в следующем виде:

где С₁, С₂, С₃, Slope и Rolloff являются постоянными, определяющими параметры функции (310) отображения тона, и для входного сигнала I_o, представленного пиксельным значением (302) интенсивности первого выходного изображения, I_m является соответствующим выходным значением, представленным соответствующим пиксельным значением (314) интенсивности тонально отображенного выходного изображения.

9. Способ по п. 4 или 5, отличающийся тем, что дополнительно определяют параметры функции (310) отображения тона на основании значения Brightness и значения Contrast для регулирования общих яркости и контраста тонально отображенного выходного изображения.

10. Способ по любому из пп. 1-5, отличающийся тем, что функцию (320) отображения насыщенности выражают в следующем виде:

,

где I_m обозначает выходное значение функции отображения тона и I_o обозначает пиксельные значения (302) интенсивности первого выходного изображения, и

причем применение функции (115) отображения цветового объема включает вычисление:

,

,

,

где S обозначает меру насыщенности, сгенерированную функцией (330) оценивания насыщенности пикселей, α и β обозначают входные весовые коэффициенты, обозначает функцию (310) отображения тона, обозначает функцию (320) отображения насыщенности, I_o обозначает пиксельные значения (302) интенсивности первого выходного изображения, Р и Т обозначают пиксельные значения (304) компонентов цветности первого выходного изображения, I_m обозначает пиксельные значения (314) тонально отображенного выходного изображения, и P_m и T_m обозначают пиксельные значения (327) цветовых компонентов тонально отображенного выходного изображения.

11. Способ по п. 10, отличающийся тем, что значения (1-S*α) и (1-S*β) ограничивают так, чтобы они всегда были больше нуля.

12. Способ по п. 1, отличающийся тем, что применение функции (125) сохранения детализации дополнительно включает вычисление:

,

,

,

,

,

,

где F(D,H) обозначает применение к изображению D фильтра с ядром Н, I_o обозначает пиксельные значения интенсивности первого выходного изображения (302), I_m обозначает пиксельные значения (314) интенсивности тонально отображенного выходного изображения, обозначает пиксельные значения (127) интенсивности фильтрованного тонально отображенного выходного изображения, В обозначает выходной сигнал фильтра размытия, Ex обозначает выходной сигнал горизонтального фильтра выделения границ, Ey обозначает выходной сигнал вертикального фильтра выделения границ, и и являются весовыми коэффициентами.

13. Способ по п. 12, отличающийся тем, что выходное значение Е дополнительно ограничивают в диапазоне от 0 до 1.

14. Способ по п. 12 или 13, отличающийся тем, что ядро Н содержит фильтр Гаусса 5×11 со среднеквадратическим отклонением, равным 2.

15. Способ по п. 12 или 13, отличающийся тем, что ядро Н содержит фильтр низких частот.

16. Устройство для обработки изображений с управлением отображением изображения, содержащее процессор и выполненное с возможностью осуществления способа по любому из пп. 1-15.

17. Постоянный машиночитаемый носитель данных, содержащий сохраненные на нем машиновыполняемые команды для выполнения способа по любому из пп. 1-15.