СИСТЕМЫ И СПОСОБЫ ДЛЯ КОМПЕНСАЦИИ ОКРУЖАЮЩЕГО ОСВЕЩЕНИЯ С ИСПОЛЬЗОВАНИЕМ СМЕЩЕНИЯ PQ Российский патент 2024 года по МПК G09G5/10 G09G3/34 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка заявляет приоритет предварительной заявки на патент США № 63/046015, поданной 30 июня 2020 г., и европейской заявки на патент № 20183195.5, поданной 30 июня 2020 г., обе из которых включены в настоящий документ посредством ссылки во всей своей полноте.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к усовершенствованиям обработки видеосигналов. В частности это изобретение относится к обработке видеосигналов для улучшения отображения в различных ситуациях окружающего освещения.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Исходная электрооптическая передаточная функция (EOTF) для заданного дисплея характеризует взаимоотношение между цветовыми значениями (например, яркостью) входного видеосигнала и цветовыми значениями экрана вывода (например, яркостью экрана), производимыми дисплеем. Например, в рекомендациях ITU ITU-R BT. 1886, «Reference electro-optical transfer function for flat panel displays used in HDTV studio production» (март 2011 г.), которые включены в настоящий документ посредством ссылки во всей своей полноте, определена исходная EOTF для плоскопанельных дисплеев на основании измеренных характеристик электронно-лучевой трубки (CRT). Для видеопотока информация о его EOTF, как правило, встраивается в битовый поток в качестве метаданных. В контексте настоящего документа термин «метаданные» относится к любой вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру представлять декодированное изображение. Такие метаданные могут включать, но без ограничения, информацию о цветовом пространстве или гамме, параметры эталонного дисплея и параметры вспомогательного сигнала, например описанные в настоящем документе.

Большая часть потребительских настольных дисплеев в настоящее время поддерживает яркость от 200 до 300 кд/м² или нитов. Большинство потребительских HDTV имеет диапазон 300–500 нитов, причем новые модели достигают 1000 нитов. Поступающие в продажу смартфоны обычно имеют диапазон 200–600 нитов. Эти разные уровни яркости дисплея представляют проблемы при попытках отображения изображения в разных сценариях окружающего освещения, как показано на фиг. 1. Зритель 110 просматривает изображение (например, виде) на экране 120. Яркость 130 изображения может «размываться» окружающим освещением 140. Уровни яркости окружающего освещения 140 можно измерить при помощи датчика 150 в дисплее, на дисплее или рядом с дисплеем. Яркость окружающего освещения может изменяться, например, от 5 нитов в темном помещении до 200 нитов в хорошо освещенном помещении в отсутствие дневного света или до 400 нитов в помещении с непрямым естественным освещением и до более 600 нитов вне помещений. Одним решением является осуществление линейной корректировки регуляторов яркости дисплея, но это может приводить к нарушению баланса яркости дисплея.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В настоящем документе раскрыты различные системы и способы обработки видео. Некоторые такие системы и способы могут включать компенсацию изображения для сохранения его внешнего вида при изменении уровня окружающей объемной яркости. В некоторых вариантах осуществления способ может являться реализуемым с помощью вычислительного устройства. Например, способ может быть реализован, по меньшей мере частично, при помощи системы управления, содержащей один или более процессоров и один или более постоянных носителей данных.

В некоторых примерах описаны система и способ для модификации изображения с целью компенсации условий окружающего освещения вокруг дисплейного устройства, предусматривающие определение кривой PQ изображения; определение смещения PQ для кривой PQ на основе значения компенсации, определенного из условий окружающего освещения и изображения, причем смещение PQ состоит из либо сложения со значением компенсации в пространстве PQ с последующим вычитанием значения компенсации в линейном пространстве либо сложения со значением компенсации в линейном пространстве с последующим вычитанием значения компенсации в пространстве PQ; применение смещения PQ к кривой PQ с получением смещенной кривой PQ; и модификацию изображения с помощью смещенной кривой PQ.

В некоторых таких примерах способ может включать применение отображения тонов к изображению перед модификацией этого изображения. В некоторых таких примерах способ может быть выполнен при помощи программного обеспечения, программно-аппаратного обеспечения или аппаратного обеспечения и может являться частью видеодекодера.

Некоторые или все способы, описанные в настоящем документе, могут быть выполнены с помощью одного или более устройств в соответствии с командами (например, программным обеспечением), хранящимися на одном или более постоянных носителей. Такие постоянные носители могут включать запоминающие устройства, такие как описанные в настоящем документе, включая, но без ограничения, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т. д. Соответственно, различные изобретательские аспекты объекта изобретения, описанные в данном документе, могут быть реализованы в постоянном носителе, имеющем хранящееся в нем программное обеспечение. Программное обеспечение может, например, быть выполнено с возможностью исполнения посредством одного или более компонентов системы управления, таких как те, что раскрыты в настоящем документе. Программное обеспечение может, например, содержать команды для выполнения одного или более способов, раскрытых в настоящем документе.

По меньшей мере некоторые аспекты настоящего изобретения могут быть реализованы посредством аппарата или аппаратов. Например, одно или более устройств могут быть выполнены с возможностью выполнения, по меньшей мере частично, способов, раскрытых в настоящем документе. В некоторых реализациях аппарат может содержать интерфейсную систему и систему управления. Интерфейсная система может содержать один или более сетевых интерфейсов, один или более интерфейсов между системой управления и системой памяти, один или более интерфейсов между системой управления и другим устройством и/или один или более интерфейсов для внешних устройств. Система управления может содержать по меньшей мере одно из одно- или многокристального процессора общего назначения, процессора цифровой обработки сигналов (DSP), интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, схемы на дискретных компонентах или транзисторной логической схемы, или компонентов дискретного аппаратного обеспечения. Соответственно, в некоторых реализациях система управления может содержать один или более процессоров и один или более постоянных носителей данных, функционально соединенных с одним или более процессорами.

Подробности одной или более реализаций объекта изобретения, описываемого в данном описании, изложены в сопроводительных графических материалах и в приведенном ниже описании. Другие признаки, аспекты и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут быть приведены не в масштабе. Подобные ссылочные позиции и обозначения в различных графических материалах в целом указывают подобные элементы, но разные ссылочные позиции необязательно обозначают разные элементы в разных графических материалах.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

На фиг. 1 изображен пример окружающего освещения для дисплея.

На фиг. 2 изображена иллюстративная блок-схема способа компенсации окружающего освещения вокруг дисплея.

На фиг. 3 изображен иллюстративный график экспериментальных данных для квадратного корня среднего PQ изображения в зависимости от значения компенсации в разных условиях окружающего освещения.

На фиг. 4 изображен иллюстративный график подобранной линии для PQ объемной яркости в зависимости от угла наклона экспериментальных данных.

На фиг. 5 изображен иллюстративный график подобранной линии для PQ объемной яркости в зависимости от точки пересечения экспериментальных данных с осью y.

На фиг. 6 изображена иллюстративная кривая компенсации с использованием смещения PQ.

На фиг. 7 изображена иллюстративная кривая компенсации с использованием смещения PQ, приспособленная для уменьшения подсветки.

На фиг. 8 изображена иллюстративная кривая компенсации с использованием смещения PQ со сглаживанием, добавленным во избежание искажений.

На фиг. 9A и 9B изображена иллюстративная кривая компенсации с использованием смещения PQ с фиксатором, установленным ниже зрительного порога.

На фиг. 10 изображена иллюстративная кривая компенсации с использованием смещения PQ с перенормировкой.

На фиг. 11 изображена иллюстративная кривая компенсации с использованием смещения PQ, скорректированная с учетом отражений.

ПОДРОБНОЕ ОПИСАНИЕ

Термин «PQ», используемый в настоящем документе, относится к перцепционному квантованию амплитуды яркости. Зрительная система человека реагирует на увеличение уровней освещенности очень нелинейным образом. Термин «пространство PQ», используемый в настоящем документе, относится к нелинейному преобразованию амплитуд линейной яркости в нелинейные амплитуды яркости PQ. BT. 2100. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственных частот, формирующих стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент, в который человек видит стимул. В одном примере функция перцепционного квантователя преобразует линейные входные уровни серого в выходные уровни серого, которые лучше соответствуют пороговым значениям контрастной чувствительности в зрительной системе человека. Примеры функций преобразования PQ (или EOTF) описаны в SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», где предоставлен фиксированный размер стимула для каждого уровня яркости (т.е. уровня стимула), причем шаг минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с моделями HVS). По сравнению с традиционной гамма-кривой, которая представляет характеристическую кривую физического устройства на электронно-лучевой трубке (CRT) и в то же время может иметь очень грубое сходство со способом реагирования зрительной системы человека, кривая PQ имитирует настоящую визуальную реакцию зрительной системы человека с использованием относительно простой функциональной модели.

Решение задачи корректировки яркости дисплея для приспособления к условиям окружающего освещения описано в настоящем документе путем применения к изображению компенсации в виде смещения в PQ. На фиг. 2 показан иллюстративный способ применения компенсации к изображению на дисплее.

Для получения данных измерений яркости окружающего освещения из области, окружающей дисплей, берутся данные 210 датчиков. Данные датчиков могут быть взяты из одного или более датчиков яркости, причем датчик содержит фоточувствительные элементы, такие как фоторезисторы, фотодиоды и фототранзисторы. Эти данные датчиков затем используются для вычисления PQ 220 объемной яркости, которое можно обозначить S. Это вычисление, как и в случае всех вычислений, описанных в настоящем документе, может выполняться локально по отношению к дисплею, например на процессоре или вычислительном устройстве, находящемся в дисплее или соединенном с ним, или оно может выполняться на удаленном устройстве или сервере, которые доставляют изображение в устройство.

Для PQ окружающей яркости, S, можно вычислить два промежуточных значения (в настоящем документе M и B), зависящих от S. В одном примере М и В вычисляются по следующим уравнениям:

где a, b, c, d и e являются константами. В этом примере M является линейной функцией от S, тогда как B является квадратической функцией от S. Константы можно определить экспериментально, как показано в настоящем документе.

Изображение 240 может быть проанализировано на диапазон яркости (например, значения компоненты яркость), который оно содержит. Изображение может представлять собой кадр видео. Изображение может представлять собой ключевой кадр видеопотока. На основе этих данных яркости можно определить 250 среднее PQ для изображения в целом. Среднее PQ может представлять среднюю яркость изображения. В одном примере вычисления среднего PQ берется среднее максимальных значений каждой компоненты (например, R, G и B) изображения, подвергнутого понижающей дискретизации. Другой пример вычисления среднего PQ представляет собой усреднение значений Y изображения в цветовом пространстве YC_BC_R. Это среднее значение PQ можно обозначить как X. Среднее PQ, минимальное и максимальное значения могут быть вычислены на стороне кодера и предоставлены в виде метаданных, или они могут быть вычислены на стороне декодера.

Исходя из вычисленных значений 230 M и B и вычисленного значения 250 X, можно вычислить 260 значение компенсации. Это значение компенсации можно обозначить как C и вычислить по уравнению:

, уравнение 3

В этом примере квадратный корень X используется поскольку это делает возможной линейную зависимость для экспериментальных данных. Можно выполнить вычисление C из X, но оно приводит к более сложной функции. Сохранение функции линейной обеспечивает возможность более простого вычисления, в частности, если оно реализуется в аппаратном обеспечении, а не программном обеспечении.

Затем значение компенсации C можно использовать на этапе 270 для модификации изображения при помощи смещенной кривой PQ. Смещение PQ можно выразить уравнением:

, уравнение 4

где PQout является результирующим PQ после смещения, PQin является исходным значением PQ, L2PQ( ) является функцией преобразования из линейного пространства в пространство PQ, PQ2L( ) является функцией преобразования из пространства PQ в линейное пространство, и C является значением компенсации (для заданных значений X рассматриваемого изображения, а также M и B для измеренного окружающего освещения). Преобразования между линейным пространством и пространством PQ известны в данной области техники, например, как описано в ITU-R BT.2100, «Image parameter values for high dynamic range television for use in production and international programme exchange». Поэтому уравнение 4 представляет сложение в пространстве PQ и вычитание в линейном пространстве. Скомпенсированное (модифицированное) изображение 280 затем представляется на дисплее. Компенсация может происходить после отображения тонов в пространстве с отделенной компонентой цветность, таком как IC_TC_P, YC_BC_R, и т.д. Обработку можно осуществлять в отношении компоненты яркость (например, I), но для сохранения замысла содержимого также могут быть полезны цветовые корректировки. Компенсация может также происходить после отображения тонов в других цветовых пространствах, таких как RGB, где компенсация применяется в каждому каналу по отдельности.

Способ обеспечивает такую компенсацию в отношении изображения, что в условиях высокой окружающей объемной яркости (например, вне помещений при естественном освещении) оно совпадает по внешнему виду с тем, каким оно было бы в идеальных окружающих условиях (например, в очень темном помещении). Примером идеальных целевых окружающих условий является яркость 5 нитов (кд/м²). Для обеспечения того, что мелкие детали останутся видимыми, увеличивается контраст темных мелких деталей. Способ обеспечивает компенсацию изображения, например, для условий окружающей объемной яркости, более ярких, чем эталонное значение. Эталонное значение может представлять собой конкретное значение или диапазон значений.

В другом варианте осуществления компенсация изменяется на обратную для обеспечения возможности компенсации условий окружающего освещения, которые являются более темными, чем идеальные. Такая компенсация предназначена для условий окружающей объемной яркости, которые являются более темными, чем эталонное значение. Например, если изображение изначально предназначено для просмотра в ярко освещенном помещении, компенсацию можно установить так, что оно будет иметь правильный внешний в вид в темном помещении. Для этого варианта осуществления порядок операций изменяется на обратный и предусматривает сложение в линейном пространстве и вычитание в пространстве PQ, как показано в следующем уравнении:

, уравнение 5

В одном варианте осуществления значение компенсации C определяют экспериментально путем субъективного определения значений компенсации для различных значений освещения изображения в разных условиях окружающего освещения. Одним из примеров является получение данных путем психовизуального эксперимента, в котором наблюдатели субъективно выбирают соответствующую величину компенсации для разных изображений на разных уровнях объемной яркости. Пример данных этого типа показан на фиг. 3. На графике показаны точки 310 данных значений квадратного корня среднего PQ изображения, нанесенные на график в зависимости от субъективно выбранных значений компенсации для пяти разных условий окружающего освещения (в данном случае 22, 42, 77, 139 и 245 нитов; в диапазоне от условий темного помещения до условий хорошей освещенности). Исходя из этих точек 310 можно подобрать линии 320 тренда для точек данных в каждом из условий окружающего освещения. Так как используются квадратные корни средних значений изображения, эти точки проще подбирать с помощью линейной регрессии. Изображения с яркими средними точками PQ в темных окружающих условиях будут содержать точки 330 данных, достигающие нижнего предела при нулевой компенсации. Эти точки будут приводить к неверному наклону линии тренда, поэтому при подборе они не учитываются.

Исходя из этих линий 320 можно определить два полезных значения: угол наклона линии, ΔCompensation/Δsqrt(ImageMid) и точку пересечения с осью y, причем значение компенсации при sqrt(ImageMid)=0, где sqrt(x) обозначает квадратный корень x, например . Эти углы наклона и точки пересечения с осью y можно также подобрать для дополнительных функций, как показано на фиг. 4 и фиг. 5.

На фиг. 4 показан пример подбора линии 410 (линейная регрессия) для углов наклона линий зависимости компенсации от sqrt(ImageMid) (например, как показано на фиг. 3) в зависимости от PQ объемной (окружающей) яркости. В некоторых вариантах осуществления при подборе добавляют дополнительную точку 420 данных, для того чтобы угол наклона и PQ объемной яркости приводили к нулевой компенсации для эталонной (идеальной) объемной яркости. Исходя из этого подбора можно найти функцию от M в отношении объемной яркости S для использования в уравнении 1 (см. фиг. 2). Это позволяет выполнить вычисление значений компенсации a и b для уравнения 1 (a представляет собой угол наклона этой подобранной линии, и b представляет собой точку пересечения этой подобранной линии с осью у). Эти значения можно затем подставить в уравнение 1 совместно с измеренной объемной яркостью S с целью определения значения M для данной объемной яркости (например, 5 нитов).

На фиг. 5 показан пример подбора кривой 510 (многочлен второго порядка) для точек пересечения линий зависимости компенсации от sqrt(ImageMid) с осью y (например, как показано на фиг. 3) в зависимости от PQ объемной (окружающей) яркости. В некоторых вариантах осуществления при подборе добавляют дополнительную точку 520 данных, для того чтобы точка пересечения с осью y и PQ объемной яркости приводили к нулевой компенсации для эталонной (идеальной) объемной яркости.

На фиг. 6 показано иллюстративное смещение PQ (корректировка PQ объемной яркости), полученное при помощи уравнения 4. Три черных круга представляют минимум 610, среднюю точку 620 и максимум 630 изображения после того, как произошло отображение тонов. Сплошная линия 640 представляет собой корректировку с использованием способа смещения PQ со значением компенсации 0,3 (вычислено по уравнению 4). Штриховая линия 650 представляет значения в отсутствие компенсации. Минимум 610 изображения расположен при приблизительно [0,01, 0,21]. Изображение не предусматривает содержимое ниже этого уровня, поэтому в данном примере изображение может являться чрезмерно ярким.

В некоторых вариантах осуществления эту проблему чрезмерной яркости можно преодолеть путем выполнения дополнительного смещения кривой PQ. Этой компенсации можно достичь путем смещения значений PQ на основе минимального значения пикселя изображения после отображения тонов, для того чтобы усиление контраста поддерживалось только там, где расположены эти пиксели, и искажение в виде чрезмерной яркости сводилось к минимуму. Пример этого показан на фиг. 7, где кривая 640 согласно фиг. 6 была смещена для получения новой кривой 740, на которой точка 710 минимума скорректирована до нулевой компенсации 650 (PQin = PQout), а другие значения, в том числе средняя точка 720 и максимум 730, скорректированы соответственно исходя из этого смещения.

В некоторых вариантах осуществления дополнительную корректировку кривой компенсации PQ можно осуществить для предотвращения искажений в виде полосатости, вызываемых резким отсечением при минимальном значении. Сглаживание можно реализовать при помощи кубической свертки входных точек в пределах некоторого небольшого значения (например, 36/4,096) минимального PQ изображения (TminPQ). Это значение можно найти путем экспериментального определения того, каким является наименьшее значение, которое уменьшает искажения в виде полосатости. Это значение может быть выбрано произвольно, например, путем визуализации сглаживания и определения того, какое значение обеспечивает плавный переход в точку нулевой компенсации.

На фиг. 8 показан пример использования сглаживания для предотвращения полосатости. Исходная кривая 840 компенсации характеризуется резким переходом 845 на пересечении с линией 650 нулевой компенсации. Начальное и конечное сглаживание выполняется от минимального PQ изображения (которое в данном примере находится на пересечении 845, как показано, например, на фиг. 7) до точки с приращением на некоторое небольшое значение выше минимального PQ (например, TminPQ+36/4096).

Сглаживание может представлять собой кубическую возрастающую функцию, которая возвращает значения от 0 до 1, где 0 возвращается в случае близости к минимальному PQ, и 1 возвращается при приращенном значении. Иллюстративный алгоритм в (MATLAB) является следующим: когда, в одном варианте осуществления и без ограничения, cubicEase( ) представляет собой монотонно возрастающую сигмовидную функцию для входных значений PQ от TminPQ до TminPQ+36/4096 и с выходным значением «alpha» в диапазоне [0,1]:

PQout = L2PQ(PQ2L(PQin + C) – PQ2L(C)) [из уравнения 4]

k3 = PQin >= TminPQ & PQin < TminPQ+36/4096; [булев индекс, одинаковый индекс, используемый для PQin и PQout]

alpha = cubicEase(PQin(k3), TminPQ, TminPQ+36/4096,0,1);

PQout(k3) = (1-alpha) .* PQin(k3) + alpha .* PQout(k3)

В контексте настоящего документа термин «сглаживание» относится к функции, которая применяет к данным нелинейную функцию, так что применяется преобразование/интерполяция Безье или сплайновое преобразование/сплайновая интерполяция (изменяется кривизна нанесенных на график данных). «Начальное сглаживание» относится к преобразованию вблизи начала данных (вблизи нуля), а «конечное сглаживание» относится к преобразованию вблизи конца данных (вблизи максимального значения). «Начальное и конечное» относится к преобразованиям вблизи как начала, так и конца данных. Конкретный алгоритм преобразования зависит от типа сглаживания. В данной области техники известно несколько функций сглаживания. Например, кубическое начальное и конечное сглаживание, синусоидальное начальное и конечное сглаживание, квадратическое начальное и конечное сглаживание и др. Сглаживание применяется как в начале, так и в конце кривой для предотвращения резких переходов.

В некоторых вариантах осуществления компенсация может являться фиксированной так, что она не применяется ниже порогового значения PQ для предотвращения излишнего растягивания темных мелких деталей, которые могли быть невидимыми в ситуации идеального объемного освещения (например, окружающего освещения с яркостью 5 нитов). Пороговое значение PQ может быть определено экспериментально путем определения того, в какой точке зритель не сможет определить мелкие детали в идеальных условиях (например, при окружающем освещении с яркостью 5 нитов, при просмотре на расстоянии, равном утроенной высоте изображения). Для этих вариантов осуществления смещение PQ (уравнение 4) неприменимо ниже этого порогового PQ (для PQin). Один пример этого показан на фиг. 9A и 9B. На фиг. 9A показан график компенсации 910 PQ (как показано на фиг. 6) и компенсации PQ с корректировкой 920 чрезмерной яркости (как показано на фиг. 7), при этом линии показывают порог 930 PQ, ниже которого мелкие детали не были бы различимы в идеальных условиях. На фиг. 9B показан график, представленный на фиг. 9A, увеличенный по сравнению с оригиналом. Данная процедура происходит после отображения тонов и может являться важной для дисплеев с низкими уровнями черного, таких как дисплеи OLED.

В некоторых вариантах осуществления компенсация может являться фиксированной так, что она имеет максимальное значение, например, 0,55. Это можно осуществить в присутствии или в отсутствие вышеописанной фиксации порога PQ. Фиксация максимального значения может быть полезна для аппаратной реализации. Ниже приведен пример кода MATLAB для демонстрации иллюстративного алгоритма фиксации максимального значения при 0,55, где компенсация окружающего освещения подлежит применению на основе целевой окружающей объемной яркости в PQ (Surr) и исходного среднего значения изображения (L1Mid). A, B, C, D и E являются значениями, экспериментально полученными для a, b, c, d, e, как показано выше в уравнениях 1 и 2:

function Comp = CalcAmbientComp(Surr, L1Mid)

%Clamp source surround

Surr = max(L2PQ(5),min(1,Surr));

%Calculate compensation

offset5Nit = (A*L2PQ(5) + B) * (sqrt(L1Mid))...

+ C*L2PQ(5)^2 - D*L2PQ(5) + E;

Comp = (A*Surr + B) * (sqrt(L1Mid))...

+ C*Surr^∧2 - D*Surr + E - offset5Nit;

%Clamp

Comp = max(0,min(0.55,Comp));

End

В некоторых вариантах осуществления кривую компенсации PQ можно упростить так, что она является линейной выше некоторой точки PQin. Например, компенсацию можно вычислить как линейную выше PQ, равного 0,5 (из общего диапазона [0 1]), путем предоставления следующего иллюстративного алгоритма:

для PQin < 0,5, ; и уравнение 6

для PQin ≥ 0,5, , уравнение 7

Это упрощение выше указанной некоторой точки PQ является полезным для аппаратных реализаций способа.

В некоторых случаях компенсация окружающего освещения может выводить некоторые пиксели за пределы диапазона целевого дисплея. В некоторых вариантах осуществления для компенсации этого и перенормировки изображения в правильном диапазоне может дополнительно применяться кривая скругления. Это можно осуществить путем использования кривой отображения тонов совместно с исходными метаданными (например, метаданными, описывающими минимальную, среднюю (или в средней точке) и максимальную яркость). Без ограничения, примеры кривых отображения тонов описаны в патентах США 10600166 и 8593480, которые оба включены в настоящий документ посредством ссылки во всей своей полноте. Берут результирующие минимальное значение, значение в средней точке и максимальное значение изображения с отображением тонов (перед применением компенсации окружающего освещения, например по уравнению 4), применяют компенсацию окружающего освещения к этим значениям, а затем отображают результирующее изображение на целевом дисплее с использованием методики отображения тонов. См., например, опубликованную заявку на патент США №2019/0304379, которая включена в настоящий документ посредством ссылки во всей своей полноте. Пример кривой скругления показан на фиг. 10. Основными признаками данного скругления является то, что точки минимума 1010 и максимума 1020 остаются в пределах диапазона целевого дисплея. Результатом является то, что более яркие изображения 1030 будут характеризоваться меньшим сглаживанием подсветки (негативно сказывающимся на усилении контраста между темными/промежуточными частями), а более темные изображения 1040 будут характеризоваться большим усилением темных мелких деталей (негативно сказывающимся на подсветке мелких деталей) вследствие характеристик динамического отображения тонов данной тоновой кривой.

В некоторых вариантах осуществления дополнительную компенсацию можно осуществить для компенсации отражений от экрана дисплея. В некоторых вариантах осуществления количество света, отраженного от экрана, можно оценить на основании значения датчика с использованием характеристики отражения экрана, как следует из уравнения 8:

Свет, отраженный от экрана, можно рассматривать как линейное добавление света к изображению, по существу повышающее уровень черного дисплея. В этих вариантах осуществления отображение тонов осуществляют до более высокого уровня черного (например, до уровня отраженного света), при этом в конце вычислений тоновой кривой вычитание осуществляют в линейном пространстве для компенсации яркости, добавленной вследствие отражений. См., например, уравнение 9:

Пример тоновой кривой с компенсацией отражения показан на фиг. 11. Минимальный 1110 и максимальный 1120 уровни остаются такими же, как перед применением компенсации отражений, но контраст на нижнем конце 1130 значительно увеличивается на кривой 1140, подлежащей применению к пикселям. Добавление ожидаемого отраженного света дает наблюдаемую тоновую кривую 1150, которая является более близкой к желаемому качеству изображения.

Был описан ряд вариантов осуществления изобретения. Тем не менее, следует понять, что различные модификации могут быть выполнены без отступления от сущности и объема настоящего изобретения. Соответственно, другие варианты осуществления находятся в пределах объема представленной далее формулы изобретения.

Как описано в настоящем документе, вариант осуществления настоящего изобретения может, таким образом, относиться к одному или более иллюстративным вариантам осуществления, которые перечислены ниже. Соответственно, изобретение может осуществляться в любой из форм, описанных в настоящем документе, в том числе, но без ограничения, в качестве нижеследующих пронумерованных иллюстративных вариантов осуществления (ЕЕЕ), которые описывают конструкцию, признаки и функции некоторых частей настоящего изобретения.

ЕЕЕ1. Способ модификации изображения для компенсации условий окружающего освещения вокруг дисплейного устройства, причем способ включает: определение данных перцепционного квантования амплитуды яркости (PQ) изображения; определение смещения PQ для данных PQ на основе значения компенсации, определенного из условий окружающего освещения и изображения, причем смещение PQ состоит из или сложения со значением компенсации в пространстве PQ с последующим вычитанием значения компенсации в линейном пространстве, или сложения со значением компенсации в линейном пространстве с последующим вычитанием значения компенсации в пространстве PQ; применение смещения PQ к изображению для модификации данных PQ изображения.

ЕЕЕ2. Способ, изложенный в пронумерованном иллюстративном варианте осуществления 1, дополнительно включает: применение отображения тонов к изображению перед применением смещения PQ.

ЕЕЕ3. Способ, изложенный в пронумерованном иллюстративном варианте осуществления 1 или 2, в котором значение компенсации вычисляется как C=M√X+B, где C является значением компенсации, M является функцией от значений объемной яркости, X является средним значением PQ изображения, и B является функцией от значений объемной яркости.

ЕЕЕ4. Способ, изложенный в пронумерованном иллюстративном варианте осуществления 3, в котором функции М и В получены из экспериментальных данных, полученных из субъективных перцепционных оценок значений компенсации PQ изображения в разных условиях окружающего освещения.

ЕЕЕ5. Способ, изложенный в пронумерованном иллюстративном варианте осуществления 3 или 4, в котором М является линейной функцией от значений объемной яркости, и В является квадратической функцией от значений объемной яркости.

ЕЕЕ6. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–5, который дополнительно включает применение дополнительного смещения PQ к изображению, причем дополнительное смещение PQ корректирует изображение так, что минимальное значение пикселя характеризуется значением компенсации, равным нулю.

ЕЕЕ7. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–6, который дополнительно включает применение сглаживания к смещению PQ.

ЕЕЕ8. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–7, который дополнительно включает фиксацию смещения PQ так, что оно не применяется ниже порогового значения.

ЕЕЕ9. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–8, в котором выше заданного PQ смещение PQ вычисляется как линейная функция.

ЕЕЕ10. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–9, который дополнительно включает применение кривой скругления к изображению.

ЕЕЕ11. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–10, который дополнительно включает вычитание значения компенсации отражения из данных PQ в линейном пространстве в конце вычисления тоновой кривой, что обеспечивает компенсацию ожидаемых отражений от экрана на дисплейном устройстве.

ЕЕЕ12. Способ, изложенный в пронумерованном иллюстративном варианте осуществления 11, в котором значение компенсации отражения зависит от значения объемной яркости устройства.

ЕЕЕ13. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–12, в котором применение смещения PQ выполняется в аппаратном обеспечении или программно-аппаратном обеспечении.

ЕЕЕ14. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–12, в котором применение смещения PQ выполняется в программном обеспечении.

ЕЕЕ15. Способ, изложенный в любом из пронумерованных иллюстративных вариантов осуществления 1–14, в котором условия окружающего освещения определяются при помощи датчика в дисплейном устройстве, на дисплейном устройстве или вблизи дисплейного устройства.

EEE16. Видеодекодер, содержащий аппаратное обеспечение или программное обеспечение, или и то, и другое, выполненные с возможностью осуществления способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–12.

EEE17. Постоянный машиночитаемый носитель, содержащий хранящиеся на нем программные команды, которые при исполнении процессором вызывают выполнение способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–12.

EEE18. Система, которая содержит по меньшей мере один процессор, выполненный с возможностью выполнения способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–12.

Настоящее изобретение направлено на определенные реализации в целях описания некоторых изобретательских аспектов, описанных в настоящем документе, а также примеров контекстов, в которых могут применяться эти изобретательские аспекты. Однако описанные в настоящем документе идеи могут применяться другими различными способами. Более того, описанные варианты осуществления могут быть реализованы в различных вариантах аппаратного обеспечения, программного обеспечения, программно-аппаратного обеспечения и т.д. Например, аспекты настоящего изобретения могут быть воплощены, по меньшей мере частично, в аппарате, системе, которая содержит более одного устройства, способе, компьютерном программном продукте и т.д. Соответственно, аспекты настоящего изобретения могут принимать форму аппаратного варианта осуществления, программного варианта осуществления (включая программно-аппаратное обеспечение, резидентное программное обеспечение, микрокоды и т.д.) и/или варианта осуществления, объединяющего как программные, так и аппаратные аспекты. Такие варианты осуществления могут называться в настоящем документе «схемой», «модулем», «устройством», «аппаратом» или «механическим устройством». Некоторые аспекты настоящего изобретения могут принимать форму компьютерного программного продукта, который воплощен в одном или более постоянных носителях, имеющих воплощенный на них машиночитаемый программный код. Такие постоянные носители могут, например, включать жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флеш-память), постоянное запоминающее устройство в виде портативного компактного диска (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любую подходящую комбинацию указанного выше. Соответственно, идеи этого изобретения не подразумеваются как ограниченные реализациями, показанными на фигурах и/или описанными в настоящем документе, но вместо этого имеют широкую применимость.

Изобретение относится к вычислительной технике, а именно к способам и системам для компенсации окружающего освещения вокруг дисплеев. Технический результат заключается в повышении качества изображения в отношении яркости изображения в различных ситуациях окружающего освещения. К изображению применяют смещение кривой PQ, которое может компенсировать субоптимальные условия окружающего освещения для дисплея, причем смещение PQ представляет собой или сложение со значением компенсации в пространстве PQ с последующим вычитанием значения компенсации в линейном пространстве, или сложение со значением компенсации в линейном пространстве с последующим вычитанием значения компенсации в пространстве PQ, также выполняют дополнительные корректировки кривой PQ. 5 н. и 14 з.п. ф-лы, 11 ил.

1. Способ модификации изображения для компенсации условий окружающего освещения вокруг дисплейного устройства, причем способ включает:

определение данных перцепционного квантования амплитуды яркости (PQ) изображения;

определение смещения PQ для данных PQ на основе значения компенсации, определенного из условий окружающего освещения и изображения, причем смещение PQ состоит из или сложения со значением компенсации в пространстве PQ с последующим вычитанием значения компенсации в линейном пространстве, или сложения со значением компенсации в линейном пространстве с последующим вычитанием значения компенсации в пространстве PQ;

применение смещения PQ к изображению для модификации данных PQ изображения.

2. Способ модификации изображения для компенсации условий окружающего освещения вокруг дисплейного устройства, причем способ включает:

определение данных перцепционного квантования амплитуды яркости (PQ) изображения;

определение смещения PQ для данных PQ на основе значения компенсации, определенного из условий окружающего освещения и изображения,

при этом значение компенсации вычисляется на основе , где C является значением компенсации, M является функцией от значений объемной яркости, S, X является средним значением PQ изображения, представляющим среднюю яркость изображения, и B является функцией от значений объемной яркости, при этом M = a*S+b, и B = c*S² + d*S + e, где a, b, c, d и e являются константами;

причем смещение PQ состоит из или сложения со значением компенсации в пространстве PQ с последующим вычитанием значения компенсации в линейном пространстве, что вычисляется как PQout = L2PQ(PQ2L(PQin + C)) – PQ2L(C)) для условий окружающей объемной яркости, более ярких, чем эталонное значение, или сложения со значением компенсации в линейном пространстве с последующим вычитанием значения компенсации в пространстве PQ, что вычисляется как PQout = L2PQ(PQ2L(PQin) + PQ2L(C)) – C для условий окружающей объемной яркости, более темных, чем эталонное значение, при этом PQout является результирующим PQ после смещения, PQin является исходным значением PQ, L2PQ( ) является функцией преобразования из линейного пространства в пространство PQ, и PQ2L( ) является функцией преобразования из пространства PQ в линейное пространство;

применение смещения PQ к изображению для модификации данных PQ изображения.

3. Способ по п. 1 или 2, отличающийся тем, что дополнительно включает:

применение отображения тонов к изображению перед применением смещения PQ.

4. Способ по п. 1 или 3, отличающийся тем, что

значение компенсации вычисляется на основе , где C является значением компенсации, M является функцией от значений объемной яркости, X является средним значением PQ изображения, и B является функцией от значений объемной яркости.

5. Способ п. 4, отличающийся тем, что функции М и В получены из экспериментальных данных, полученных из субъективных перцепционных оценок значений компенсации PQ изображения в разных условиях окружающего освещения.

6. Способ по п. 4 или 5, отличающийся тем, что M является линейной функцией от значений объемной яркости, и B является квадратической функцией от значений объемной яркости.

7. Способ по любому из пп. 1–6, отличающийся тем, что дополнительно включает применение дополнительного смещения PQ к изображению, причем дополнительно смещение PQ корректирует изображение так, что минимальное значение пикселя характеризуется значением компенсации, равным нулю.

8. Способ по любому из пп. 1–7, отличающийся тем, что дополнительно включает применение сглаживания к смещению PQ.

9. Способ по любому из пп. 1–8, отличающийся тем, что дополнительно включает фиксацию смещения PQ так, что оно не применяется ниже порогового значения.

10. Способ по любому из пп. 1–9, отличающийся тем, что выше заданного PQ смещение PQ вычисляется как линейная функция.

11. Способ по любому из пп. 1–10, отличающийся тем, что дополнительно включает применение кривой скругления к изображению.

12. Способ по любому из пп. 1–11, отличающийся тем, что дополнительно включает вычитание значения компенсации отражения из данных PQ в линейном пространстве в конце вычисления тоновой кривой, что обеспечивает компенсацию ожидаемых отражений от экрана на дисплейном устройстве.

13. Способ по п. 12, отличающийся тем, что значение компенсации отражения зависит от значения объемной яркости устройства.

14. Способ по любому из пп. 1–13, отличающийся тем, что применение смещения PQ выполняется в аппаратном обеспечении или программно-аппаратном обеспечении.

15. Способ по любому из пп. 1–13, отличающийся тем, что применение смещения PQ выполняется в программном обеспечении.

16. Способ по любому из пп. 1–15, отличающийся тем, что условия окружающего освещения определяются при помощи датчика в дисплейном устройстве, на дисплейном устройстве или вблизи дисплейного устройства.

17. Видеодекодер, содержащий аппаратное обеспечение или программное обеспечение, или и то, и другое, выполненные с возможностью осуществления способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–13.

18. Постоянный машиночитаемый носитель, содержащий хранящиеся на нем программные команды, которые при исполнении процессором вызывают выполнение способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–13.

19. Система, которая содержит по меньшей мере один процессор, выполненный с возможностью выполнения способа, изложенного в любом из пронумерованных иллюстративных вариантов осуществления 1–13.