СПОСОБ ПРЕОБРАЗОВАНИЯ ВХОДНЫХ ДАННЫХ ИЗОБРАЖЕНИЯ В ВЫХОДНЫЕ ДАННЫЕ ИЗОБРАЖЕНИЯ, БЛОК ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЯ ДЛЯ ПРЕОБРАЗОВАНИЯ ВХОДНЫХ ДАННЫХ ИЗОБРАЖЕНИЯ В ВЫХОДНЫЕ ДАННЫЕ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ОТОБРАЖЕНИЯ Российский патент 2014 года по МПК G06T5/40 G09G5/00 

Область техники, к которой относится изобретение

Изобретение относится к способу преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к блоку преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к устройству обработки изображения, содержащему:

- средство приема для приема входных данных изображения,

- блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к устройству отображения, содержащему устройство обработки изображения, содержащему:

средство приема для приема входных данных изображения, блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Уровень техники

Для того чтобы дать возможность приемлемого представления изображений большого динамического диапазона (HDR) на устройстве отображения с динамическим диапазоном, который, как правило, на несколько порядков величины ниже, динамический диапазон записанных последовательностей видеокадров, обычно, сжимается посредством тональной компрессии во время получения и передачи. Динамический диапазон многих выполненных вне помещения кадров может быть таким же большим, как 12 порядков величины, тогда как большинство жидкокристаллических устройств отображения (LCD) предлагают всего лишь статический коэффициент контрастности, составляющий приблизительно 3 порядка величины. В результате, требуется сильное сжатие динамического диапазона на ранних этапах последовательности действий для получения изображения, чтобы дать возможность приемлемого представления кадра на устройстве отображения с LDR (низким динамическим диапазоном). Использование простых способов обычно имеет такой недостаток, что контрастность мелких деталей может быть подвергнута риску или даже потеряна.

Для устранения этих недостатков были разработаны более передовые адаптивные способы. В этих способах сжимаются, преимущественно, контрастности крупных деталей при сохранении контрастности мелких деталей.

Этот подход хорошо выполняется до тех пор, пока возможности системы устройства отображения остаются более или менее подобными возможностям, предусмотренным во время компрессии на ранних этапах последовательности действий для получения изображения. Однако при использовании новых систем устройств отображения с высоким динамическим диапазоном могут быть достигнуты статические коэффициенты контрастности до 6 порядков величины. Кроме того, такие системы устройств отображения могут быть способны к локальному (по времени или месту) созданию очень высокой пиковой яркости. Например, это может быть достигнуто посредством двухмерных подсветок LED с регулируемой яркостью, в которых электроэнергия, сохраненная посредством уменьшения яркости нескольких LED под темными частями изображения, может быть использована для усиления других LED под яркими областями. Было обнаружено, что расширение входных данных изображения LDR в сигнал изображения HDR зачастую дает в результате неестественный внешний вид кадра.

Сущность изобретения

Целью изобретения является обеспечение способа, блока преобразования и устройства обработки изображения с целью увеличения качества воспроизведения и обеспечения более приемлемого и естественного внешнего вида изображений.

С этой целью способ в соответствии с изобретением отличается тем, что

- входные данные изображения преобразуются, по меньшей мере, в два сигнала, причем первый сигнал обеспечивает данные о контрасте областей, а второй сигнал обеспечивает данные о деталях,

- динамический диапазон, по меньшей мере, первого сигнала является растянутым, причем динамический диапазон первого сигнала растянут в более высокой степени, чем динамический диапазон второго сигнала,

- растянутые первый и второй сигналы объединяются в выходном сигнале.

Изобретатель понимает, что проблемы проистекают из нарушения баланса между локальной контрастностью и контрастностью областей. Сохранение контрастности деталей во время компрессии динамического диапазона во время получения в сочетании с расширением всего динамического диапазона во время или перед получением результатов на устройстве отображения дает в результате повышение четкости мелких деталей относительно контрастности областей на отображаемом изображении. Данные о контрастности областей содержат относительно мало информации о пространственной частоте. Данные о деталях содержат большее количество информации о пространственной частоте.

Вследствие значительных коэффициентов расширения это дает в результате неестественный внешний вид кадра, а также может привести к нежелательному усилению аналогового и цифрового шума.

Возможным решением может являться использование во время расширения диапазона математической инверсии оператора отображения, используемого во время компрессии диапазона для восстановления исходного кадра HDR. Однако это потребовало бы знания об используемом способе компрессии, который должен быть включен во входной сигнал. Однако на практике мы зачастую должны иметь дело с устаревшим видео LDR без знания того, каким способом был сжат его динамический диапазон во время получения и кодирования. Таким образом, это «прекрасное» решение зачастую не является практичным. За исключением этого аспекта блок приема должен быть способен совпадать с различными возможными способами компрессии.

Настоящее изобретение обеспечивает более сбалансированное преобразование из LDR в HDR входных данных изображения в выходной сигнал.

Входной сигнал разбивается на первый сигнал, предоставляющий полуглобальные данные и данные об областях, и второй сигнал, предоставляющий детали. Например, первый сигнал может получаться посредством низкочастотной фильтрации входного сигнала, включающей в себя такие способы низкочастотной фильтрации, которые сохраняют характеристики среза, как, например, двунаправленная фильтрация. Второй сигнал, предоставляющий детали, может быть получен посредством, например, вычитания первого сигнала из входного сигнала данных.

По меньшей мере, первый сигнал является растянутым, то есть динамический диапазон, по меньшей мере, первого сигнала является расширенным. Два сигнала растягиваются по-разному, причем второй сигнал растягивается в меньшей степени, чем первый сигнал. Это уменьшает неестественное видимое усиление мелких деталей относительно контрастностей областей, что дает в результате более естественный внешний вид кадра. Также до некоторой степени помехи ослабляются. В предпочтительных вариантах осуществления второй сигнал не является растянутым. Если во время начальной компрессии детали были сохранены, то второй сигнал, предоставляющий информацию о деталях, не должен быть растянут. Это является относительно простым вариантом осуществления, позволяющим упростить алгоритм.

В предпочтительных вариантах осуществления динамический диапазон объединенного растянутого первого и второго сигналов ограничен посредством верхнего значения. Это верхнее значение может быть ниже максимально допустимого сигнала на устройстве отображения. Кроме того, входной сигнал изображения анализируется для идентификации групп пикселов, формирующих яркие участки изображения в изображении и в которых данные пикселов для вышеупомянутых идентифицированных групп пикселов преобразуются в третий сигнал таким образом, чтобы третий сигнал перекрывал динамический диапазон, расширяющийся выше вышеупомянутого верхнего значения до верхнего максимального значения пиксела, в котором третий сигнал соединен с соединенными растянутыми первым и вторым сигналами.

Сигнал, содержащий растянутые первый и второй сигналы, имеет динамический диапазон, который ограничен посредством верхнего значения. В предпочтительном варианте осуществления вышеупомянутое верхнее значение и до максимального значения, верхний динамический диапазон значений пикселов резервируется для отображения ярких участков изображения.

Было обнаружено, что, в особенности, для устройств отображения с очень высокой светимостью максимально достижимая интенсивность является настолько высокой, что зритель, в некотором смысле, ослепляется светом. В случаях ослабления зритель будет различать только яркие пятна или только в очень ограниченной степени и не будет способен различать более темные детали кадра. Однако в крайних случаях это может быть болезненным или даже вредным для глаз зрителя. Это предотвращается посредством ограничения диапазона, до которого растягиваются объединенные первый и второй сигналы. Однако это не обеспечивает использования возможностей устройств отображения HDR в полном объеме. В предпочтительных вариантах осуществления максимальная светимость удерживается ниже возможностей устройства с высокой светимостью. Посредством идентификации ярких частей изображения в изображении и помещении их значений пикселов в самую высокую часть динамического диапазона устройства отображения эти яркие участки изображения помещаются на первый план без ослепления зрителя, благодаря чему обеспечивается очень четкое и чистое изображение. В варианте осуществления яркие части изображения идентифицируются посредством выбора группы пикселов со значением пиксела, расположенным в диапазоне, находящемся близко или за пределами верхнего значения диапазона LDR, причем по соседству с пикселом с высоким значением пиксела, количество пикселов с высоким значением пиксела находятся ниже порогового значения, то есть для маленьких групп пикселов с высокой интенсивностью.

Яркие части изображения являются относительно малыми группами пикселов с высокой интенсивностью. Динамический диапазон устройства отображения выше верхнего значения заполняется посредством ярких частей изображения. Это демонстрирует возможность обеспечения высококачественного изображения, в котором, с одной стороны, детали неестественно не увеличены или яркие слепящие пятна не появляются на изображении, в то время как, с другой стороны, яркие части изображения изображаются в верхнем пределе диапазона устройства отображения для обеспечения сверкающего и четкого изображения.

В предпочтительных вариантах осуществления верхнее значение динамического диапазона для объединенных растянутых первого и второго сигналов находится в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью 500-1000 нт, а верхнее максимальное значение пиксела лежит в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью от 1000 нт и предпочтительно выше 2500 нт.

Эти и дополнительные аспекты изобретения будут разъяснены более подробно посредством примера и со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

Фиг.1 предоставляет схематическую блок-схему для варианта осуществления изобретения;

Фиг.2 иллюстрирует расширение динамических диапазонов;

Фиг.3 иллюстрирует алгоритм идентификации ярких участков изображения;

Фиг.4a-4f иллюстрируют эффекты алгоритма расширения динамического диапазона в соответствии с изобретением;

Фиг.5 иллюстрирует смешанное отображение;

Фиг.6a-6c дополнительно иллюстрируют расширение динамического диапазона в соответствии с изобретением;

Фиг.7a-7d и 8a-8d предоставляют дополнительные примеры расширения динамического диапазона в соответствии с изобретением;

Фиг.9 иллюстрирует устройство отображения в соответствии с настоящим изобретением.

Чертежи представлены не в масштабе. В целом, на чертежах идентичные компоненты обозначаются посредством одинаковых ссылочных номеров.

Подробное описание предпочтительных вариантов осуществления

Как уже было отмечено, ниже показаны примеры.

Динамический диапазон многих выполненных вне помещения кадров может быть такого размера, как 12 порядков величины, тогда как большинство жидкокристаллических устройств отображения (LCDs) предлагает статический коэффициент контрастности, составляющий приблизительно 3 порядка величины. В результате, на ранних этапах последовательности действий для получения изображений требуется сильная динамическая компрессия диапазона для того, чтобы позволить приемлемое представление кадра на устройстве отображения LDR (с низким динамическим диапазоном). Самый прямой подход к динамической компрессии диапазона осуществляется посредством глобальных дифференциальных операторов для тональной компрессии. Однако главный недостаток этих простых методов состоит в том, что контрастность мелких деталей может быть подвергнута риску. Для устранения этих недостатков были разработаны более передовые способы для компрессии контрастностей областей (крупных деталей) при сохранении контрастности мелких деталей.

На обычном устройстве отображения LDR (с низким динамическим диапазоном) контрастность изображения обычно растягивается до максимальных возможностей устройства отображения (то есть 0 для черного, 255 для белого для 8-битной системы) в зависимости от установок пользователя, иногда поддерживаемых посредством гистограммы растяжения до отображения. Этот подход выполняется хорошо до тех пор, пока возможности системы устройства отображения остаются более или менее подобными ожидаемым во время компрессии на ранних этапах последовательности действий для получения изображений. Однако в новых системах устройств отображения HDR (с высоким динамическим диапазоном) достигаются статические коэффициенты контрастности до 6 порядков величины. Кроме того, такие системы устройства отображения могут быть способны к локальному созданию (во времени или пространстве) очень высокой пиковой яркости. Например, это может быть достигнуто посредством двухмерных подсветок LED с регулируемой яркостью, где мощность, сохраняемая посредством уменьшения яркости некоторых диодов LED под темными частями изображения, может быть использована для усиления других диодов LED под яркими областями.

При отображении устаревшего видео LDR непосредственно на устройстве отображения HDR возникают помехи изображения, а именно нарушение баланса между локальной контрастностью и контрастностью областей.

Сохранение контрастности деталей во время компрессии диапазона в сочетании с расширением диапазона перед отображением дает в результате усиление мелких деталей относительно контрастностей областей. Для больших коэффициентов расширения это дает в результате неестественный внешний вид кадра и иногда нежелательное усиление помех.

В способе в соответствии с изобретением входные данные изображения преобразуются, по меньшей мере, в два сигнала, причем первый сигнал предоставляет данные о контрастности областей с низкой пространственной частотой, а второй сигнал предоставляет данные о деталях с высокой пространственной частотой. Динамический диапазон, по меньшей мере, первого сигнала является растянутым, причем динамический диапазон первого сигнала является растянутым в более высокой степени, чем динамический диапазон второго сигнала. Растянутые первый и второй сигналы объединяются в выходном сигнале изображения.

Первый сигнал предоставляет сигнал контрастности областей, а второй сигнал предоставляет слой деталей. Два сигнала растягиваются по отдельности, причем первый сигнал растягивается больше, чем второй сигнал. В действительности, растяжение областей сигнала контрастности областей выполняется, например, посредством низкочастотной фильтрации. После этого растяжения локальные детали растягиваются, но в меньшей степени. Два сигнала объединяются. Это уменьшает, по сравнению с полным растяжением входящего сигнала, нарушение баланса между деталями и изображением областей. В предпочтительных вариантах осуществления второй сигнал создается посредством вычитания первого сигнала из входных данных изображения.

Фиг.1 иллюстрирует схему последовательности операций для иллюстративного алгоритма в соответствии с изобретением.

Алгоритм выполняет динамическое расширение диапазона как процедуру с двумя сигналами. Сначала контрастности областей извлекаются из входного сигнала $$V_{in}$$ посредством применения, в этом примере, фильтра 1 низких частот к видео, предоставляющего первый сигнал из сигнала $$V_{RC}$$ контрастности областей, и извлечения уровня деталей из входного сигнала $$V_{in}$$ , предоставляющего второй сигнал $$V_D$$ с деталями. В этом примере $$V_D$$ извлекается посредством вычисления разницы между контрастностями областей и входными данными в вычитающем устройстве 2 в формуле:

$$V_{RC}$$ = $$F_{bil}$$ ( $$V_{in}$$ )

$$V_D$$ = $$V_{in}$$ - $$V_{RC}$$

где $$V_{in}$$ обозначает входное видео, а $$F_{bil}$$ обозначает приложение фильтра низких частот, предпочтительно, быстрого двустороннего фильтра. Предпочтительно, двусторонняя фильтрация выполняется с использованием двусторонней сетки в качестве низкочастотного оператора. Этот подход обеспечивает эффективное приближение в вычислительном отношении к полному двустороннему фильтру. Главное преимущество этого способа заключается в том, что он обеспечивает дешевый фильтр размытия с сохранением среза, таким образом, предотвращая помехи в виде светлой полосы вокруг краев изображения, зачастую связанные с линейными пространственными ядрами фильтра. Двусторонняя фильтрация с использованием двусторонней сетки может быть эффективно обобщена в качестве (1) построения локальных гистограмм, (2) применения многомерного линейного ядра фильтра к этим гистограммам и (3) деления на части (= вставки) желаемых входных пикселов. Несмотря на то что ее использование является предпочтительным, следует отметить, что двусторонняя сетка не представляет существенной части настоящего изобретения. Альтернативно, контрастности областей могут быть извлечены с использованием обычных (групп) фильтров низких частот. Вместо этого использования математического алгоритма для формирования первого и второго сигналов также могут быть использованы и другие способы, такие как, например, предварительно определенные особые классы, например темное пространство внутри комнаты.

Для уменьшения нарушения баланса между областями и деталями в изображении с высокой светимостью и поддержания естественного баланса между контрастностью мелких деталей и контрастностью областей при применении динамического расширения диапазона два сигнала $$V_{RC}$$ и $$V_D$$ отображаются по отдельности. Один предпочтительный способ выполнения этого процесса заключается в растяжении контрастности $$V_{RC}$$ областей линейно от входного динамического диапазона [ $$K_{LDR}$$ - $$W_{LDR}$$ ] до предварительно определенного целевого динамического диапазона [ $$K_0$$ - $$W_0$$ ], который может зависеть от возможностей устройства отображения, возможностей глаз человека или персональных установок:

$${\tilde{V}}_{RC}=(V_{RC}-K_{LDR})\frac{(W_0-K_0)}{W_{LDR}-K_{LDR}}+K_0$$

где $${\tilde{V}}_{RC}$$ является растянутым сигналом. Такой предварительно определенный целевой динамический диапазон может быть задан посредством изготовителя. $$W_0$$ определяет верхнее значение динамического диапазона для объединенного сигнала. На Фиг.1 растяжение первого сигнала $$V_{RC}$$ схематически иллюстрируется посредством М( $$V_{RC}$$ ), где М обозначает операцию растяжения, вышеупомянутая формула которой является примером, в котором используется линейное растяжение. Также возможно нелинейное растяжение с использованием других формул для отображения для этого этапа растяжения или отображения, а также для любого другого этапа растяжения или отображения.

Операция растяжения обеспечивает расширение диапазона. В общих чертах растяжение динамического диапазона является коэффициентом:

$$\frac{(W_0-K_0)}{W_{LDR}-K_{LDR}}$$

являющимся отношением целевого динамического диапазона к входному динамическому диапазону ( $$W_{LDR}$$ - $$K_{LDR}$$ ), то есть величиной растяжения, применяемой к первому сигналу контрастности области. Растяжение выполняется в блоке 3 растяжения. Блок 3 растяжения отображает входящие данные $$V_{in}$$ с входящим динамическим диапазоном ( $$W_{LDR}$$ - $$K_{LDR}$$ ) на растянутый динамический диапазон ( $$W_0$$ - $$K_0$$ ).

В вышеупомянутом, предпочтительно, чтобы $$W_0$$ < $$W_{HDR}$$ , где $$W_{HDR}$$ является максимальным диапазоном устройства отображения, тем самым сохраняя предварительно определенный целевой динамический диапазон ниже максимального динамического диапазона устройства отображения. Это предотвращает изображение/отображение больших ярких областей с неприятно высокой светимостью.

Предпочтительно, $$W_0$$ находится в диапазоне, соответствующем светимости в диапазоне от 500 до 1000 нт.

Во-вторых, сигнал слоя деталей усиливается посредством применения ослабленного, по сравнению с коэффициентом растяжения первого сигнала, коэффициента усиления $$g_D$$ в блоке 4 усиления:

$${\tilde{V}}_D$$ = $$g_D$$ $$V_D$$

где $${\tilde{V}}_D$$ является растянутым вторым сигналом, содержащим детали. Предпочтительно, коэффициент усиления $$g_D$$ близок к 1, например в диапазоне между 1 и 1.2 или просто 1, и в последнем случае данные $$V_D$$ слоя деталей остаются в неизменном виде, без усиления, что является простым предпочтительным вариантом осуществления. Во многих устаревших сигналах LDR выполняется компрессия, которая более или менее поддерживает контрастность деталей. Следовательно, оставление слоя деталей неизменным, то есть применение коэффициента усиления, равного 1, зачастую является достаточным и уменьшает сложность алгоритма.

Очевидно, что могут быть использованы такие функции усиления М( $$V_{RC}$$ ) и $$g_D$$ , отличные от вышеупомянутого простого пропорционального изменения, как экспоненциальная функция или S-функция. В итоге, выходные данные строятся посредством объединения отображенных деталей и уровней контрастности областей, то есть растянутых первого и второго сигналов:

$${\tilde{V}}_1$$ = $${\tilde{V}}_D$$ + $${\tilde{V}}_{RC}$$

где $${\tilde{V}}_1$$ является объединенными растянутыми первым и вторым сигналами. В этом примере это выполняется посредством объединения растянутых первого и второго сигналов в блоке 5 объединения, в этом примере простого блока суммирования.

Этот аспект изобретения улучшает отображаемое изображение посредством уменьшения видимого несоответствия между контрастностью областей и контрастностью деталей после увеличения динамического диапазона входного сигнала.

Дополнительная проблема, возникающая в устройстве отображении HDR, состоит в том, что пиковая яркость новых устройств отображения HDR является очень высокой (например, сообщается, что монитор DR37-P с технологией Brightside/Dolby имеет пиковую яркость более чем 3000 кд/м²). Следовательно, растяжение сигнала во время отображения до полного динамического диапазона может привести к неприятно ярким кадрам для некоторых изображений. Диапазон, до которого растягиваются входные данные, может быть ограничен, например, до промежутка между 500 и 1000 нт, чтобы избежать таких неприятных кадров, но в этом случае возможности устройств отображения используются не полностью.

Для устранения этой проблемы в предпочтительных вариантах осуществления изобретения к алгоритму добавляется дополнительный этап. Этот предпочтительный этап схематично изображен в прямоугольнике 6 на фиг.1.

Для полноценного использования возможностей устройств отображения HDR идентифицируются маленькие зрительно-яркие части изображения, которыми заполняется оставшийся доступный динамический диапазон, то есть диапазон от $$W_0$$ до $$W_{HDR}$$ (подсветка). Также, предпочтительно, в качестве формы фильтра нижних частот используются двусторонние сетки. Поскольку двусторонние сетки предусматривают построение локальных гистограмм, то эти гистограммы могут быть использованы непосредственно для идентификации областей с небольшим количеством ярких пикселов. Алгоритм для выполнения идентификации ярких участков изображения находится на фиг.1, схематично изображенной в качестве функции FHL( $$V_{in}$$ ) в идентификаторе 7. Данные пикселов, которые идентифицированы как принадлежащие к ярким участкам изображения, усиливаются посредством коэффициента в блоке 8 отображения, который приводит их в самый высокий динамический диапазон, предоставляя сигнал $$V_{HL}$$ , подсвечивающий маленькие яркие области. Сигналы $${\tilde{V}}_1$$ и $$V_{HL}$$ объединяются в блоке 9 объединения для предоставления выходного сигнала $$V_{out}$$ . Отображение может быть выполнено посредством простого умножения или посредством более сложных функций.

Фиг.2 схематично иллюстрирует различные варианты усиления динамического диапазона. Входной сигнал $$V_{in}$$ имеет динамический диапазон в пределах от $$K_{LDR}$$ к $$W_{LDR}$$ . Он отображается на динамический диапазон, находящийся в пределах от $$K_0$$ до $$W_0$$ . Кроме того, пикселы, которые идентифицируются как принадлежащие к ярким участкам изображения, которые включают в себя пикселы в самом высоком входном диапазоне, на фиг.2 схематично указанные посредством стрелки 7', идентифицируются посредством идентификатора 7' ярких участков изображения; для пикселов, которые идентифицируются как принадлежащие к ярким участкам изображения, выполняется операция отображения в блоке 8 отображения, в которой данные для ярких частей изображения отображаются на больший динамический диапазон, перекрывающий, в частности, самый высокий диапазон светимости HL, например, соответствующий верхней части полного динамического диапазона устройства отображения HDR. Этот самый высокий диапазон светимости, зарезервированный для ярких частей изображений, растягивается до максимального значения $$W_{HDR}$$ . Это максимальное значение лежит выше верхнего значения $$W_0$$ целевого динамического диапазона, каковой целевой диапазон удерживается в пределах ослабленных значений светимости для предотвращения неприятных режимов просмотра. «Ex» на фиг.2 схематично иллюстрирует расширение динамического диапазона для $${\tilde{V}}_1$$ , «HL» схематически иллюстрирует более высокий динамический диапазон, зарезервированный для сигнала $$V_{HL}$$ ярких участков изображения.

Фиг.3 иллюстрирует алгоритм идентификации яркой части изображения.

Входной сигнал посылается в идентификатор 7. Те области или блоки с пикселами, которые имеют светимость I выше порогового значения $$I_{threshold}$$ , а число nav таких пикселов с высокой интенсивностью ниже порогового значения $$n_{threshold}$$ , идентифицируются как яркие части изображения. Кроме того, ниже даются примеры.

В качестве примера последующая процедура может логически вытекать из следующего.

Для включения подсветки в состав последовательности обработки интенсивность двусторонней сетки, построенной на входном сигнале, растягивается как до целевого динамического диапазона [ $$K_0$$ - $$W_0$$ ], что дает в результате сетку B0, так и однократно до полного динамического диапазона устройства отображения [ $$K_{HDR}$$ - $$W_{HDR}$$ ], что дает в результате сетку BPBK. Эти две сетки адаптивно смешиваются в итоговую сетку $$B_{mapped}$$ с использованием смешанного отображения M перед делением на части (вставкой):

$$B_{mapped}$$ =M $$B_{HDR}$$ +(1-M) $$B_0$$

Отметим, что в этом примере все вышеупомянутые операции выполняются на основе сетки, которая является сильно субдискретизированным представлением изображения, и следовательно, в числовом отношении являются недорогими. Итоговые выходные данные с полным разрешением строятся посредством деления на части на отображенную двустороннюю сетку $$B_{mapped}$$ . Для создания смешанного отображения М мы применяем следующий подход:

1. Построить совокупную гистограмму области посредством суммирования существующих локальных гистограмм.

2. Установить яркость $$I_{threshold}$$ , выше которой находится менее n процентов пикселов изображения. Другими словами, самое высокое значение n процентов значений светимости.

3. Подсчитать (на основе локальных данных) количество пикселов n с интенсивностями выше, чем $$I_{threshold}$$ .

4. Применить морфологический фильтр расширения для создания пространственной совместимости между соседними столбцами гистограммы, что дает в результате значение C0 совместимости. Если значение совместимости является высоким, то присутствуют относительно большие яркие области, а если значение совместимости является маленьким, то присутствуют маленькие яркие части.

5. Вычислить коэффициент M смешивания. Значение функции M отображения устанавливается на 1 для областей, где количество подходящих пикселов ниже предварительно определенного порогового значения T (маленькие яркие части изображения и, следовательно, должны быть смешаны) и спадает до 0 выше этого порогового значения для предотвращения того, чтобы большие яркие части изображения стали неприятно яркими:

$$M(M_0)=\{\begin{array}{l}1\_for\_C_0\le T\\ CLIP(1((C_0-T)/2T),\_\left[\mathrm{0,1}\right]\_for\_C_0>T\end{array}$$

Фиг.4a-4f иллюстрируют эффекты алгоритма расширения динамического диапазона описанным выше способом. На них изображены: (a) смоделированное входное изображение LDR, а также (b) слой контрастности областей и (c) слой деталей, извлеченный посредством двусторонней фильтрации сетки. Естественный внешний вид кадра после расширения поддерживается посредством (d) расширения только контрастности $$V_{RC}$$ областей до определенного пользователем или изготовителем диапазона [ $$K_0$$ - $$W_0$$ ]. На (e) изображена промежуточная выходная сумма кадров (c) и (d). На (f) изображены отображенные итоговые выходные данные, на которых идентифицируются маленькие зеркальные яркие части изображения для заполнения оставшегося доступного динамического диапазона.

Фиг.5 иллюстрирует смешанное отображение, вычисляемое для изображений на фиг.4a-4f. Шкала справа предоставляет коэффициент смешивания. Некоторые типичные области коэффициента смешивания указаны посредством стрелок. Как яркое отражение в воде, так и яркие области на облаках правильно обнаруживаются как маленькие яркие части изображения и отображаются на полный динамический диапазон или около полного динамического диапазона устройства отображения HDR. Поскольку яркая область на небе является относительно большой, этой области приписывается меньший вес (меньший коэффициент M смешивания) для предотвращения того, чтобы она оказалась неприятной на устройстве отображения HDR с высокой яркостью. Во-вторых, сущность низкого разрешения отображения ясно видна вследствие ее внешнего вида, имеющего пятна света и тени, в связи с тем, что эти операции выполняются по локальным гистограммам, не при полной решающей способности. В этом предпочтительном варианте осуществления смешанное отображение М применяется к двусторонним сеткам B0 и $$B_{mapped}$$ . Сами пиксели строятся посредством деления на части итоговой сетки $$B_{mapped}$$ . В результате, только яркие пикселы в расширенной области затрагиваются посредством операции подсветки, но интенсивности с темной по светло-серую остаются неизменными, так что процедура подсветки является выборочной операцией для заполнения верхней части HL доступного динамического диапазона. Итоговые выходные данные для изображения на фиг.4a изображены на фиг.4f. Яркие отражения в воде и на облаках теперь отображены на пиковую яркость устройства отображения, то есть коэффициент M смешивания близок к 1, эти области указываются на фиг.5 посредством белых стрелок, в то время как большие области на небе остаются ближе к средним интенсивностям из фиг.3e. И снова, посредством предотвращения чрезмерного усиления контрастности мелких деталей поддерживается более естественный внешний вид кадра.

Фиг.6-8 изображают дополнительные примеры выполнения предложенного способа динамического расширения диапазона. Фиг.6a-6c формируют иллюстрацию расширения динамического диапазона. Изображено (a) смоделированное изображение LDR и расширенные выходные данные как (b) без, так и (c) с подсветкой. И снова, этот способ разработан для предоставления высокого качества на чрезвычайно ярких устройствах отображения HDR. Без таких устройств отображения мы, в данном примере, ограничены моделированием процедуры расширения. С этой целью моделируются входные данные LDR, и используется процедура расширения для восстановления изображения до всего доступного диапазона. Очевидно, что данное моделирование не совершенно и не может предоставить реалистичный внешний вид фактического устройства отображения HDR. Тем не менее, фиг.6a-6c иллюстрируют поддерживаемый баланс между контрастностями областей и мелких деталей, а также выборочное использование пиковой яркости устройства отображения.

Фиг.7a-7d изображают дополнительные примеры динамического расширения диапазона. Смоделированные изображения 7a и 7c LDR изображены слева, расширенная версия HDR, включающая в себя подсветку, а именно изображения 7b и 7d, изображены справа. В указанном ниже примере овалами помечены подсвеченные области. Этот пример иллюстрирует, что большие белые области на снежной горе не отображаются на пиковую яркость устройства отображения HDR, поскольку это было бы неприятно. Вместо этого только мелкие зеркальные яркие части изображения отображаются на полную яркость при помощи очень выборочной процедуры. В верхнем примере отображены на пиковую яркость только автомобильные фары.

Фиг.8a-8e предоставляют дополнительные примеры динамического расширения диапазона. Смоделированные изображения LDR, фиг.8a и 8c, изображены слева, а расширенные версии HDR, включающие в себя подсветку, изображены на фиг.8a и 8d справа.

Вкратце, изобретение может быть описано как обеспечение способа, блока и устройства отображения, в которых входной сигнал изображения разбивается на сигнал контрастности областей и сигнал деталей, за которыми следует растяжение динамических диапазонов по отдельности для обоих сигналов, причем динамический диапазон для сигнала контрастности областей растягивается с более высоким коэффициентом растяжения, чем динамический диапазон для сигнала деталей. Предпочтительно, коэффициент растяжения для сигнала деталей близок к 1 или, предпочтительно, равен 1. В предпочтительном варианте осуществления идентифицируются яркие части изображения, и для ярких частей изображения динамический диапазон растягивается еще в более высокой степени, чем для сигнала контрастности областей.

Растяжение сигнала контрастности областей больше, чем сигнала деталей, уменьшает несоответствие между усилением мелких деталей относительно контрастности областей и обеспечивает более естественный внешний вид. Более сильное растяжение динамического диапазона для подсвеченных областей отображает эти яркие части изображения на верхнюю часть динамического диапазона. Это заставляет изображение искриться, не вызывая больших областей с чрезмерной яркостью, что сделало бы просмотр неприятным.

Способы и система в соответствии с изобретением могут быть использованы по-разному для различных целей, таких, например, как разрешение алгоритмов усиления и других алгоритмов обработки видео.

Изобретение также реализуется в компьютерном программном коде, содержащем средство для выполнения способа в соответствии с настоящим изобретением при выполнении его на компьютере.

Изобретение может быть использовано в или для блоков преобразования сигналов изображения и таких устройств, в которых используется преобразование сигналов изображения, как устройства отображения, в частности в устройствах отображения с возможностью HDR.

В формуле изобретения любые ссылочные обозначения, помещенные между круглыми скобками, не должны рассматриваться в качестве ограничения формулы изобретения.

Слово «содержащий» не исключает наличия элементов или этапов, отличных от перечисленных в формуле изобретения. Изобретение может быть реализовано посредством любого сочетания отличительных признаков других предпочтительных вариантов осуществления описанным выше способом.

Изобретение не ограничивается вышеупомянутыми данными примерами, но может быть выполнено различными способами.

Например:

верхнее значение $$W_0$$ может быть сделано зависимым от ряда параметров, самыми важными из которых являются:

1. Цвет

Максимальный уровень насыщенности для отражающих красного и синего цветов относительно низок по сравнению с зеленым и желтым. Значение для $$W_0$$ в предпочтительных вариантах осуществления сделано зависимым от цвета для того, чтобы избежать частей, которые начинают не сверкать, а ослеплять.

2. Уровень внешнего освещения

В предпочтительных вариантах осуществления устройство отображения предоставлено с оптическим датчиком для считывания уровня внешнего освещения. Выходные данные датчика внешнего освещения определяют верхнее значение $$W_0$$ , причем чем выше уровень внешнего освещения, тем выше устанавливается верхнее значение $$W_0$$ . Фиг.9 иллюстрирует такой вариант осуществления. Устройство отображения предоставлено с экраном 91 устройства отображения. Выходной сигнал $$V_{out}$$ определяет изображение, отображенное на экране 91. Кроме того, устройство отображения предоставлено с датчиком 92 внешнего освещения для измерения внешнего освещения. Выходные данные этого датчика являются входными данными для блока 3 растяжения для растяжения динамического диапазона $$V_{RC}$$ . Выход этого датчика также может быть соединен с блоком 7 идентификации и/или с блоком 8 отображения для определения ярких участков изображения и/или растяжения, обеспечивающего динамический диапазон для ярких частей изображения. В этом примере вывод датчика 92 вводит данные непосредственно на блок 7 идентификации и/или на блок 8 отображения. В пределах вариантов осуществления изобретения функциональные параметры блока 3 растяжения и блока 7 идентификации и/или блока 8 отображения могут быть соединены таким образом, чтобы сигнал датчика можно было послать только на одно из устройств. Аналогично, может существовать компьютерная программа, содержащая таблицу поиска, в которой сохраняются функциональные параметры для блока 3 растяжения, такие как верхнее числовое значение динамического диапазона и/или распределение по динамическому диапазону, и/или для блока 7 идентификации, и/или блока 8 отображения в качестве функции сигнала датчика. Выходные данные датчика в таком варианте осуществления являются входными данными для компьютерной программы, и компьютерная программа управляет параметрами для блока 3 растяжения, блока 7 идентификации и/или блока 8 отображения.

3. Обнаружение графики

В предпочтительных вариантах осуществления блок обнаружения графики используется для идентификации графики (такой как логотипы, субтитры) для исключения их из усиления и/или подсветки.

Изобретение также реализуется в различных системах.

Блок преобразования изображений также может являться частью различных видов устройств преобразования изображения.

Например, блок преобразования для выполнения преобразования может являться частью устройства отображения, как на фиг.9.

Понятие «блока преобразования» следует интерпретировать широко, как любое средство, включающее в себя программные средства, аппаратные средства или любое их сочетание для выполнения способа преобразования.

Блок преобразования также может являться частью, например, записывающего устройства. Можно выполнять запись изображения или видео, причем записывающее устройство предоставляется с информацией относительно возможностей устройств отображения. Записывающие устройства применяют в режиме реального времени или в автономном режиме по способу в соответствии с изобретением, сравнивая динамический диапазон $$W_0$$ - $$K_0$$ и/или $$W_{HDR}$$ - $$K_{HDR}$$ c возможностями устройства отображения. Затем может быть отображено улучшенное изображение или видео либо в режиме реального времени, либо впоследствии.

В вариации этой системы программные средства могут находиться на каком-либо сервере в сети Интернет. Пользователь отправляет имеющиеся у него/нее данные изображения изображений или видео на сайт и предоставляет на сайт подробности относительно возможностей динамического диапазона имеющегося у него/нее устройства отображения. Эта информация о динамическом диапазоне может быть явной, например, посредством определения динамического диапазона или неявной, например, посредством указания имеющегося у него/нее устройства отображения, или даже пользователь может не замечать данного действия, поскольку тип устройства отображения проверяется автоматически. На сервере проверяется, производится ли улучшенное изображение или видео, учитывая возможности устройства отображения, с применением способа в соответствии с изобретением к входным данным изображения. Если ответ положителен, то способ в соответствии с изобретением применяется к входным данным изображения и после получения платы за обслуживание улучшенные выходные данные изображения, соответствующие возможностям устройства отображения HDR, отправляются пользователю обратно.

Этот вариант осуществления позволяет пользователю обновлять его/ее «старые» изображения или видео, полностью использовать возможности HDR его/ее недавно купленного устройства отображения HDR, не вынуждая пользователя к покупке особого блока преобразования.

В системах «разовой платы за просмотр программы», например, для просмотра спортивных передач пользователю можно предоставить выбор покупки стандартного качества или улучшенного качества, причем улучшенное качество подбирается к динамическому диапазону особого, имеющегося у него/нее устройства отображения HDR.

Изобретение относится к способу преобразования входных данных изображения в выходные данные изображения. Техническим результатом является повышение качества воспроизведения изображения. Предложен способ преобразования входных данных (V_in) изображения в первом динамическом диапазоне (LDR) в выходные данные (V_out) изображения во втором динамическом диапазоне (HDR), большем, чем первый динамический диапазон (LDR). Входные данные (V_in) изображения разбивают, по меньшей мере, на два сигнала, причем первый сигнал (V_RC) содержит данные о контрастности областей, а второй сигнал (V_D) содержит данные о деталях. Динамический диапазон для сигнала контрастности областей растягивается с более высоким коэффициентом растяжения, чем динамический диапазон для сигнала деталей. Согласно способу, осуществляют идентификацию ярких частей изображения, и для ярких частей изображения динамический диапазон растягивается еще в более высокой степени, чем для сигнала контрастности областей. 3 н. и 6 з.п. ф-лы, 9 ил.

1. Способ преобразования входных данных (V_in) изображения в первом динамическом диапазоне (LDR) в выходные данные (V_out) изображения во втором динамическом диапазоне (HDR), большем, чем первый динамический диапазон (LDR), при этом входные данные (V_in) изображения разбивают, по меньшей мере, на два сигнала, причем первый сигнал (V_RC) содержит данные о контрастности областей, а второй сигнал (V_D) содержит данные о деталях, причем динамический диапазон, по меньшей мере, первого сигнала растягивают для обеспечения растянутого первого сигнала $$({\tilde{V}}_{RC})$$ , причем динамический диапазон первого сигнала растягивают в более высокой степени, чем применяется ко второму сигналу, и растянутые первый сигнал $$({\tilde{V}}_{RC})$$ и второй сигнал $$({\tilde{V}}_D)$$ объединяют в объединенный сигнал $$({\tilde{V}}_1)$$ , и причем динамический диапазон объединенных растянутых первого и второго сигналов (V₁) ограничен верхним значением (W₀), и при этом входные данные (V_in) изображения анализируют (FHL(V_in)) для идентификации групп пикселов, формирующих яркие части изображения во входных данных изображения, и при этом данные пикселов для вышеупомянутых идентифицированных групп пикселов преобразуют в третий сигнал (V_HL) так, чтобы третий сигнал покрывал динамический диапазон (W_HDR-K_HDR), распространяющийся вверх, выше упомянутого верхнего значения (W₀) до максимального верхнего значения пиксела (W_HDR), и при этом третий сигнал (V_HL) объединяют с объединенными растянутыми первым и вторым сигналом $$({\tilde{V}}_1)$$ для формирования выходных данных (V_out) изображения.

2. Способ по п.1, в котором второй сигнал (V_D) получают посредством вычитания первого сигнала (V_RC) из входных данных (V_in) изображения.

3. Способ по п.1 или 2, в котором второй сигнал (V_D) не является растянутым.

4. Способ по п.1, в котором верхнее максимальное значение пиксела (W_HDR) второго динамического диапазона (HDR) лежит в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью выше 1000 нт.

5. Блок преобразования изображения для преобразования входных данных изображения в первом динамическом диапазоне (LDR) в выходные данные изображения во втором динамическом диапазоне (HDR), который больше первого динамического диапазона (LDR), содержащий блок разбиения для разбиения входных данных (V_in) изображения, по меньшей мере, на два сигнала, причем первый сигнал (V_RC) содержит данные о контрастности областей, а второй сигнал (V_D) содержит данные о деталях, блок (3) растяжения для растяжения динамического диапазона, по меньшей мере, первого сигнала для обеспечения растянутого первого сигнала $$({\tilde{V}}_{RC})$$ , причем динамический диапазон первого сигнала (V_RC) растянут в более высокой степени, чем применяется ко второму сигналу (V_D), и блок содержит блок (5) объединения для объединения растянутых первого сигнала $$({\tilde{V}}_{RC})$$ и второго сигнала $$({\tilde{V}}_D)$$ в объединенный сигнал $$({\tilde{V}}_1)$$ , и при этом блок (3) растяжения выполнен так, что динамический диапазон объединенных растянутых первого и второго сигналов ограничен верхним значением (W₀), и блок дополнительно содержит блок (7) идентификации для анализа входного сигнала (V_in) изображения для идентификации групп пикселов, формирующих яркие части изображений во входных данных изображения, и блок (8) отображения для отображения данных пикселов для упомянутых идентифицированных групп пикселов в третий сигнал (V_HL) так, чтобы третий сигнал покрывал динамический диапазон (W_HDR-K_HDR), распространяющийся вверх, выше упомянутого верхнего значения (W₀) до максимального верхнего значения пиксела (W_HDR), и блок (9) объединения для объединения третьего сигнала (V_HL) с объединенными растянутыми первым и вторым сигналом $$({\tilde{V}}_1)$$ в выходных данных (V_out) изображения.

6. Блок преобразования изображения по п.5, в котором блок (8) отображения выполнен так, что верхнее максимальное значение пиксела (W_HDR) второго динамического диапазона (HDR) лежит в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью выше 1000 нт.

7. Устройство отображения, содержащее блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения по любому из пп.5 или 6 и экран (91) отображения.

8. Устройство отображения по п.7, содержащее блок преобразования изображения по п.5, причем верхнее максимальное значение соответствует значению в максимуме или около максимума динамического диапазона экрана (91) отображения.

9. Устройство отображения по п.7, в котором устройство отображения содержит датчик (92) внешнего освещения, обеспечивающий выходные данные, причем выходные данные датчика (92) внешнего освещения являются входными данными для блока (3) растяжения.