УСОВЕРШЕНСТВОВАННЫЕ СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ HDR ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N19/196 H04N19/182 H04N19/186 H04N19/46 G06T5/00 

Область техники, к которой относится изобретение

Изобретение относится к устройствам и способам, а также к результирующим продуктам, таким как продукты для хранения данных или кодированные сигналы, например, сохраненные в запоминающих устройствах, для усовершенствованного кодирования по меньшей мере одного изображения или видео с расширенным динамическим диапазоном яркости (luminance) по сравнению обычными изображениями, называемыми изображениями с узким динамическим диапазоном (LDR).

Предшествующий уровень техники

За последние годы съемка, отображение и особенно кодирование изображений улучшилось в результате перехода от так называемого формирования изображения с узким динамическим диапазоном (LDR) (например, классические система стандарта PAL или MPEG2) к формированию изображений с так называемым расширенным динамическим диапазоном (HDR). Современные датчики имеют либо более широкий диапазон напряжения собственного сигнала (между яркостью сцены, которая обеспечивает насыщенность или по меньшей мере дает максимально допустимое пиксельное напряжение, и минимальным, или в качестве альтернативы, типовым уровнем шума), либо в них используются способы расширения указанного диапазона датчика путем построения результирующих изображений из множества изображений, например, из пространственной системы с разной чувствительностью, или следующих друг за другом изображений с разной настройкой экспонирования. Отличие от съемки с использованием LDR камеры заключается в том, что указанная LDR камера, как правило, отсекает и/или мягко отсекает некоторые области, такие как яркие места вне помещения ставшие белыми (причем сигнал яркости Y (luma) этих сохраненных закодированных пикселей LDR изображения составляет 255), в то время, как система съемки с HDR в состоянии точно зафиксировать все значения яркости в данной сцене. Хотя все еще не до конца ясно, как их использовать, то есть, как их кодировать, например, для передачи по телевизионной сетевой системе, и насколько качественно (точно, с предпочтительной точностью, или по меньшей мере приемлемой точностью) их воспроизводить, например, на HDR дисплее, имеющем более высокую пиковую светлоту (brightness), чем типовая пиковая светлота LDR дисплеев (например, 3000 нит вместо 100 или 500 нит).

Поскольку видимый результат воспроизведения изображения зависит от многих переменных, таких как, например, содержание изображения, тип дисплея, на котором оно воспроизводится (например, его пиковая светлота), и среда просмотра, как правило, зафиксированное датчиком необработанное изображение (которое может быть тесно связано с исходной сценой, но не имеет абсолютно никакого отношения к среде окончательного воспроизведения, так как отсутствует информация о том, каким образом наблюдатель будет смотреть эти два сценария) претерпевает преобразование пиксельных цветов, называемое цветокоррекцией (грейдинг). Как правило, этим наблюдателем может быть корректировщик. Например, при производстве кинофильма могут возникнуть трудности при создании правильного освещения интерьера дома (также учитывая ограничение на время съемки и ее стоимость), не говоря уже о создании грозовых облаков с характерным распределением оттенков серого. Тогда группа осветителей может предпочесть вариант, связанный с приблизительной коррекцией освещения, который даст по меньшей мере «достаточно» или «столько сколько нужно» света во всех местах, и может практически это реализовать (например, установить освещение подобное создаваемому свечами на столе (или что-то похожее), свет от неонового рекламного щита и т.д.). Затем корректировщик улучшает это, используя программное обеспечение для обработки изображений. Например, он может пририсовать солнечные лучи, как бы падающие через окно, в реальной сцене.

LDR кодирование обладает еще одним характерным для него свойством. Наивно полагать, что LDR кодирование - это просто кодирование, при котором сигнал яркости выражается 8-битовым кодовым словом на каждый пиксель (или, конечно, другие подобные варианты), и наоборот, что 8 бит и есть LDR. Но чисто теоретически в матрицах изображений, состоящих из 8-битовых кодов, можно закодировать что угодно, так что, по меньшей мере теоретически, можно закодировать очень сложные конфигурации, хоть и HDR изображение.

Проблема заключается в том, что по старой традиции напряжения датчика (то есть, линейные представления яркостей сцены) кодируют в виде 8-битовых кодовых слов в соответствии с конкретной функцией отображения кода. Этой функцией могла быть простая, но не слишком нелинейная, монотонная и непрерывная функция, а именно, гамма-функция 2.2. Идея здесь состоит в том, что тесная связь съемки, кодирования и воспроизведения изображения через указанную систему прямого соединения практически почти автоматически обеспечивает правильную цветокоррекцию. Сигнал в этой системе подается непосредственно на катоды электроннолучевой трубки дисплея, а гамма-функцию 2.2 выбрали исходя из физических особенностей электроннолучевой трубки (что попутно также обеспечивает удобную равномерную психовизуальную рабочую шкалу светлоты). При наличии только одного типа дисплеев, сигналы возбуждения воспроизводят выходную яркость, если возбуждение обеспечивается сигналами возбуждения, являющимися LDR сигналами. Также обеспечивается предварительная автоматическая цветокоррекция с использованием компенсирующей гамма-функции, а именно, в соотношении примерно 1/2.2 прямо из камеры. Также, если любой специалист по цветокоррекции на стороне создания захочет более тонко настроить или улучшить пиксельные цвета, он это проделает, просматривая сигнал на точно такой же трубке CRT, что использовалась при его создании, так что домашний телевизор пользователя обеспечит примерно такое же воспроизведение (помимо внешних воздействий на зрителя), поскольку CRT возбуждается с использованием аналогичным образом скорректированного изображения).

В любом случае эта цепочка операций LDR кодирования выполняется согласно детально разработанным техническим условиям, по которым воспроизведение и кодирование (или цветокоррекция) суть одно и то же. На сегодняшний день при наличии очень разных дисплеев, например, на основе домашнего LCD, айпада для просмотра контента изображения в поезде, домашнего проектора и последних HDR дисплеев с очень высокой светлотой, необходимо чтобы воспроизведение или отображение цветовой палитры происходило совершенно отдельно от кодирования изображения, поскольку при одних и тех же входных изображениях эти дисплеи будут выдавать на своих экранах достаточно разные выходные изображения, что может оказаться серьезней, чем хотелось бы.

Но в любом случае на стороне контента, например, между камерой и местом кодирования, указанная тесная связь в LDR системах все еще прослеживается. Хотя в современных бытовых камерах (особенно потому, что функциональные возможности HDR включены не так давно) может использоваться более сложная функция отображения кода, чем гамма-функция 2.2, они все еще имеют относительно близкие функции, являющиеся несильно нелинейными, то есть, они не так отличаются друг от друга, чтобы нельзя было аппроксимировать многие аспекты их математических особенностей с помощью линейного анализа.

В частности, это видно, когда должна сниматься сцена с более широким диапазоном яркости, например, человек, сидящий в автомобиле. Комбинация таких факторов, как экспозиция для съемки лица человека и функция кодового отображения (например, S-кривая), как правило, приводит к тому, что экспозиция, вполне подходящая для интерьера автомобиля, вне автомобиля может быть представлена только пастельными цветами, близкими к верхней границе кодированной палитры цветов, то есть, с сигналом яркости около 255. Причина этого состоит в том, что камера или фотограф выбирает код цвета лица, отображаемый в среднем близко к серому, со значением для простоты, равным 128. Если функцию отображения в окрестности этого значения аппроксимировать квадратической функцией, то тогда значение 255 может представлять только в 4 раза более высокий сигнал наружной яркости. Конечно, действительные значения будут зависеть от того, как интеллектуальные средства системы камеры (включая выбранные оператором) будут обрабатывать указанные яркие области, а соответствующая область передержек в отображении кода может по меньшей мере распределять другие кодовые значения для более высоких яркостей сцены, чем 4-кратная яркость лица (хотя необходимо также сказать, что в действительности некоторая часть контента, быстро созданная при съемке на месте без подготовки, усекает значительную часть изображения до 255, и возникает вопрос, стоит ли это делать).

В любом случае в качестве грубой оценки можно сказать, что с вышеуказанными отношениями яркостей 500:1 (или по меньшей мере 1000:1), использование LDR кодирования становится проблематичным, и надо перейти в область технологии HDR кодирования, если необходимо по меньшей мере правильно закодировать данную сцену. Так происходит с коэффициентами геометрической формы, которые создают неравномерность освещения порядка от 5-10 до 1, от света к тени, поскольку отражения объектов, как правило, находятся в диапазоне от 1% до 100%. Указанное уменьшение освещенности может случиться в комнате уже на пару метров дальше от окна.

Примером сцены с высоким динамическим диапазоном, которая также ясно демонстрирует отдельную цветовую схему для наблюдателя, является сумеречный городской пейзаж. То, что было белым, стало для человеческого глаза серым, и пропало в этой сцене, так как белое уже перешло на уровень светлоты, превышающий уровень («яркий»).То есть, хотелось бы иметь возможность показывать все это на HDR дисплее в виде ярких объектов, а также кодировать их так, чтобы можно было их четко распознавать как светлые (особенно, устройствами воспроизведения, которые непосредственно не подают входной сигнал в качестве сигнала возбуждения, но выполняют некоторую оптимизацию отображения цветовой палитры). Заметим, что из-за потери взаимосвязи между съемкой, кодированием и отображением, необходимо четко различать, какие динамические диапазоны задаются (причем не обязательно требуется яркостный контраст), поскольку конкретная сцена (например, с динамическим диапазоном 100000:1), не обязательно должна иметь при воспроизведении такой же контраст (например, солнце на дисплее в действительности не обязательно должно травмировать ваши глаза), причем действительным релевантным фактором является аналогичный приемлемый психовизуальный вид. По мимо обычного кодирования с высокой степенью нелинейности следует кое-что сказать о динамическом диапазоне кодека, поскольку указанные факторы, подобные точности конкретного отображения или кодирования/воспроизведения, могут сильно на него влиять. Что касается дисплейного воспроизведения, то известно, что имеется система HDR отображения, где можно воспроизвести особые световые эффекты, которые нельзя точно воспроизвести на LDR дисплее, такие как мерцающие лампы или реально выглядящий солнечный свет в сценах вне помещений. И, в частности, с этим согласуется освещенность других сценических объектов (например, домашней мебели), то есть, если заданы указанные сигналы яркости, то получается подходящий вид как для освещенных, так и для обычных/более темных объектов (учитывая, что человеческое зрение носит относительный характер).

Предложенное первым (естественное) техническое решение проблемы кодирования HDR изображений среди прочего оказалось удобным специалистам, работающим в области компьютерной графики, поскольку в компьютере можно создать сигнал любого вида (без ограничений, связанных с используемым при съемке объективом, например, в компьютере пространство рядом со сверхновой звездой может реально иметь нулевую яркость без зафиксированного фотонного шума). При этом базовом подходе, позволяющим отказаться от любых ранее имевших место ограничений в телевизионной технологии, логичным решением является просто линейное кодирование яркостей сцены. Это означает, что для кодирования пиксельного сигнала яркости, например, 16 или 32, понадобится больший объем кодированных бит. Помимо увеличения объема данных, что иногда может оказаться проблемным, как было указано выше, указанное естественное кодирование абсолютно не связано (или с соответствующими технологическими сведениями, такими как дополнительные значения, результаты измерений или сведения, включенные в уравнения, которые могут быть совместно закодированы в качестве метаданных вместе с закодированным пиксельным изображением, или отдельно от него, но в привязке к нему) с оставшейся частью процесса формирования изображения, то есть, с системой воспроизведения.

Второй, альтернативный вариант кодирования вытекает из (или по меньшей мере концептуально связан) наличия двухдисплейных систем, наподобие двухпанельных LCD дисплеев или однопанельных LCD дисплеев, имеющими двумерно модулируемую заднюю подсветку. В этих системах конечный выход представляет собой мультипликацию картины освещения, созданной отображением на заднем слое, и пропускания фронт-проекционного LCD. Тогда возникает вопрос, как обеспечить возбуждение обоих сигналов при условии, что, как было указано в приведенном выше примере, используется 16-битовое (по меньшей мере для сигнала яркости) HDR кодирование и стандартная электронная аппаратура возбуждения, а также возможности физической модуляции LCD, составляющие, допустим, 8 бит (это означает, что при линейном пропускании LCD может создать черное в отношении 1/255 от полного пропускания, и возможно ряд других значений для нелинейного режима; причем, например, задняя подсветка также может модулироваться 8 линейными битами). Тогда можно извлечь квадратный корень из пиксельных сигналов яркости и подать удвоенное полученное значение на оба возбудителя. В принципе, для этого подойдет (теоретически) любая мультипликативная декомпозиция. Например, если LCD может обеспечить только 4-ступенчатое изменение пропускания, есть возможность создать высокоточную HDR систему, если только возбуждать заднюю подсветку с помощью сигнала, дающего остаток от деления:

где Y_LCD в этом примере выполняет модуляцию (ярче или темнее), направляя свет сзади по 4 разным путям (например, максимальная блокировка, при которой возможно, например, пропускание 1:80 заднего света по сравнению с пропусканием 100% с 2 эквидистантными значениями пропускания между ними).

Y_HDR представляет собой 16-битовый сигнал, максимальное значение которого выражает яркость некоторой очень яркой сцены, приблизительно воспроизводимой путем переключения задней подсветки дисплея (локально) на ее максимальное значение (с учетом нагрева, старения и т.д.). Таким образом, при повторном использовании линейного кодирования, из-за физических особенностей воспроизведения, заднюю подсветку необходимо регулировать в диапазоне, составляющем 1/4 от 16 бит (65536 возможных линейных ступеней), что (опять же, если предположить, что необходимо линейное кодирование и эквидистантное возбуждение) означает, что задняя подсветка будет возбуждаться 14-битовым сигналом (если потребуется такая точность). Таким образом, задняя подсветка может изменить локальное значение в LCD модуляторе с любым коэффициентом, необходимым для воспроизведения HDR изображения. Фактически, поскольку указанные дисплеи содержат гораздо меньшее количество элементов задней подсветки на основе LED, чем пикселей, воспроизводится некоторая аппроксимация изображения посредством возбуждения задней подсветки в соответствии с некоторым усредненным освещением. Таким образом, как, например, в пункте 2 формулы изобретения в патенте US 7172297 Университета Британской Колумбии сначала вычисляется сигнал средней яркости пикселей локального изображения, и этот результат приводит к значению задней подсветки, аппроксимирующему требуемое воспроизведение, а затем выполняется настройка пикселей LCD на основе деления Y_HDR и указанной аппроксимации. Таким образом, рассматриваемое свойство указанного умножения заключается в том, что оно соответствует сокращению линейных бит, необходимых для кодирования одного из изображений, что можно математически показать в виде сжатия диапазона определенного вида или отображения цветовой палитры.

Таким образом, кроме того было предложено усовершенствование, состоящее в кодировании любого HDR изображения на основе указанной мультипликативной схемы (не обязательно для реального двухслойного дисплея). То есть, первое изображение можно сформировать, выполнив общее тональное отображение, и создать стандартное JPEG изображение (Y_JPEG) из полученного в результате преобразования 8-битового изображения. Затем сохраняется второе изображение, которое является изображением отношения Y_HDR/Y_JPEG. Далее на стороне декодера можно использовать нормальное LDR JPEG изображение или вновь создать HDR изображение путем перемножения указанных двух LDR изображений (в предположении, что оригинал является 16-битовым, порождающим два 8-битовых изображения, что обычно достаточно для большинства сцен, если это не HDR сцена или сценарий. Первым недостатком этого способа является то, что, возможность закодировать любое HDR изображение (путем коррекции где-либо в JPEG изображении в рамках изображения отношения, или по меньшей мере путем перехода к подходящей аппроксимации, если JPEG закодировано некорректно, так что результирующая коррекция приведет к выходу за пределы возможного диапазона, что может случиться, например, при условии, если два соседних пикселя в JPEG выбраны со значением 1, а в HDR должны быть соответственно равны 230 и 350; опять же в предположении линейности) дается дорогой ценой, а именно, придется кодировать 2 изображения. Учитывая невозможность сохранения за счет математической корреляции, не говоря уже о необходимости форматировать согласно окружающей семантике эти два изображения, на первый взгляд кажется, что потребуется то же количество бит, что и при сохранении одного 16-битного изображения (по меньшей мере если нет пространственной субдискретизации и т.д.). Во-вторых, такая декомпозиция «вслепую» никак не вяжется с физическими особенностями реального средства воспроизведения или физическими или психовизуальными семантическими закономерностями, присущими воспроизводимой сцене (например, такой объект, как яркая лампа); скорее это просто являются результатом мультипликативной коррекции выбранного, неважно как, базового JPEG изображения. Правда, при этом обеспечивается прекрасная обратная совместимость при кодировании изображений.

Третий вариант кодирования можно проследить из последовательности выполнения шагов при масштабируемом кодирования кодировок с коррекцией предсказания, где предсказание корректируется с помощью дополнительного коррекционного изображения. Изначально среди прочего встречается выполняется масштабирование SNR, и первое изображение представляет собой аппроксимацию, которая может содержать округленные или квантованные версии пиксельных сигналов яркости. К этому добавляется изображение, которое вносит дополнительную точность (заметим, что другие варианты могут содержать, например, пространственную аппроксимацию, которую также можно скорректировать, добавив коррекционный сигнал, который далее может также обеспечить восстановление высоких частот, например, на границах. Таким образом, если, например, исходный LDR сигнал, подлежащий кодированию, имеет смежные в пространстве пиксели 127, 144, то можно, например, закодировать аппроксимацию из 6 бит с 4 шагами точности, что даст пиксельные значения 128 и 144. Затем можно выполнить коррекцию, используя изображение, характеризующееся более высокой точностью, содержащее значения - 1 и 0. В связи с тем, что аппроксимация достаточно хороша, диапазон коррекционного сигнала следует сузить, что возможно приведет к экономии бит.

В связи с тем, что диапазон и точность в диапазоне в принципе могут быть взаимозаменяемыми, можно также предусмотреть использование указанной методики для кодирования HDR изображений. Действительно, можно установить, чтобы максимум любого диапазона кодирования (также для 8-битового кодирования) соответствовал той или иной яркости сцены. Но, видимо, это пригодно только для кодирования с размерностью более 8 бит, при заданном количестве шагов светлоты в HDR сценах. Также масштабируемость сама по себе не предполагает каких-либо изменений в тональном отображении, то есть, по определению она просто оперирует точностью представления обсуждаемых сигналов яркости, но никак не связана с тем, каким образом конкретное LDR кодирование будет связано с HDR кодированием, или какие требования предъявляются к оптимальному воспроизведению на том или ином дисплее (например, без слишком темного воспроизведения на дисплее с пониженной пиковой светлотой).

На основе этой концепции в патенте WO 2007/082562 (смотри фиг. 1) был разработан способ двухуровневого HDR кодирования. В указанном кодере определяется наличие взаимосвязи между HDR и LDR, независимо от того, идет ли речь о съемке, кодировании (например, с использованием отображения цветовой палитры) или, как правило, цветокоррекции (что обычно выполняется художественным корректировщиком, работающим на создателя контента). Например, поскольку LDR цветовая палитра (определяемая тем, какой типовой LDR дисплей, допустим 400 нит, обеспечивает воспроизведение) возможно не будет содержать светлые области, точно такие как освещенные солнцем места вне помещения, она может отобразить на LDR пространство такую область, уменьшив сигналы яркости (и возможно также уменьшив цветовую насыщенность). Получение HDR изображения посредством указанного LDR кодирования исходной сцены включает преобразование пиксельных сигналов яркости /цветов этих ярких областей вне помещения в изображении в более высокие значения светлоты (или, другими словами, предсказание того, как может выглядеть HDR изображение после цветокоррекции), например, путем смещения этих LDR сигналов яркости посредством добавления фиксированной светлоты или светлоты, зависящей от LDR сигнала яркости, или в общем случае применения функции отображения по меньшей мере к сигналам яркости: (Y_HDR=f(Y_LDR). Можно получить вид, по меньшей мере более близкий к HDR виду, но то, насколько близко это предсказание будет к исходной HDR ступени, сильно зависит, среди прочего, от корректности (и сложности) функции отображения/предсказания. Из-за большой сложности изображения (создатели фильма обычно выбирают более простое предсказание, например, глобальное тональное отображение, которое отображает каждый пиксельный сигнал яркости только на значение сигнала яркости, но не на другие факторы, например, пространственное расположение пикселя в изображении, а не более сложное предсказание, которое недостаточно точно предсказывает исходное HDR изображение) имеет место различие, представляемое разностным изображением. Таким образом, указанные двухуровневые способы также обеспечивают кодирование указанного изображения. Поскольку разность между LDR ступенью (которая в принципе должна быть близка или подобна НDR ступени, но может быть любой) и каждая ступень в целом отличается от разности между представлением сигнала с точностью в X бит и точностью X+Y бит, указанные разностные изображения не обязательно должны иметь ограниченный диапазон значений. В принципе, они могут быть любыми, вплоть до 16-битового изображения типа исходного HDR вместо 8-битового разностного изображения, например, если предсказание оказалось настолько плохим, что предсказывает последовательные нули для пиксельных сигналов яркости, с учетом того, что HDR пиксельные сигналы яркости составляют, например, 65000, 65004 и т.д. (хотя указанный наихудший сценарий маловероятен, можно в этом случае разрешить кодеку изредка делать ошибки). В любом случае результаты тестирования некоторых кодеков, реализующих кодирование с предсказанием и созданием коррекционного изображения, показывают, что для них может потребоваться большой объем кодированных данных, и что, в частности, в этих данных может быть закодирована информация об изображении, которая в действительности не релевантна использованию HDR, например, коррекция модельных ошибок предсказания, которые отобразили HDR сигналы яркости в неправильном направлении, или структуры шума, или структуры изображения, которые не релевантны в психовизуальном плане, или по меньшей мере структуры не самых важных изображений, которые вносят вклад в HDR эффект (в иерархии HDR релевантности, например, пламя может быть важным, и его вид может быть закодирован несколькими правильно выбранными словами данных).

Таким образом, назначением представленных ниже технологий является создание методик LDR кодирования (то есть, любые более качественные (по сравнению с LDR) методики кодирования областей изображения по всему диапазону сигналов яркости), которые обеспечивают более эффективное управление кодированием по меньшей мере, если не всех, HDR аспектов в сцене (например, источники света, освещение объектов, например, солнечным светом в некоторых областях изображения, улучшенное воспроизведение некоторых аспектов, таких как локальный контраст и т.д.), что дает указанные потенциальные преимущества, такие как, например, более низкий расход бит или по меньшей мере более значимую информацию в иерархии кодированных бит.

Сущность изобретения

Некоторые из проблем, связанных с достижением цели изобретения, решаются способом декодирования кодировки изображения (LDR_CONT), соответствующей первому динамическому диапазону яркости (R_oLDR), в выходное изображение (HDR_FIN) со вторым динамическим диапазоном яркости (R_oHDR), в котором кодировка (LDR_CONT) изображения представляет собой закодированные пиксели исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном, причем способ содержит:

тональное отображение с использованием заранее определенной стратегии (FL_2H) тонального отображения по меньшей мере яркости пикселей в кодировке (LDR_CONT) изображения в яркости пикселей в промежуточном изображении (HDR_PRED), соответствующем, второму динамическому диапазону (R_oHDR) яркости, и модификацию яркостей по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED) путем их умножения на заранее определенные мультипликативные множители, результатом чего является выходное изображение (HDR_FIN).

Под кодированием пикселей имеется в виду, конечно, информация об этих пикселях (поскольку пиксель представляет собой текстурный цветовой отсчет для конкретной позиции дискретизации, как это определено в выбранной колориметрической системе), то есть, текстурах, которые они представляют, то есть, цветовые представления (например, YCrCb или RGB) этих пикселей. Но LDR_CONT не содержит действительного представления в цвете кодировки исходного HDR изображения (даже в том случае, как если бы кодирование было выполнено в виде изображения 3×8 бит), а представляет скорее преобразование этих цветов в новые цвета, которые сохраняются в LDR_CONT, где новые цвета однако еще содержат пространственно-статистическую информацию о цветах, необходимую для воспроизведения исходного изображения. Таким образом, пиксели представляют еще и туже структуру геометрического объекта изображения, но с другим колориметрическим видом, при воспроизведении на конкретном дисплее, отличным от введенного исходного HDR изображение (но информация, независимо от колориметрического преобразования теоретически совпадает с информацией в исходном изображении; то есть, качественная фиксация информации в HDR сцене почти вся присутствует в кодировке LDR_CONT изображения, и ее можно повторно получить по меньшей мере с использованием дополнительных метаданных и в частности, метаданных согласно настоящим вариантам осуществления изобретения). Имеется ввиду, что динамический диапазон, соответствующий или связанный с изображением, предназначен для воспроизведения в первую очередь на дисплее с конкретным динамическим диапазоном, или отображает аналогичный диапазон (точное различие между динамическим диапазоном воспроизведения, определяющим содержание кодировки указанным путем, и тем, что люди обычно считают динамическим диапазоном, например, 8-битовой кодировки яркости, имеющим смысл только для линейных кодировок, поясняется ниже). Под стратегией тонального отображения имеется ввиду, например, простая глобальная функция тонального отображения или, например, любой алгоритм, который в конце концов изменяет пиксельные цвета в кодировке изображения в цвета выходного изображения.

Весьма интересным подходом к реализации указанной системы с обратно совместимым непосредственно используемым LDR сигналом, является способ декодирования кодировки сигнала (входного или эталонного) изображения или видео с расширенным динамическим диапазоном в сигнал выходного изображения или видео с расширенным динамическим диапазоном, причем способ содержит:

тональное отображение с использованием заранее определенной функции тонального отображения по меньшей мере пиксельных сигналов яркости в упомянутой кодировке в пиксельные сигналы яркости HDR в промежуточном изображении с расширенным динамическим диапазоном; и

модификацию яркостей по меньшей мере некоторых из HDR пикселей указанного промежуточного изображения путем их умножения на заранее определенные мультипликативные коэффициенты.

Под кодированием имеется в виду любое представление изображения сцены, не обязательно сжатое, но, в частности, с интеллектуальным использованием характеристик HDR сцены в ее представлении (например, распределение поддиапазона сигналов яркости для объектов с усредненной серостью и другого поддиапазона для световых эффектов). Для простоты описания сосредоточимся на сигнале яркости, поскольку предварительное описание освещенности объектов является более важным фактором для визуального качества, чем цвета вокруг объекта оказывают несколько меньшее влияние (например, поскольку мы не знаем цвет рубашки диктора). Таким образом, если необходимо ввести деформации, например, из-за проблем с формой цветовой палитры, лучше сделать их в отношении цветности. Специалистам в данной области техники известно, что также можно задать хроматические аспекты цвета вокруг оси яркости, задав цветовую гамму, отображающую цвета (например, некоторую функцию оттенка и насыщения) вокруг предварительно описанной яркости, или путем представления по трехцветной оси R, G, B вместо представления сигнала яркости, цветов и т.д. Поскольку этот вопрос не относится к сути изобретения, мы не будем заниматься поиском его усовершенствованного решения. Специалистам в данной области техники понятно, что операции, которые можно выполнить по каналу яркости (преобразование и модификация), конечно, можно также выполнить по-другому цветовому каналу, например, по каналу красного (Red канал). По сигналу можно понять, как данные изображения сформатированы согласно некоторому стандарту, особенно, когда добавлены метаданные, поскольку изображение в данном описании можно понимать как необработанную матрицу пиксельных цветов (но изобретение можно легко понять в обеих формулировках)

Далее описывается способ, который может найти полезное приложение, где кодируются в основном HDR сцены (имеется по меньшей мере одна совместно закодированная функция преобразования, но некоторые HDR области с высокой яркостью можно кодировать, например, дополнительным образом, используя локально размещенное изображение, для обеспечения набора пространственно локальных пикселей на стороне декодера) в виде традиционного 8-битового изображения (то есть, например, закодированного с использованием MPEG-AVC кодирования), которые называются здесь «HDR_encoded_as_LDR» (или это можно также назвать «LDR_container» кодированием, так как HDR упакован в оболочку LDR). В этом примере кодирование выполняется для LDR, MPEG или JPEG и содержит информацию о входном видеосигнале с расширенным эталонным динамическим диапазоном, например, 16-битовый линейный сигнал. Можно понять, почему такое кодирование может найти применение во многих сценариях. Хотя, чтобы с максимальной результативностью избежать образования полосчатой структуры на тонких переходах или на очень тонкой текстуре объектов, при существующей яркости и размерах дисплеев возможно потребуется даже больше 8 бит. Однако для сложных текстур объектов, которые быстро перемещаются в изображении может оказаться приемлемой и 6-битовая аппроксимация. Таким образом, любое преобразование, которое сжимает значительный поддиапазон яркости не менее чем на 6 бит, может дать хороший результат. Для всего диапазона при сокращении с 8 до 6 бит в результате отображения LDR - HDR 8-битовая цветокоррекция позволит обеспечить линейные расширения или гамма-коррекцию, которые регулируются с коэффициентом 4, или в 2 стопа. Особенно для приложений, где критическим является пропускная способность/память или расход бит, очевидно, что для того, чтобы иметь кодирование, позволяющее обеспечить большинство функций HDR с весьма высоким, но не с максимально возможным качеством, потребуется гораздо больше бит (и вероятно даже для многих так называемых высококачественных приложений в любом случае будет больше артефактов путем, например, из-за неадекватной или рискованной настройки квантователей коэффициентов DCT-преобразования и т.д.

Следует тщательно подумать, чтобы понять важное отличие предложенного здесь подхода (который далеко не всем понятен) между сигналом, закодированным (например, для использования путем непосредственной подачи этого сигнала в качестве сигнала возбуждения) для конкретного диапазона яркости типа LDR диапазона, и информацией, которую он в действительности содержит. Поскольку здесь полностью исключена связь между кодированием и воспроизведением это можно сделать. Единственное, что необходимо - это сдвинуть информацию в поддиапазонах яркости на подходящие уровни вдоль диапазона [0.1] или [min_luma, max_luma] для правильного воспроизведения на конкретном дисплее. Например, кодировка может быть построена таким образом (например, с ручной цветокоррекцией), чтобы обеспечить прекрасное по визуальному качеству изображение на LDR дисплее (заметим также, что здесь описаны диапазоны, соответствующие кодировкам с яркостями, а не сигналами яркости, причем яркости являются линейными выходными результатами, которым соответствует кодировка изображения при конечном воспроизведении, в то время как сигнал яркости представляет собой действительную кодировку, которая теоретически может быть любой, например, яркость 0,1 нит может быть закодирована как сигнал яркости 32, а яркость 200 нит как сигнал яркости 0). Это означает, что, например, выполнена цветокоррекция более темных областей, так что обеспечивается достаточная видимость структуры при низкой пиковой светлоте (например, дисплей 100 нит), и то удалось избежать визуальную нечеткость в едва распознаваемом черном цвете. Но такая цветокоррекция изображения не очень применима к HDR воспроизведению, поскольку, например, более темные области изображения могут рассматриваться как слишком яркие для передачи правильного впечатления от сцены. Однако заметим, что это скорректированное LDR изображение (которое нужный режим темной области ??) может содержать информацию (например, пространственные вариации структуры пиксельной яркости) о более узком диапазоне или поддиапазоне исходной сцены, или более широком диапазоне (поддиапазоне) яркости. Например, можно создать LDR сигнал путем использования простой камеры, которая отсекает освещенные солнцем внешние области до максимума белого (255), сохраняя те же значения сигнала яркости темной средней части. Либо можно использовать интеллектуальный алгоритм отображения цветовой палитры, который включает некоторые из исходно зафиксированных текстур освещенных солнцем областей. Это позволяет сжать их в узком динамическом диапазоне LDR изображения (обычно считается, что сжатие уменьшает количество бит, но более важным вопросом является то, каким образом распределить подобласти цветовых палитр сигнала яркости (в форме шатра), оттенка и насыщенности, которые соответствуют некоторой кодировке), с некоторыми ошибками, учитывая, что указанная сцена никогда не может быть точно воспроизведена системой LDR отображения. Тем не менее, помимо ошибок округления еще остается HDR информация. То есть при LDR кодировке указанным образом возможно прямое воспроизведение (пастельная внешняя область с более или менее той же средней яркостью, что и более темный интерьер, в любом случае гораздо лучше, чем клиппирование). Но наличие HDR информации в кодировке также полезно для HDR воспроизведения, но тогда, конечно, сначала потребуется правильное тональное отображение для получения правдоподобно выглядящего выходного изображения. Однако следует заметить, что в качестве альтернативы этой весьма полезной обратно совместимой системе кодирования HDR сцен в виде полезного LDR сигнала (то есть, с правдоподобным видом при непосредственном использовании LDR дисплея), аналогичные основополагающие технические принципы настоящего изобретения могут быть использованы по-другому.

То есть, можно также использовать, например, 8-битовую кодировку, но с цветокоррекцией для использования в HDR дисплее, допустим, с освещенностью 3500 нит. То есть, такой сигнал будет дифференциально градуирован в том смысле, что, как правило, он будет иметь сигналы меньшей яркости для более темных областей. В этом случае нет необходимости восстановления HDR сигнала (то есть, для средства восстановления с HDR диапазоном яркости) из LDR сигнала, но можно получить LDR сигнал для обычного дисплея из 8-битовой HDR цветокоррекции путем применения тонального отображения, которое имеет обратимый характер (например, расширение сигналов более темной яркости вместо их сжатия). Функция тонального отображения совместно кодируется аналогичным образом в метаданных, но грубо говоря, в противоположном виде (сжатие вместо расширения). Затем вышеописанные мультипликативные модификации применяются для LDR предсказания, а не для HDR предсказания. Конечно, рассматриваемый способ может быть реализован в любой другой системе, где обеспечивается достаточный уровень предсказания, но по меньшей мере для некоторых сценариев желательна еще и некоторая коррекция с использованием небольшого количества дополнительных бит для доминирующего эффекта, то есть, для некоторых частей ряда изображений. Например, смягчив ограничения, свойственные традиционной 8-битовой кодировке, целесообразно выполнить тональное отображение HDR (например, используя 10-битовый контейнер) с последующим повторным получением HDR для любого эталонного дисплея (пиковая светлота) путем расширения тонального отображения с последующим применением некоторых мультипликативных точных настроек. Теперь следует прояснить, как работает данный способ, выполняя наиболее полезную доминирующую коррекцию в системах, где используются тональные отображения между кодированиями разных диапазонов яркости (первого и второго диапазонов).

Следует уточнить, что под сигналом изображения, имеется в виду любой из существующих или аналогичных способов упаковки данных изображения, например, как правило, содержащих указанные метаданные типа дескрипторов для значений данных, например, о соотношении аспектов изображения, и дополнительных метаданных, содержащих полезную информацию, относящуюся к кодированному изображению, например, для его модификации и т.д.

В отличие от способов усовершенствования, которые обеспечивают скорее логическое кодирование остаточную DIFFERENCE (разность) оригинала и предсказания (то есть, то, что следует еще закодировать), и методы, которые сфокусированы на высокую точность и избавление от битов, которые оказывают малое влияние или вообще не влияют на конечный вид HDR изображения, настоящее изобретение сфокусировано на более важных битах, которые быстро усиливают впечатление от HDR изображения. Например, можно использовать кодировки HDR_encoded_as_LDR, поскольку можно пожертвовать точностью ради диапазона. В принципе можно сказать, что потребуется более 8 бит для точного воспроизведения значений серого, особенно на дисплее с высокой яркостью, поскольку в противном случае, возникает риск появления полосчатости. Альтернативным вариантом решения этой проблемы является учет того, насколько опасны указанные теоретические ошибки на практике для визуального восприятия человеком. В высоко текстурированных областях указанные ошибки квантования обычно мало заметны, особенно в не движущемся видеоизображении. Даже если эти ошибки появляются в некоторых сценах, например, в фоновых переходах, хотя они могут раздражать глаз, вопрос, конечно, состоит в том, насколько серьезны указанные артефакты по сравнению с другими артефактами. Например, при низкой пропускной способности или полосе пропускания носителя самым важным визуальным фактором может быть способность воспроизведения HDR вида, и, если уже имеются такие артефакты, как блочность, возникающая при DCT-преобразовании, некоторая эпизодическая полосчатость может быть приемлемой. Кроме того, HDR кодирование скорее имеет склонность к выполнению правильного распределения яркости сигналов/яркостей объектов сцены и выполнению соответствующих методики кодирования типа функций тонального отображения, чем к обеспечению точности. Фактически можно считать, что 6 бит/канал является относительно хорошим значением точности представления данных для LDR, а 8 бит позволяют обеспечить более широкие диапазоны яркости. Фактически, эти два дополнительных бита позволяют использовать дополнительный коэффициент 4, который можно применить в качестве дополнительного диапазона сигналов яркости, а не для точности (например, распределение 4 разных поддиапазонов сигналов яркости для различных областей сцены, таких как «темная тень», «среднее серое/нормальная освещенность», «более яркая область (например, для областей вне помещения, освещенных солнцем)» и «сверхъяркая область», с последующим кодированием различных объектов в этих областях).

Более важно, чтобы, имея хорошее управление, можно было настроить функции тонального отображения и на этой основе оптимально распределить необходимые подобласти. В этом случае нет необходимости, чтобы все подобласти имели поддиапазон, эквивалентный 6-битовой точности, но, если некоторый важный поддиапазон (например, главный диапазон среднего серого, в котором находится актер) требует более высокую точность, то это можно обеспечить за счет другого диапазона, где почти ничего на сцене не происходит (например, можно закодировать яркий свет с использованием только пары кодов).

Это обеспечивает разнообразные возможности при попытке идентификации HDR цветокоррекции с использованием LDR цветокоррекции. При разъяснении предполагается сценарий, в котором это выполняется даже лучшим образом, а именно, получение LDR из указанного HDR. Таким образом, выполняется преобразование с использованием тонального отображения, которое в принципе (полностью или по меньшей мере в большей свое части) позволяет выполнить обратное преобразование сигнала яркости HDR в сигнал яркости LDR. Можно использовать указанные факторы один за счет другого, например, сделав полученную LDR цветокоррекцию похожей на HDR цветокоррекцию (насколько позволяет цветовая палитра LDR дисплея с более низкой яркостью), и поддерживая достаточную точность для различных (особенно для важных) поддиапазонов сигнала яркости, соответствующих пространственным поддиапазонам или объектам.

Затем указанное преобразование можно инвертировать, чтобы можно было восстановить HDR изображение из LDR кодировки, посредством тонального отображения с помощью заранее определенной функции тонального отображения, являющейся обратной функцией цветокоррекции, начиная от основной HDR ступени до, например, НDR_encoded_as_LDR цветокоррекции (например, если для перераспределения значений в представлении с плавающей точкой в стандарте [0 1] для получения LDR яркостных сигналов [0,255] используется гамма-функция 0,33, то тогда для восстановления HDR используется гамма-функция 3). В принципе можно полностью восстановить HDR сигнал, но может возникнуть ряд проблем. Поскольку желательно иметь возможность использовать LDR цветокоррекцию для обеспечения стандартного видеосигнала с высоким визуальным качеством на стандартных LDR дисплеях, и при условии, что необходимое вычисление выполняется на основе HDR сигнала (который, например, может в некоторых областях иметь очень высокий контраст для подчеркивания HDR, или наоборот, после отображения на узкий диапазон яркости может иметь слишком низкий контраст в ряде других областей), может случиться так, что LDR изображение будет выглядеть не так, как требуется. Конечно, корректировщик может затем принять компромиссное решение. Он может попробовать дополнительно настроить функцию тонального отображения, пока LDR не станет выглядеть, как положено, при этом визуальное качество восстановленного HDR должно остаться на достаточном уровне. Но возможна ситуация, когда корректировщик значительно отклонился от вышеописанного условия и установил другую ступень LDR. Он может по меньшей мере в одной области начать, например, перекрашивание пикселей некоего лица произвольным образом. В таких случаях сигнал обратного предсказания от HDR к LDR не только не будет выглядеть достаточно похожим (независимо от того, определено ли это с использованием математического критерия типа PSNR, или психовизуального критерия) на исходную основную HDR ступень (в предположении, что кодировка должна быть выполнена в соответствии с НDR_encoded_as_LDR цветокоррекцией), но, что более серьезно, может значительно отличаться, создавая другой вид HDR, или даже вообще без эффекта HDR, либо серьезные визуальные артефакты при HDR воспроизведении и т.д. Таким образом, в указанных случаях необходимо будет дополнительно модифицировать операцию восстановления HDR. В свете настоящего изобретения установлено, что лучше всего использовать не любую модификацию, а модификацию с сильным воздействием, и в частности с учетом того, что возможно многократное HDR восстановление будет относительно близко к желаемому, но при этом возможно несоответствие со значением PSNR при психовизуальном соответствии.

Коррекции можно классифицировать по меньшей мере по двум полезным типам. Либо сигналы яркости восстановленного HDR изображения серьезно смещены, например, пиксельный сигнал яркости Y_HDR_RECONSTR составляет 1024, а должно быть Y_HDR_MASTR 2048. Либо необходима небольшая коррекция, например, для внесения большего контраста или текстуры в объект сцены. Вместо выполнения небольших изменений изменения могут быть выполнены в соответствии с иерархией важности для визуального восприятия и, в частности, оба этих сценария можно обрабатывать, используя мультипликативную коррекцию. Даже в том случае, если Y_HDR_MASTR декодируемого исходного HDR был равен 2000, пиксель HDR, восстановленный посредством тонального отображения из пикселя НDR_encoded_as_LDR? можно умножить на множитель, равный 20. Это может внести ошибку 48 (или 2%), но это гораздо лучше, чем исходная ошибка 100%. Кроме того, указанная небольшая ошибка скорее всего не очень важна с точки зрения психофизиологических аспектов (при условии, что всегда присутствует шум изображения, например, из-за фотонного шума и т.д.). Если в LDR кодировке был слишком низкий контраст, который был также недостаточно восстановлен с использованием тонального отображения в HDR, его можно увеличить путем умножения, например, на 1,5, скорректировав разность между исходным и модифицированным локальным средним (или разность между первым пикселем после умножения и не модифицированным первым пикселем), модифицировав пиксели 450, 452, 449 в 675, 678 и 674, а затем 450, 453, 449. В вышеупомянутом примере с мультипликативной коррекцией для пространственной последовательности или ряда соседних пикселей также может быть задан шаблон мультипликативной коррекции на каждый пиксель. В этом сценарии можно даже внести текстуры, например, которые были целиком потеряны в результате округления в цветовом пространстве с LDR, отличающемся более низкой точностью. Например, можно снова выполнить умножение без изменения средней светлоты фиксированного сигнала яркости, равной 980, на 2,3, 4, 3,8, 1,2 и т.д.

В различных вариантах осуществления изобретения кодировка необходимых мультипликативных коррекций выполняется разными, искусно оптимизированными путями. Например, если принять более низкую точность, сначала увидим наиболее важные эффекты HDR, отпадает необходимость в произвольных мультипликативных множителях типа 1,222235, и, следовательно, можно закодировать эти дополнительные данные, для которых необходимо мало дополнительных бит. В частности, это количество бит не следует изменять на много больше, чем для НDR_encoded_as_LDR кодировки, что уже весьма эффективно), поскольку предполагается, что модификация потребуется только в некоторые моменты для некоторых (частей) изображений, поскольку во многих случаях, несмотря на возможные различия, корректировщик может принять решение о том, что в улучшении нет необходимости. Но тогда закодированные части, как правило, будут представлять собой важные HDR виды (например, металлический объект будет выглядеть более блестящим, контрастным и т.д.), либо HDR эффекты, или ослабление артефактов кодирования, которые считаются неприемлемыми и т.д. Заметим, что здесь не предполагается, что рассмотрение сценариев, где мультипликативная коррекция действует на сигнал яркости косвенно посредством модификации, например, цветовых каналов R, G, B, но добавление этих отличительных особенностей в формулу изобретения сделает ее трудно воспринимаемой.

Ниже приведены некоторые представляющие интерес варианты, основанные на рассмотренных принципах.

Способ декодирования кодировки изображения, в котором заранее определенные мультипликативные множители сохраняют в метаданных, связанных с кодировкой (LDR_CONT), причем способ декодирования содержит считывание в метаданных информации, определяющей пространственную область кодировки (LDR_CONT) изображения, для которой в метаданных кодируется по меньшей мере один мультипликативный множитель, где геометрическая форма пространственной области закодирована (503, 504, 505) в метаданных.

Понятно, что упомянутые геометрические области могут быть закодированы многими путями; например, можно определить эллипс с центром (x,y) и двумя осями, в котором соответствующая область промежуточного изображения, предсказанного первой стратегией тонального отображения, должна быть мультипликативно модифицирована, например, с использованием одного мультипликативного множителя, либо можно составить ее из подобластей, в которых, например, на каждые 10 пикселей должен использоваться отличный от других мультипликативный множитель.

Способ декодирования кодировки изображения, в котором заранее определенные мультипликативные множители содержатся в матрице (506) мультипликативных множителей, содержащей один мультипликативный множитель на пиксель или группу пикселей, где указанная матрица определена в соответствии с кодировкой геометрической формы пространственной области.

Например, можно упорядочить один мультипликативный множитель на пиксель в матрице идентификаторов (ID), которая соответствует строкам сканирования, попавшим в упомянутый эллипс, например, в первой строке 2 пикселя, затем 6 и т.д. Но также указанную взаимосвязь можно определить так, что, например, мультипликативный множитель должен использоваться, например, для 2 следующих друг за другом пикселей в упомянутой геометрической области.

Способ декодирования кодировки изображения, в котором мультипликативные множители в матрице 506 мультипликативных множителей закодированы в виде индексов в определительной таблице (520), которая содержит действительные мультипликативные множители для этих индексов.

Это позволяет использовать только одну пару индексов для кодирования самых полезных имеющихся мультипликативных множителей. Таким путем матрицу 500 можно закодировать, используя, например, только 4 бита на мультипликативный множитель.

Способ декодирования кодировки изображения, в котором определительная таблица 520 связана с дескриптором (530), который характеризует определительную таблицу, и где ее следует использовать в случаях модификации сигнала яркости, например, на конкретном снимке изображения.

Присвоение дескриптора мультипликативным множителям дает возможность использовать или повторно использовать их в конкретных заранее определенных сценариях. Например, можно в самом начале кодирования кинофильма задать определительную таблицу (520), которую следует использовать в темных окружающих областях конкретного класса при каждом их появлении в кинофильме. Но для темной окружающей области другого класса может использоваться другая таблица. Кроме того, можно определить их условно, например, в текущем снимке следует использовать указанную выбранную таблицу, но, например, только в том случае, если пиксельный сигнал яркости HDR_PRED меньше значения Lx (в других случаях мультипликативные множители можно игнорировать, если даже они закодированы), или можно проигнорировать некоторые из закодированных индексов, что позволяет повторно использовать таблицу, причем она может быть задана до указанной съемки изображений, например, в виде «не использовать 29-31» и т.д. Это также позволяет перекодировать ранее градуированный и закодированный сигнал S_im изображения.

Способ декодирования кодировки изображения, в котором при декодировании кроме того считывается тип (531) окна, указывающий, что пространственная область, связанная с этим типом (531) окна, имеет мультипликативные множители, закодированные посредством определительной таблицы, связанной с дескриптором (530), и соответствует типу (531) окна. Это можно использовать для более тесной связи определительных таблиц или их частей с частями изображения (изображений).

Способ декодирования кодировки изображения, в котором модификация сигналов яркости по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED) выполняется таким образом, что обеспечиваются ограничения умножения согласно стратегии умножения, по которой локальная средняя яркость выходного изображения (HDR_FIN) находится в пределах заранее определенного процентного отклонения от локальной средней яркости промежуточного изображения (HDR_PRED). Это можно сделать по-разному путем ввода средних яркостей или подобных значений в уравнения стратегии мультипликативной модификации.

Способ декодирования кодировки изображения, в котором считывают значение 508 типа, указывающее, что мультипликативные множители определены в соответствии с указанным ограничительным умножением. Можно закодировать ряд типов мультипликативной стратегии, из которых для разъяснения описываются два представляющих интерес типа.

Способ декодирования кодировки изображения, в котором мультипликативные множители считывают из метаданных в виде функционального определения мультипликативных множителей по текущей одномерной или двумерной позиционной координате. Можно также закодировать мультипликативные множители в виде функциональной формы, особенно если они имеют регулярную форму, и при условии, что обычно для них не требуется очень высокая точность. Например, множители 1, 4, 9 или 1, 5, 8 можно закодировать в виде квадратной функции по следующим друг за другом позициям. Хотя в целом предпочтительней использовать численное кодирование мультипликативных множителей.

Способ кодирования исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном в виде кодировки (LDR_CONT) изображения, соответствующей первому динамическому диапазону (R_oLDR), причем способ содержит:

тональное отображение с использованием заранее определенной стратегии (FL2H) тонального отображения по меньшей мере сигналов яркости в кодировке LDR_CONT изображения на пиксельные сигналы яркости в промежуточном изображении (HDR_PRED, GRAD_1LDR), соответствующей второму динамическому диапазону (R_oHDR) яркости;

определение мультипликативных множителей для умножения на с яркости по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED, GRAD_1LDR), путем анализа разности пиксельных цветов в промежуточном изображении (HDR_PRED, GRAD_1LDR) и пиксельных цветов заданного второго изображения (HDR_ORIG или GRAD_FINLDR; и

кодирование в сигнале (S_im) изображения кодировки (LDR_CONT) изображения, данных, задающих стратегию (FL2H) тонального отображения и мультипликативных множителей.

Можно закодировать, например, модификации предсказаний с более узким динамическим диапазоном, в случае, когда HDR сигнал (S_im) преимущественно приспособлен для HDR системы отображения. В этом сценарии указанная система может получить LDR изображения для подсоединенных LDR дисплеев путем нисходящего отображения 8-битовых яркостей, используемого в качестве HDR возбуждающего изображения 8bit_HDR (или при любом варианте HDR кодирования, например, 10-битового с определением функции тонального отображения в отличие от линейным HDR представления яркости). Но, как правило, кодер, конечно, может закодировать LDR_CONT, который можно просто использовать в традиционных LDR системах, и в этом случае получают предсказание HDR изображения в виде промежуточного изображения, а мультипликативные множители используют для его модификации, чтобы обеспечить приближение к HDR_ORIG. То есть, это соответствует способу кодирования исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном, где первым динамическим диапазоном (R_oLDR) яркости является узкий динамический диапазон, который, как правило, соответствует пиковой светлоте диапазона 500 нит или ниже, а вторым динамическим диапазоном (R_oHDR) яркости является расширенный динамический диапазон, имеющий пиковую светлоту, равную по меньшей мере 750 нит.

Устройство (401) декодирования HDR изображения, содержащее:

декодер (402), скомпонованный для получения кодировки (LDR_CONT) изображения, соответствующей первому динамическому диапазону (R_oLDR) яркости;

блок (403) тонального отображения, скомпонованный для получения спецификации стратегии (FL2H) тонального отображения и применения этой стратегии тонального отображения к кодировке (LDR_CONT) изображения, что порождает промежуточное изображение (HDR_PRED), соответствующее второму динамическому диапазону (R_oHDR) яркости; и

модификатор (404) пиксельного цвета, скомпонованный для получения данных (А_MUL) о мультипликативных множителях, содержащих по меньшей мере один мультипликативный множитель, и скомпонованный для умножения по меньшей мере одного мультипликативного множителя на сигнал яркости по меньшей мере одного пикселя в промежуточном изображении (HDR_PRED), что порождает в качестве выхода выходное изображение (HDR_FIN).

Устройство (701) кодирования HDR изображения, содержащее:

вход для получения исходной кодировки (HDR_ORIG) сцены с расширенным динамическим диапазоном;

средство (702) управления цветокоррекцией, скомпонованное для преобразования указанной исходной кодировки (HDR_ORIG) в кодировку (LDR_CONT) изображения, соответствующего первому динамическому диапазону (R_oLDR) яркости и скомпонованное для определения промежуточного изображения (HDR_PRED), соответствующего второму динамическому диапазону (R_oHDR) яркости, путем тонального отображения кодировки (LDR_CONT) изображения с использованием стратегии тонального отображения, закодированной в данных (FL2H) тонального отображения;

компаратор (704) различия цветокоррекций, скомпонованный для сравнения промежуточного изображения (HDR_PRED) с заданным вторым изображением (HDR_ORIG или GRAD_FINLDR) и для получения, на основе разности между этими изображениями, данных (A_MUL) о мультипликативных множителях, содержащих по меньшей мере один мультипликативный множитель, который, будучи умноженным на сигнал яркости по меньшей мере одного пикселя промежуточного изображения (HDR_PRED), порождает окончательный цвет пикселей выходного изображения (HDR_FIN), который ближе к цвету соответствующего пикселя во втором изображении, чем к цвету пикселя в промежуточном изображении (HDR_PRED); и

блок (710) кодирования, скомпонованный для кодирования кодировки (LDR_CONT) изображения, данных (FL2H) тонального отображения и данных (A_MUL) о мультипликативных множителях в сигнале (S_im) выходного изображения.

Устройство (701) для кодирования HDR изображений, как правило, кроме того содержит блок (703) пользовательского интерфейса, скомпонованный для того, чтобы дать возможность корректировщику цветов определить по меньшей мере кодировку (LDR_CONT) упомянутого изображения и упомянутую стратегию тонального отображения.

Специалистам в данной области техники очевидно, что компоненты изобретения можно воплотить множеством путей, например, в виде программного обеспечения или сигнала HDR изображения, содержащего:

кодировку (LDR_CONT) изображения, соответствующую первому динамическому диапазону (R_oLDR) яркости;

данные (FL2H) тонального отображения, используемые для тонального отображения кодировки (LDR_CONT) изображения на промежуточное изображение (HDR_PRED), соответствующее второму динамическому диапазону (R_oHDR) яркости; и

данные (A_MUL) о мультипликативных множителях, содержащие по меньшей +мере один мультипликативный множитель, используемый для умножения на сигнал яркости по меньшей мере одного пикселя в промежуточном изображении (HDR_PRED).

Или портативное информационное устройство с возможностью сохранения данных, такое как, например, диск типа «blu-ray», содержащий указанный сигнал HDR изображения.

Краткое описание чертежей

Эти и другие аспекты способа и устройства согласно изобретению станут очевидными и будут разъяснены при обращении к описанным далее реализациям и вариантам осуществления изобретения со ссылками на сопроводительные чертежи, которые служат лишь в качестве конкретных иллюстраций, не являющихся ограничениями, и раскрывающими более общую концепцию, и где пунктирные изображения используются для указания на то, что та или иная компонента не является обязательной, причем компоненты, представленные не пунктирными линиями, не обязательно являются существенными. Пунктирное изображение также может использоваться для указания на то, что элементы, считающиеся существенными, скрыты внутри некоторого объекта, или для нематериальных сущностей, таких как, например, выбор объектов/областей (а также способов их возможного показа на дисплее).

На чертежах:

фиг. 1 - схематическая иллюстрация HDR сцены;

фиг. 2а - схематическое представление яркостей объектов в HDR сцене, и фиг. 2b - схематическое представление того, каким образом можно кодифицировать яркости объектов с использованием одной возможной кодировки сигнала яркости LDR, а именно, гистограмма указанных значений сигнала яркости в LDR изображении;

фиг. 3а - схематическое представление цепочки отображения между различными представлениями изображения HDR сцены, и фиг 3В - пример функции глобального тонального отображения, которую можно использовать для отображения между двумя указанным различным представлениями;

фиг. 4 - схематическая иллюстрация устройства декодирования на приемной стороне, которое получает возможную кодировку HDR изображения согласно принципам настоящего изобретения, и которое подсоединено к HDR дисплею;

фиг. 5 - схематическая иллюстрация того, каким образом в некоторых вариантах сигнала изображения можно закодировать некоторые из данных, необходимых для некоторых реализаций вариантов осуществления изобретения, причем специалистам в данной области техники должно быть понятно, что некоторые из этих данных могут быть альтернативными, дополнительными, опционными и т.д.;

фиг.6 - схематическая иллюстрация на виде цветовой палитры, каким образом будет выполняться один пример применения мультипликативных модификаций после оптимизированного отображения между ?? и кодирования для первого и второго динамического диапазона яркости в случае использовании технологии кодирования типа НDR_encoded_as_LDR;

фиг. 7 - Схематическая иллюстрация того как может выглядеть возможная реализация устройства кодирования HDR изображений согласно принципам настоящего изобретения; и

фиг. 8 - схематическая иллюстрация другого примера кодирования, состоящего в применении концепций, отличного от сценария, где ступень цветокоррекции, используемая для LDR/традиционных дисплеев кодируют в качестве основных пиксельных данных текстуры изображения.

Подробное описание чертежей

На фиг. 1 схематически показан типичный пример того, каким образом создатель контента может спроектировать HDR сцену (будь то фотоприложение, кинофильм, подборка последних новостей, компьютерная графика и т.д.). Как правило, имеется средне освещенный интерьер, содержащий объекты типа стола 105, яркость которого чаще всего достаточно близка к середине диапазона кодирования (например, сигнал яркости 128 или около того). Имеется по меньшей мере одна область со значительно большей яркостью, а именно, в случае освещенного солнцем внешнего пространства 103, видного через жалюзи (поперечины 102) окна. Из-за жалюзи в комнате может быть достаточно темно. Снаружи имеются яркие объекты, такие как дом 104, который по идее должен быть закодирован с сигналом большей яркости в диапазоне кодирования. Внутри могут быть очень темные объекты в плохо освещенных затененных областях, например, корзина 120. Также имеются области, весьма важные с точки зрения их цветового воспроизведения как на HDR дисплее, так и на LDR дисплее. В этом примере - это человек 110. В отличие от LDR сцен, связанных с формированием LDR изображений, где обычно оптимизируют освещенность, чтобы получить определенную структуру света на лице, но с не слишком большим контрастом (например, 3:1), в этом сценарии освещения на лице могут быть яркие солнечные полосы 112, а также затененные полосы 111.

На фиг. 2а показано, как эта сцена выглядит колориметрически с точки зрения гистограммы яркости (где n - количество пикселей с яркостью L_sc), и как она может быть снята камерой, которая для упрощения объяснения характеризуется линейными свойствами в всем упомянутом диапазоне. Фактически, вместо действительной сцены можно рассматривать уже зафиксированное и, как правило, скорректированное в HDR диапазоне исходное или эталонное HDR изображение, которое содержит яркости сцены, кодифицированные теперь в качестве репрезентативных яркостей L_sc (например, в цветовом представлении XYZ) для соответствующих пикселей (здесь из прагматических соображений выбрано значение 50000 нит, до которого усечен яркий солнечный свет (1 миллиард нит). Яркости объектов внешнего окружения представлены лепестком 203. Корзина соответствует лепестку 204. Темные и яркие полосы на лице соответствуют лепесткам 201 и 202. Съемка классической LDR камерой, как правило, выполняется в поддиапазоне R_Grab_LDR-Class, и эти яркости преобразуются в сигналы яркости в диапазоне [0,255], как правило, с использованием гамма-функции Y_LDR=a+b*L_sc^gamma. Все яркости в диапазоне R_Above будут усечены до 255. В примерном варианте, разъясняющем данное изобретение, нет необходимости кодировать все значения в HDR диапазоне (Range_HDR), поскольку необходимо иметь возможность практически идентичного восстановления HDR представления (то есть, близкого основному HDR представлению) исходя из 8-битового кодирования Y_LDR_aut. Это может включать разумный сдвиг и сжатие указанных различных лепестков. В примере на фиг. 2b для темных объектов выделен узкий диапазон 284 кодов, например, возможен только Y_LDR_aut={0,1,2,3,4,5}, поскольку ожидается, что не потребуется слишком высокое качество визуального воспроизведения для этих темных областей в предполагаемых условиях просмотра. Для лепестка 283 ярких объектов выделен значительный поддиапазон поскольку необходимо иметь достаточное количество кодовых значений для кодификации достаточной информации для всех текстур в освещенной солнцем окружающей среде, например, детали на кирпичах дома 104 (которые не должны превратиться в полосы или не должны появиться слишком бросающиеся в глаза артефакты DCT сжатия, и т.д.). Теперь области лица соответствуют лепесткам 281 и 282 кодов сигнала яркости. Предполагается, что верхний предел Y1 сигнала яркости более низкого лепестка несколько отделено от более низкого предельного значения Y2 более высокого лепестка 282, относящегося к ярко освещенному лицу. Это является уравновешенным выбором. С точки зрения кодирования, для восстановления HDR изображения можно, конечно, иметь соприкасающиеся кодовые лепестки. Затем необходимо обеспечить более расширенное тональное отображение для проецирования их на требуемые диапазоны предсказанного HDR изображения. При этом нельзя забывать, что также необходимо иметь хорошо выглядящее LDR изображение, когда эта Y_LDR_aut кодировка посылается напрямую через цепочку LDR декодирования и воспроизведения (в этом случае эти сигналы яркости, как правило, преобразуются в выходные яркости дисплея посредством гамма - отображения 2.2). То есть, возможно понадобится, чтобы упомянутое расстояние обеспечило достаточный контраст лица в условиях освещения HDR сцены, воспроизводимой на LDR дисплее с ограниченными возможностями. Но с другой стороны, этот контраст внутри объекта не должен быть слишком велик, а только таким, чтобы LDR диапазон не охватывал много кодовых значений (поскольку необходимо иметь достаточно кодовых значений для объектов вне помещения, освещенных солнцем, для которых предполагается, что наиболее приемлемым вариантом воспроизведения при заданных ограничениях состоит в необходимости начинать с точки Y4 без дополнительно потерянных в дальнейшем кодов, при условии что точное HDR воспроизведение здесь никак невозможно. Следует также заметить, что сюда включены цветовые координаты пиксельных цветов через нелинейности указанных аспектов, типа двух цветовых палитр HDR и LDR динамических диапазонов. По любому, при неоптимальном кодировании лица можно увидеть, например, что-то похожее на человека из шоколадного мороженого, и в этом случае светлые части выглядят как ванильные, а более темные коричневатые части выглядят как шоколадные. В указанном случае корректировщик определенно должен продолжать цветокоррекцию, чтобы как-то улучшить вид, то есть, LDR ступень и соответствующее отображение, или при общем преобразовании следует улучшить, в идеале без слишком серьезного модифицирования восстанавливаемого HDR (которое в принципе должно быть (практически) полностью обратимым, что обеспечивает возможность точного восстановления эталонного HDR изображения).

На фиг. 3а показана возможная цепочка обработки, иллюстрирующая процесс кодирования в варианте НDR_encoded_as_LDR технологии, и создание HDR изображения, подходящего для возбуждения конкретного HDR дисплея. Начнем с эталонного скорректированного HDR изображения HDR_ORIG, которое, как здесь предполагается, должно кодироваться в пределах диапазона 301 точности с плавающей точкой между кодами 0.0 и 1.0 (или реально, например, 1.00000000). Позиции и размеры объектов сцены схематически иллюстрируют, какие поддиапазоны перекрываются объектами сцены при воспроизведении на дисплее в соответствии с некоторой кодировкой. Для HDR_ORIG предполагается, что пространство яркости является линейным. Окно (или по меньшей мере светлые объекты вне помещения) будет здесь примерно на самых больших значениях яркости, которые может выдать HDR дисплей (возможно не с пиковой светлотой, но близко к ней), так что получится действительное солнечное сияние. Корзина очень мала и поэтому она отображается на минимальные процентные значения пиковой светлоты, что для 3500 нит обеспечивают хорошую видимость для указанных темных текстур. Лицо скорректировано так, что реально оно имеет HDR вид с высоким контрастом, то есть, охватывает значительный поддиапазон от очень светлого до относительно темного. Это может достаточно приемлемо выглядеть на указанном HDR дисплее (3500) (которым может быть дисплей, использованный корректировщиком при создании эталонной ступени), но это может привести к неприемлемому виду на других дисплеях. Теперь, как показано слева, можно всегда непосредственно квантовать эти значения с плавающей точкой для обеспечения 8-битового представления (HDR_8bit с диапазоном 302, который, конечно соответствует аналогичному диапазону яркости (301), но имеет кодовый диапазон, зависящий от функции отображения). Но при таком непосредственном применении (которое предполагает линейное отображение или по меньшей мере калибровку в остальной части упомянутой цепочки, которая ведет себя как линейное непосредственное точное колориметрическое представление 1 в 1, например, XYZ изображение), в действительности нет необходимости в отображении, которое сдвигает значения светлоты объекта вдоль упомянутого диапазона, а скорее необходимо простое округление до двоичных значений.

В направлении вправо показан возможный вариант обеспечения НDR_encoded_as_LDR кодирования. Поскольку необходимо обеспечить LDR воспроизведение приемлемого вида, потребуется использовать тональное отображение F_TM1, которое сдвигает значения светлоты пикселей объекта. Например, возможно понадобится расширить воспроизводимые на дисплее выходные яркости темной корзины, чтобы улучшить ее вид, что выполняется путем выделения ей более низких значений сигнала яркости (это схематически показано в виде корзины большего размера в более широком поддиапазоне первого LDR предсказания). Окно приглушено для уменьшения сигнала яркости LDR в точке максимального значения LDR диапазона. Также может понадобиться уменьшить контраст лица, с тем чтобы еще можно было видеть более затененные полоски, но в среднем они, например, только в 2 раза темнее светлых полосок. Это первое тональное отображение может быть выполнено для получения LDR представления LDR_8BIT_AUTO, например, с помощью автоматического алгоритма, просматривающего все (региональный объект) статистические данные об указанном изображении с последующим определением функции отображения с учетом, с одной стороны, потерь из-за сокращения количества кодовых значений для субблоков объекта (например, указанные гистограммы могут быть дополнительно проанализированы, и может понадобиться пара значений, необходимых в районе максимума, и между максимумом гистограммы, количество кодов можно определить, например, на основе интегральных значений, вычисляемых исходя из пространственных градиентных показателей или текстурных показателей, типа показателя сложности и параметров квантификации деформирования формы при квантовании, и т.д.) в сравнении с математическим процессом для оценки потерь на модификации полуглобальных контрастов (например, усреднение конкретного размера и определение изменяющихся показателе освещенности и т.д.). Это может дать приемлемые результаты для многих снимков, в частности, где действительный колориметрический вид менее важен (например, темный лес, где нет необходимости увидеть слишком много деталей, с фонарными столбами перед ним, чьи бледные очертания легко квантуются в отдельное значение для любой яркости, коль скоро она велика). Но в других снимках корректировщик, в конце концов, отвечающий за LDR степень и HDR/LDR кодирование (например, для сохранения на диске типа «blu-ray») может оказаться недовольным результатом. В этом случае он может точно настроить глобальное тональное отображение изображения, чтобы обеспечить другую цветокоррекцию и вид на LDR дисплее. Для этого он модифицирует функции отображения, чтобы они стали обратимыми для восстановления HDR предсказания. Пример такого тонального отображения, состоящего из двух частных функций 320 и 321, показан на фиг. 3b. Специалистам в данной области техники понятно, как можно построить указанные функции между любой первой кодификацией Y_1 яркости (например, сигнал яркости Y=L^0,45, определенный гамма-функцией 0,45) и любой второй кодификацией Y_2, независимо от того, представлены ли они в цифровом виде или с плавающей запятой, определены ли они в виде математических функций или справочных таблиц, и т.д. Положим, что в данном примере Y_1 представляет собой кодировку HDR_ORIG с плавающей точкой, а Y_2 - кодировку LDR_8BIT_AUTO. В случае, когда лицо находится на участке 321, можно попробовать, например, уменьшить наклон этой части (сохраняя ее монотонно обратимый характер). Это может повлиять также на расположенное ниже отображение 320, если необходимо восстановить больше кодовых значений. На фиг. 3а предполагается, что корректировщик модифицирует 8-битовую LDR_8BIT_AUTO кодировку в более предпочтительную кодировку LDR_CONT, имеющую наилучший вид на локальном типовом LDR дисплее. Конечно, для более высокой точности, как правило, корректировщик применяет отображение с плавающей точкой. В идеале он сможет решить эту проблему путем тонкой настройки глобальной функции отображения изображения, которая является окончательной функцией, полученной в результате использования вышеописанного автоматического алгоритма, и обусловленной тем, как она была тонко настроена вручную. Может быть ряд причин, по которым корректировщик решает, что он не может или не хочет перейти к использованию указанной функции (например, из-за того, что при доводке лица он искажает и другие цвета в изображении или другие изображения, если он пытается использовать данное отображение при съемке последовательных изображений). В этом случае он может использовать более сложные колориметрические модификации, например, локальные операции на лице. Здесь символически показано изменение некоторых пикселей в LDR_8BIT_AUTO для получения окончательной кодировки LDR_CONT, на которой нарисованы усы. Конечно, создатель оригинального контента обычно не предложит ему внести такие радикальные изменения в свой контент, но здесь это сделано для иллюстрации возможности выполнения операций, которые не просто удовлетворяют условиям, вытекающим из простой обратимой цепочки HDR_ORIG-> LDR_CONT-> HDR_PRED (показанной с операционной ошибкой). Корректировщику может быть разрешено, например, выполнить операцию повышения пространственной резкости на некотором объекте в темноте, чтобы несколько улучшить его восприятие, или, чтобы его техническое решение удовлетворяло требованиям качественного LDR воспроизведения и высококачественного HDR воспроизведения. При использовании простых обратимых глобальных тональных отображений изображения можно, используя инверсное тональное отображение FL2H всего, что было отображено для перехода от HDR_ORIG к LDR_CONT, получить в качестве предсказанного HDR сигнала (HDR_PRED) точно такой же сигнал, как HDR_ORIG. По меньшей мере с точностью до ошибок (с учетом (DCT) сжатия видео). Впрочем, аргументация заключается в том, что обычно доминирующим показателем качества HDR воспроизведения является то, что яркость у всех объектов находится примерно на нужном уровне, и что некоторые незначительные артефакты не так уж критичны.

Согласно настоящему изобретению независимо от того, случилась ли ошибка из-за округления (или даже из-за усечения) в LDR_CONT, или из-за некоторой необратимой модификации, типа появления усов, эта ошибка будет скорректирована путем применения умножителя для мультипликативной коррекции по меньшей мере к несколькими пикселям HDR_PERD, то есть, как правило, к тем нескольким пикселям, где появление ошибки считается неприемлемым (как правило, это очень важный объект в небольшом количестве кадров кинофильма) в результате чего получается конечное высококачественное HDR изображение (HDR_FIN).

Интересно посмотреть, как с точки зрения цветовой палитры работает данное изобретение, используемое на примерном НDR_encoded_as_LDR (или другими словами, кодировка LDR контейнера для HDR представления). Затем следует реализовать изобретение так, чтобы кодировка соответствовала некоторому эталонному дисплею, который необязательно должен иметь точно такие же характеристики, как дисплей, на котором в действительности будет показано данное изображение. Очевидно, что не каждый, работающий по аналогичной цветовой технологии, согласен с этим. Конечно, RGB кодирование имеет определенный смысл, если только известно, какие основные цвета R, G и B были предварительно выбраны (например, основные цвета EBU в старых трубках CRT или бледно голубой в некоторых трубках LCD). Но еще имеются характеристики, которые потенциально релевантны конечному смыслу цветового кодирования (например, пиковая светлота белого, функция отображения кодировки между сигналом яркости и яркостью (причем это может быть по множеству разных причин), аспекты, относящиеся к состоянию адаптации зрителя, такие как параметры, определяющие окружение и т.д. (а иногда характеристики конкретного дисплея взяты отдельно и уже введены в кодировку)). Но не каждый считает, что все эти факторы одинаково релевантны каждому прикладному сценарию; например, некоторые считают важной хроматичность белого на дисплее, но не считают необходимым иметь пиковую светлоту в предположении, что это имеет меньшую релевантность (или часто игнорируют эту релевантность в предположении, что цвета можно восстановить с приемлемым качеством в относительным колориметрическом варианте). Например, для печати можно сделать только одну оптимальную распечатку, где белый цвет на бумаге дает только относительную максимальную яркость (100%). Реальные яркости (физическая величина) и значения светлоты (психовизуальная величина) цветов в распечатке будут однако зависеть от того, рассматривают ли их вне помещения на солнце, в сумерках внутри дома или темным вечером на улице. Это может, между прочим, влиять на насыщенность цвета этих напечатанных объектов в изображении. На фиг. 6а показана типовая цветовая палитра системы воспроизведения аддитивных цветов типа дисплея на CRT с 3 основными цветами (на основе цветовых кодировок классического телевещания типа тех, которые определены в стандартах MPEG). Большинство людей знакомы с цветовым кубом RGB в линейном цветовом пространстве RGB или XYZ, и знают, что цветовая палитра дисплея, соответствующая указанному дисплею, или кодировка, полностью и линейно его возбуждающая, похожи. Эта шатрообразная форма появляется, если начертить в качестве базы треугольник цветов в некотором цветовом пространстве типа (x,y) и взять в качестве «оси Z» линейную яркость L_o. В случае использования сигнала яркости Y, который представляет функцию мощности (типа гамма 2.2) или подобную (относительно простую) функцию, то получим еще один шатер, который несколько деформирован (как правило, более низкие части будут растянуты, а более высокие части сжаты, но, поскольку кодировка с гамма-коррекцией или кодировка сигнала яркости фактически нормально работает по каждому каналу, везде возникает некоторое сжатие (коль скоро имеются цвета, такие как желтый (J), имеющий яркость, несколько меньшую, чем у белого (и цветовая кодировка [1,1,0] в отображенных кодах яркости/гамма). Фиг. 6b иллюстрирует технологию кодирования. Имеется только два 8-битовых кода (которые имеют одинаковую шатровую форму), объекты изображения (и в частности, их значения серого, которые называют здесь значениями яркости или в действительности, сигналами яркости, если речь идет о кодировании, то есть, здесь используется терминология, аналогичная YCrCb кодировке, в которой Y - это сигнал ахроматической яркости, а CrCB - каналы, содержащие в основном хроматическую информацию), закодированы в них раздельно. Это показано путем использования разных размеров и позиций некоторых объектов. Это сначала может показаться странным, если рассматривать кодировку в качестве представления заснятой сцены (например, на выходе камеры), но это становится более понятным, если учесть, что это представление должно быть ориентировано при отображении, то есть, должно использоваться для возбуждения дисплея с оптимальным распределением цветов объектов изображения для конкретного дисплея (будь то прямое возбуждение, при использовании минимальной или экстенсивной обработки цвета для оптимального воспроизведения выходного изображения). Например, обычно можно зарезервировать большую область кодового пространства (то есть, соответствующую цифровую палитру) для светлых объектов (обозначенных солнцем, но в действительности это может быть объект со сложной структурой с изменяющимися процентными характеристиками отражения) в HDR кодировке, поскольку более яркий дисплей имеет много цветов, которые можно воспроизводить ярко (а LDR дисплей имеет их мало или совсем не имеет). Следовательно, LDR кодировка может обеспечить резервирование меньшего количества цветов для указанных светлых объектов. В действительности, если это была бы LDR кодировка, указанные цвета могли бы быть просто отсечены, как это встречается в настоящее время в ряде телевизионных программ. Однако, исходя из целей изобретения, отметим, что подробные детали должны сохраниться для реверсивного отображения из кодировки LDR контейнера (8bLDR на фиг. 6b) в предсказанный HDR (8bHDR). Как правило, основные области, имеющие яркость около 18% серого в LDR диапазоне можно хорошо представить с помощью главной области кодовой цветовой палитры, как показано с использованием упомянутого лица. Темным объектам может быть выделены больше и/или более высокие коды в кодировке LDR контейнера, чтобы сделать эти объекты лучше видимыми на более темных дисплеях (путем присвоения большего веса критерию, относящемуся к визуальному качеству LDR отображения). Понятно, что изменение размеров кодовых диапазонов (по оси сигнала яркости , здесь направления цветов не объясняется) означает, что они могут наплывать друг на друга и отбирать некоторую часть диапазона других объектов, что хорошо для объектов с растянутым кодом (но не обязательно для растянутого цвета/яркости, так как это также будет зависеть от конечного отображения цветовой палитры и характеристик дисплея). Таким образом возможно будет надежнее распределять минимальные диапазоны, например, средний диапазон MSR можно выбрать между более низким значением Y1 и более верхним значением Yu сигнала яркости, которое содержит минимальное количество кодов, требуемых для основных (хорошо освещенных) объектов в изображении, и в дополнение к этому можно определить расширенный диапазон HSR для световых эффектов (а также часто и для узкого диапазона LSR для специальной обработки более темных областей в изображении).

На фиг. 6с показано, что отображение цветовой палитры, как правило, похоже (здесь для простоты показано только одно поперечное сечение одного тона, демонстрирующее плоскость яркости и насыщенности) в случае, когда требуется отображение из первой цветовой палитры (GAM_1), которая способна восстановить в некоторой области (областях) цветового пространства некоторые цвета (например, имеющие более высокую чистоту/насыщенность), которые не могут быть воспроизведены на дисплее другой цветовой палитры (GAM_DIS). В указанных технологиях обычно фиксируется белый из обеих палитр в одной и той же точке (для простоты, в предположении, что цветовая температура точки белого одинакова). Тогда задача оптимизации состоит в распределении входных цветов за пределами цветовой палитры (цвет Col_in) по выходным цветам в цветовой палитре дисплея (либо наоборот для другого варианта) с минимальным визуальным отклонением цвета от исходного цвета. Как правило, диапазон для перемещения применяемых цветов за границы цветовой палитры дисплея в смежную область используют сжатый профиль распределения, но в пределах границы цветовой палитры дисплея, поскольку желательно иметь возможность несколько отличать цвета (хотя возможно наличие физического или видимого квантования до равных значений). Имеется несколько вариантов отображения цветовой палитры, в которых согласовываются различные виды цветовой ошибки. Например, для областей палитры GAM_1, которые оказываются на GAM_DIS (в частности, с поддиапазоном GAM_1 с параллельными границами) можно использовать проецирование в направлении оси яркости, которая также идет с уменьшением яркости L_o, например, в направлении выбранного уровня серого по оси яркости.

В рассматриваемой кодировке LDR_CONT LDR контейнера имеется ряд различных аспектов, показанных на фиг. 6d. Заметим, во первых, что конечно, можно определить LDR_CONT кодировку с основными цветностями, отличными от HDR кодировки (в этом случае имеет место 8-битовое HDR предсказание), что не является обязательным, учитывая принятое допущение об одинаковости основных цветов, и это означает, что эталонные цветовые палитры дисплея, соответствующие указанным кодировкам, имеют одинаковую базовую часть цветовой палитры. Здесь показана (представлена с использованием яркости) HDR цветовая палитра, соответствующая дисплею с удвоенной пиковой светлотой и удвоенными максимальными яркостями для сигналов основных цветов. Физически это можно реализовать, например, с помощью LED дисплея с белой двумерной задней подсветкой на основе LED, где светоизлучающие диоды (LED) являются регулируемыми, и при полной нагрузке дают удвоенную яркость (например, 1000 нит) в той же LCD панели, что и LDR, достигая эталонной пиковой светлоты, например, с использованием термолюминесцентной (TL) задней подсветки (например, 500 нит). Здесь для простоты проигнорированы такие вопросы, как, например, потери, неоднородность задней подсветки, уменьшенное возбуждение с целью энергосбережения и т.д., поскольку все они соответствуют модификациям, основанным на принципе, который отклонятся от основополагающих положений настоящего изобретения и вариантов и версий его осуществления. Поскольку некоторые из областей яркости, в которых LDR воспроизводит объекты в выходном изображении, перекрываются с областями яркости, используемыми HDR дисплеем для воспроизведения, здесь HDR воспроизведение показано с использованием пунктирного изображения объектов.

Очевидно, что в рассматриваемых приложениях внимание преимущественно акцентируется на поведении систем вдоль оси яркости и соответственно сигнала яркости. Вот почему здесь описывается подход на основе сравнения абсолютных яркостей цветовых палитр. Оптимизация всех компонент кодировки (например, инструментов, используемых корректировщиком) выполняется с учетом вида рассматриваемой яркости или светлоты/освещенности, со всесторонним описанием всех связанных с этим факторов. Темная корзина воспроизводится практически одинаково на обоих дисплеях, но в HDR варианте она выглядит чуть темнее, учитывая сделанное предположение, что в сценариях воспроизведения будет использоваться HDR кодирование, но при сходных условиях окружающего освещения HDR воспроизведение возможно позволит воспроизводить несколько более темные объекты, чем система LDR воспроизведения. Сигналы яркости, соответствующие требуемым значениям яркости для пикселей корзины могут быть почти любыми, при заданной изменчивости отображений, которые может использовать корректировщик для определения изображения LDR контейнера (которое затем превратится в кодировку, определяющую отображения), а в действительности для определения также и того, как следует интерпретировать HDR_PRED изображения. В общем случае предполагается, что порядок яркостей сохранится при кодировании сигналов яркости, а также при отображении в и из LDR_CONT. Но это не предполагает, что, поскольку LDR корзина охватывает больше значений яркости, она должна также охватывать больше значений сигнала яркости, чем при HDR кодировании. Возможно, что в 8-битовой LDR_CONT охватывается меньший кодовый диапазон сигнала яркости, чем, например, в 8-битовом HDR_PRED. В этом случае HDR_PRED корзины может иметь некоторое количество недостающих или интерполированных кодов. Но в общем случае, поскольку предполагается прямая подача посредством 2.2 гамма-коррекции на LDR дисплей, можно израсходовать несколько больше кодов сигнала яркости в LDR_CONT кодировке, чем в HDR кодировке.

Объекты средней области, такие как хорошо освещенные лица, как правило, кодируют где-то близко к среднему диапазону LDR цветовой палитры (код 128 или 18% серого или вышеупомянутый стоп). В случае использования HDR дисплея желательно восстановить изображения с подобными яркостями с тем, чтобы они выглядели как нормально освещенные объекты. Но можно немного использовать более широкий диапазон яркостей HDR дисплея, разделив его на несколько уровней светлоты основных объектов и зарезервировать несколько поддиапазонов для светлых объектов. Это является еще одним отличием по сравнению с классическим отображением цветовой палитры. Можно отказаться от оптимизации такого отображения в соответствии с визуальным подобием, и не только на основе таких аспектов, как подобный вид LDR воспроизведения. С другой стороны, может потребоваться выполнить настройки отображений, не опираясь на описанные здесь технические решения, путем создания HDR вида особым путем. Это лучше всего можно понять в случае, когда речь идет о более светлых объектах. Невозможно придать подобный вид объектам при LDR воспроизведении/кодировании как при HDR воспроизведении/кодировке по техническим соображениям, не имеющим отношения к фиг. 6с. Даже если HDR многократно используется в сфере дисплейной технологии, где описания физической яркости предпочтительно должны дополняться психофизиологическими описаниями (хотя для технологий возбуждения и кодирования достаточно иметь яркости и сигналы яркости, а психофизиологическая составляющая, если она не используется автоматическими интеллектуальными алгоритмами, обычно учитывается корректировщиком при обработке). Например, имеется яркость конкретного дисплея, при превышении которой лампы действительно выглядят как при HDR кодировке, а не как бледные отражающие объекты, как при LDR (которые в лучшем случае формируются в мозгу в виде ярких ламп из-за семантического распознавания, но это воспринимается и ощущается не одинаково). Также, кроме ограничений LDR цветовой палитры и вопросов, касающихся предпочтительного LDR вида (корректировщик возможно захочет сделать так, чтобы LDR вид по какой-то причине значительно отличался), конечно, имеется дополнительный фактор обратимого отображения в HDR_PRED, который накладывает дополнительные ограничения при оптимизации на основе таких аспектов информационного кодирования, как количество кодов, которое следует выделить конкретному объекту или диапазону яркости/цветов HDR дисплея в кодировке LDR_CONT.

Лампа накаливания представляет указанный объект со значительно более высокой (HDR) светлотой, и некоторыми изменениями светлоты при заданной текстуре объекта в результате воспроизведения. С учетом всех ограничений желательно выполнить кодирование в поддиапазоне LDR_CONT, близком к основному диапазону, содержащему лицо. Возможно, что в результате не получится такой же вид на LDR мониторе, но этого и не должно бы быть, и теперь для кодирования используют способ, который дает хороший или приемлемый вид даже в LDR. Например, в сочетании с правильно выбранными цветами окружающих пикселей, что приводит к окончательному определению цвета в мозгу человека, например, лучи света вокруг и т.д., это может выглядеть достаточно похожим на лампу при использовании LDR. В цветовой палитре HDR дисплея есть возможность свободно распределить указанные различные светлые объекты выше диапазона яркости таких основных объектов как лицо, что обеспечивает выразительный HDR вид. И конечно, этим значением яркости соответствуют сигналы яркости HDR_PRED (будь то 8-битовое кодирование или, что предпочтительно, кодирование [0,1] с плавающей точкой, которое для простоты предполагается считать линейным, то есть, с линейным описанием для распределения кодов в отличие от выходных яркостей, воспроизводящихся на дисплее, например, в промежуточном представлении IC обработки изображения).

Выше этого диапазона яркости светлых объектов могут быть еще более светлые объекты, представленные здесь солнцем, по поводу которого предполагается, что оно не воспроизводится в одном цвете при заданных предпочтительных вариантах восстановления объектов сигнала более низкой яркости в LDR_CONT на LDR дисплее (с расширением области корзины и лица), может случиться, что по меньшей мере некоторые объекты типа солнце должны будут встроены в вершину цветовой палитры. В этом случае обратное отображение поместит солнце в самую светлую область цветовой палитры HDR дисплея, но из-за более низкого качества кодирования в LDR_CONT обратное отображение может не дать те яркости/цвета, которые хотелось бы видеть при HDR воспроизведении. При использовании мультипликативных модификаций умножитель может легко перейти к созданию улучшенной HDR кодировки для указанного солнца, более соответствующей требованиям к HDR воспроизведению, в частности, как это было сделано, в эталонной HDR кодировке.

На фиг. 5 схематически показаны два полезных варианта возможных мультипликативных модификаций, где схематически показан сигнал 500 изображения, представленный как состоящий из блоков данных, которые могут, как правило, последовательно поступать во время потоковой передачи или сохраняться в различных пространственных сегментах памяти. Как правило, например, после заголовка 501 изображения, или индикатора запуска съемки или временного ряда последовательных изображений, подлежащих рассмотрению по аналогии с их колориметрическими многократными отображениями, идут метаданные для модификации некоторой части изображения. Зарезервированное кодовое слово 502 (например, POS) дает информацию о том, где следует применить мультипликативные модификации, а затем, идут параметры определения области, такие как начало x,y прямоугольника и его ширина (w в зарезервированном кодовом слове 505), и тогда можно декодировать строку мультипликативных множителей в таблице 506 множителей. Возможны другие кодировки, например, пороги сигнала яркости, позволяющие обеспечить более точные определения границ объекта, как это описано в заявке США US 61/615409, но можно предпочесть «прямоугольный» подход и определить форму коррекции мультипликативных множителей. Прямоугольник может быть задан начальными координатами 503 и 504 и шириной 505 (то есть, зарезервированная позиция, содержащая кодовое слово, кодирующее ширину), которая может быть закодирована, например, за заголовком 501 настоящего изображения. Также можно использовать код 515 времени, указывающий, в каком изображении съемки предполагается применить сигнал (хотя это не обязательно, поскольку пространственный код может уже находиться за заголовком конкретного изображения) и, конечно, может быть ряд спецификаций, дающих возможность отслеживания и деформирования объектов. Специалистам в данной области техники очевидно, что может быть множество альтернативных вариантов кодирования, например, с пороговыми значениями сигнала яркости, позволяющие точно сегментировать объекты по пикселям, хотя возможно в общем случае отдать предпочтение простым/надежным кодификациям, если необходимо каким-либо образом закодировать небольшой объем данных, или отсутствуют другие специальные требования. Например, разумеется, что с целью расширения контраста также можно получить мультипликативные множители для пространственных наборов пикселей, например, один для левой части объекта, а другой для правой части объекта (или, например, темные и светлые полоски на лице) и т.д.

Интересно, что сигнал изображения, как правило, содержит индикатор 507 типа мультипликативной коррекции, который идентифицирован в указанном сигнале зарезервированным словом MUL_TPY или чем-то подобным, и его значением, которое должно принимать по меньшей мере два значения.

Например, значением 508 типа может быть «M_NORM» (или другая кодификация типа «1»), и в этом случае операции умножения выполняются непосредственно со значениями сигнала яркости базовых пикселей. Это можно использовать для записи структуры, например, в лампе, которая была усечена до 255, и, например, до 1018 после усечения до HDR. Затем последовательные значения сигнала яркости 1018, 1018, 1018 умножаются на локальный множитель пикселя, закодированный в метаданных (например, x1.2, х1.4, и т.д.). Для экономии бит лучше всего будет, если эти мультипликативные множители не будут закодированы напрямую, а скорее с идентификационными кодами с использованием определительной таблицы 520, которая может храниться в других метаданных, например, с регулярными интервалами в потоке или в зарезервированном секторе на диске. Причина этого заключается в том, что нет необходимости иметь максимально высокую точность восстановления, поскольку предпочтительней иметь возможность хоть как-то улучшить изображение по сравнению с предсказанием, которое может иметь серьезные искажения из-за некоторых HDR эффектов, или другие проблемы, связанные с качеством, а также из-за указанных факторов, таких как шум, присущий изображениям, сложность изображения и его объектов, а также чувствительность человеческого зрения. Как правило, корректировщик определяет нужна ли коррекция, и какая степень коррекции должна быть обеспечена, хотя, как правило, он будет иметь заранее определенный идентификационный код для умножения на множитель из определительных таблиц 520, и может выполнить тонкую настройку и определить этот множитель сам, например, добавив более точные мультипликативные множители между заранее определенными множителями, если это обеспечит значительное улучшение, а затем кодифицирует их в систему (вместо предварительно согласованных множителей, которые не обязательно закодированы в метаданных, но каким-то образом были, поскольку объем метаданных ограничен). Как правило, в вариантах указанных таблиц может быть один код, который обозначает, что ничего не выполняется, то есть, эквивалентно умножению на 1, для которого, как правило, можно зарезервировать значение 0 идентификационного кода. Здесь приведен пример двумерного окна мультипликативных множителей (Таблица 506), которое имеет, например, 6-битовые кодовые слова, заданные 32 возможными оптимизированными значениями. Самые важные мультипликативные множители, конечно, зависят от того, используют ли их для смещения цвета (M_NORM) или для расширения контраста объекта («AVG_C»). В этом примере 1 указывает, что сигнал яркости должен умножаться на 1,2, а 2 указывает на необходимость умножения на 1,4, и т.д., причем некоторые из кодов могут изменяться в сторону уменьшения значений, например, 0,9. Заметим, что возможно использование пары кодов, зарезервированных для других операций типа функциональной формулы, принимающей в качестве входных данных некоторые результаты умножения пространственно смежных пикселей, значение 30, указывающее, что следует использовать указанную первой функцию или алгоритм F1. Например, возможно, что некоторые пиксели подвергаются артефактам сжатия и чем их исправлять с помощью умножения, их можно отбросить и интерполировать их же, исходя из соседних обработанных пикселей. В конце концов сегмент 510 будет содержать в классическом варианте данные, например, для 8-битовой кодировки изображения, например, согласно предписаниям любого из стандартов MPEG ли JPEG или т.п.

Еще одним видом умножения AVG_C является умножение, которое не изменяет или едва изменяет локальное среднее, но изменяет текстурный профиль вокруг. Это полезно, например, в случае, когда имеется относительно сильное квантование и/или небольшой спад на части кривой тонального отображения для локальных значений серого. Хотя кодирующие коды, которые кодифицируют точную функциональную форму, могут привести к дополнительным значениям, может быть обеспечено значительное повышение визуального качества, а именно, резкости, контраста и т.д., путем дополнительной модификации конкретным образом тех значений, которые были закодированы в LDR_CONT. Как правило, можно обеспечить увеличение по сравнению с текущим средним, или, если отдельные значения усиления не изменяются слишком сильно, то можно даже использовать первый сигнал яркости первого пикселя из цепочки пикселей в качестве репрезентативного значения (но среднее является более точным показателем).

Затем можно записать значения сигнала яркости цепочки пикселей в виде А+dl1, А+dl2, A+dl3. А - это локальное среднее по некоторой области. Затем увеличиваем только dl, умножая Li-А на соответствующие последовательные мультипликативные коэффициенты, где Li - сигнал яркости для текущего пикселя i HDR предсказания, полученного из отображения НDR_encoded_as_LDR представления LDR_CONT. Затем добавляется среднее значение для получения значений сигнала яркости с увеличенным (или уменьшенным) контрастом, то есть, текущие выходные значения яркости Lo_i=A+mi*(Li-A).

Структура 511 данных для кодирования с усреднением (определенная на основе фильтрации) дает пример первого варианта, касающейся того, каким образом можно закодировать средние значения для вышеописанного изобретения (конечно, можно также их вычислить и зафиксировать, например, всегда по 11 пикселям, учитывая, что в процессе усреднения необходимо будет отбросить некорректные значения на самой границе, с тем чтобы не кодировать дополнительную информацию). Цифра 9 указывает, что для данного пикселя следует использовать 9 пикселей для определения локального среднего по данной строке, то есть, перед и после значений сигнала яркости 4 пикселей добавляется значение яркости упомянутого пикселя. Нули указывают, что ранее вычисленное среднее используется для мультипликативной модификации значений сигнала яркости этих пикселей. Цифра 11 указывает, что для данного пикселя следует использовать окно усреднения из 11 пикселей вокруг позиции данного локального пикселя. Конечно, специалистам в данной области техники понятно, что кодирование также может быть выполнено с другими структурами данных, например, неравномерное кодирование нулями и т.д.

Кодирование структуры 512 данных с усреднением (определенное на основе сегментации) предоставляет другой способ задания того, как можно вычислить среднее посредством использования пороговых значений. Например, на текущей строке усреднение выполняется, пока не встретится значение g2, которое, как правило, указывает на переход к следующему объекту через крайнее значение сигнала яркости. Значения сигнала яркости вдоль окна усреднения ниже g1 (аналогичный порог может быть предусмотрен для отбрасывания вышележащих значений) будут отброшены, поскольку они представляют собой, например, шумовые пики. Цифра 5 на второй строке указывает, что эта схема используется для 5 последовательных строк, а затем используются новые пороговые значения g11 и g12 сигнала яркости для управления процессом усреднения. Но следует заметить, что точное определение среднего не столь критично. Способ будет работать, коль скоро поддерживается структура без артефактов, таких как недопустимые модуляции светлоты из-за некорректно определенных соседних средних. Корректировщик имеет возможность либо модифицировать мультипликативные параметры, которые также влияют на окончательный вид, либо выбрать более точное кодирование, например, для модификации способа вычисления локального среднего. Третьим альтернативным или вспомогательным вариантом кодирования структуры данных с локальным усреднением может быть непосредственное кодирование значений среднего для использования для конкретных позиций, а также за или вокруг этих позиций. Например, среднее А1=450 используется между позицией x1, y1 и позицией x2, y2 в окне, в котором выполняется мультипликативная модификация. Дополнительно такое кодирование может быть построено в виде алгоритма, который отдает приоритет данным кодирования в (??) структуре 513 данных кодирования с усреднением, а не данным в структуре 511, например, на позиции 11 вместо вычисления по указанному окну, можно просто использовать конечное среднее значение, закодированное для указанной позиции в структуре 513, например, A2. В пользовательском интерфейсе для корректировщика эти значения параметров мультипликативной модификации вычисляются автоматически на основе разности между HDR предсказанием, при заданной предпочтительной для корректировщика ступени LDR контейнера и исходным HDR. Конечно, все это происходит под управлением корректировщика, предпринимающего конкретные действия, такие как выбор окна, подлежащего отличной от других обработке, например, использование более качественного кодирования, или конкретных действий или режимов цветокоррекции, например, на лице. Но разумеется, этот интерфейс также позволяет корректировщику фактически напрямую задавать или модифицировать различные параметры мультипликативной коррекции, например, простым легко доступным образом. Например, в том случае, когда корректировщик видит раздражающее его изменение яркости, например, пространственную модуляцию, он может выбрать эту область и, например, слегка затемнить ее, что заставляет модуль в режиме AVG_C переопределить его средние значения на более темные, например, путем их прямого кодирования в структуре 513 данных.

Очень важной частью кодирования является то, каким образом кодируются мультипликативные множители. В том случае, когда требуется коррекция области, которая подвергалась цветокоррекции очень специфичным образом в LDR контейнере (считывается так, что невозможно обратное предсказание для очень близкой аппроксимации исходного HDR при заданном, например, простом тональном отображении, которое может представлять собой конкретную функцию LUT), можно просто заменить ее некоторым прямым кодированием требуемого локального HDR сигнала. Например, корректировщик может изменить цвет лица в контейнере LDR для получения новых пикселей, что приведет к созданию другого лица в HDR предсказании по сравнению с исходным HDR. Затем можно просто совместно закодировать, например, указанные локальные части изображения (содержащие лицо), например, путем сохранения цветовых пикселей исходного LDR контейнера (то есть, первая цветокоррекция из исходного HDR в 8-битовый LDR с простыми легко обратимыми глобальными тональными отображениями) в частичном втором изображении. Но согласно настоящему изобретению предпочтительно просто запомнить мультипликативные значения, которые обеспечивают быструю аппроксимацию упомянутого исходного изображения. Например, в том случае, когда исходный HDR локально содержит значения 450, 482, 390, 520, а HDR предсказание дает для этих пикселей значения 440, 470, 350, 500, то тогда можно легко получить мультипликативные множители путем их деления, в результате которого получим 1,023, 1,026, 1,114, 1,04. Но эти мультипликативные множители нет необходимости непосредственно кодировать. Например, если все локальные множители должны быть изменены с коэффициентом 1,02, и далее с добавлением переменной последней цифры, эту последнюю цифру можно закодировать как индекс, например, равный самой этой цифре. Так, например, 3 будет тогда означать умножение на 1,023 вместо 3. Таким образом можно выполнить локальную оптимизацию и определить оптимальную таблицу. Но имеются более перспективные варианты оптимизации этой таблицы, которые можно реализовать для HDR кодирования, поскольку предсказанное значение не обязательно должно быть точным, то есть, может быть 453 и 485 и т.д. вместо 450, 482, и это обеспечивает хорошее визуальное качество в сложном динамичном кинофрагменте. Ошибка, равная 3, для значения 450 будет предпочтительнее, чем ошибка большей величины, например, 10 в любом случае, особенно если это большая ошибка настолько велика, что она сразу видна и даже вызывает раздражение, а маленькая ошибка - нет. Например, можно скорректировать артефакты «блочности», которые дают локальное искажение цветов, путем умножения на специальную нейтрализующую последовательность, что обеспечит некоторое приближение к оригинальному HDR или по меньшей мере изменит текстуру объекта, так чтобы она стала менее раздражающей (например, обеспечит более ровный цвет путем уменьшения локального контраста посредством умножения блочной текстуры на коэффициенты, меньшие 1). Кроме того, корректировщик может настроить отображения даже для специальных HDR эффектов. Например, взрыв является быстро протекающим эффектом, при котором текстура пламени должна воспроизводиться не обязательно точно, но это не относится к таким его первостепенным свойствам, как контраст. Следовательно, корректировщик может определить одну или несколько оптимальных таблиц для мультипликативных модификаций, например, с дескрипторами 530 таблиц, которые указывают, что их следует использовать для объектов определенного типа, или конкретных указанных типов 531 окон. То есть, если одно из окон относится к типу «пламя», то будет использована таблица с дескриптором «пламя» или «1».

Тогда вместо действительных мультипликативных множителей, содержащих индексы мультипликативных множителей, которые преобразуются в реальные мультипликативные множители с использованием определительной таблицы 520, будет использоваться таблица 506 множителей. Так, например, может быть обеспечена коррекция значения НDR предсказания с использованием только следующих аппроксимирующих множителей: 2% (или 1,02), 4%, 10%, 50%. В общем случае можно обеспечить оптимизацию в отношении того, что примерно необходимо для данной области объекта, то есть, определенная тонкая коррекция, с последующей более грубой коррекцией. Таблица отображения должна содержать по меньшей мере одно значение, промежуточное между усредненным предсказанным сигналом яркости HDR и усредненной исходной яркостью, то есть, если оригинал имеет значение 450, а предсказанное значение равно 440, с мультипликативным множителем 2%, можно значительно сблизить эти значения. Это приведет к увеличению в 1,02 раза (или 0,98, если коррекцию было необходимо выполнить в противоположном направлении) значения 440, то есть, получим 448,8, то есть, 449. Если в таблице определения для кодирования выбраны только 1% и 3%, то можно выбрать лучший вариант для кодирования в таблице множителей, а именно, 3%, поскольку 453 ближе к 450, чем 444. В общем случае определительная таблица оптимизируется в зависимости от того, какого рода ошибки ожидаются. Если необходимы только минимальные коррекции, нет никакой необходимости в определении возможных коррекций 300% или 1000%. Это можно сделать автоматически, например, обратившись к статистическим данным, относящимся к предсказанному и исходному HDR, и, в первую очередь, к разностям Y_HDR_orig_i - Y_HDR_PRED_i сигналов яркости на пиксель. Если, например, гистограмма демонстрирует наличие большого количества случаев, когда для среднего значения 450 упомянутая разность находится в диапазоне между 1 и 10, и мало случаев, когда эта разность имеет большее значение, можно принять решение о том, что определительная таблица 520 должна иметь коды для 0,5%, 1%, 2%, 3%, 4%, … (меньше, чем 0,5% для обеспечения приемлемого качества использовать не обязательно).

Помимо значений множителей в этой таблице (которые могут быть меньше или больше 1, или представлены как положительные/отрицательные проценты) в ней могут быть специальные коды. Например, код 0 можно использовать для указания на то, что текущий пиксель или набор пикселей в HDR_PRED не следует изменять, что эквивалентно кодированию мультипликативного множителя со значением 1. Также можно использовать коды, указывающие, что следует использовать некоторую функцию, например, как правило, принятие в качестве входных данных значений окружающих пикселей. Например, сигнал яркости /цвет пикселя в HDR_PRED может быть далек от требуемого значения (например, из-за артефакт типа всплеска, для которого потребуется мультипликационный множитель вне диапазона, закодированного в определительной таблице 520), и в этом случае возможно будет предпочтительней выполнить восстановление на основе усреднения пары окружающих пикселей. Но это позволит учесть характерные особенности сигнала LDR_CONT, такие как дифференциальная цветокоррекция, артефакты сжатия и т.д.

На фиг. 4 показан пример реализации устройства 401 декодирования HDR изображений в системе восстановления изображений. Положим, что в систему входит подсоединенный к дисплею 420 блок, который может выполнять обработку изображения (в данном случае декодирование). Таким устройством декодирования может быть, например, плеер для BD дисков и жидкокристаллический дисплей с двумерной задней подсветкой на основе LED. Но специалистам в данной области техники очевидно, что показанные здесь варианты осуществления изобретения могут быть реализованы в множестве эквивалентных версий, например, среди прочего для охвата диапазона, устройство 401 декодирования может функционировать на сетевом сервере в другой стране (в которой в качестве HDR_FIN может, например, использоваться специальный (и возможно зашифрованный) код для конкретного принимающего дисплея, причем вопросы форматирования и т.д. не относится к основополагающим принципам настоящего изобретения), при этом дисплей может представлять собой портативный дисплей или проекционную систему с отдельным проектором для более узкого и/или широкого диапазона восстанавливаемых яркостей и т.д. В действительности, устройство 401 декодирования также может входить в состав самого дисплея. Здесь предполагается, что кодирование данные для восстановления HDR изображения в одном варианте осуществления изобретения закодированы на диске 410 «blu-ray», который содержит выделенный первый сектор 411 для пиксельных данных, закодированных в виде кодировки HDR_encoded_as_LDR (LDR_CONT), закодированные например, с использованием стандартов MPEG-AVC, VC1, VP8, JPEG для движущихся изображений и т.д. Второй сектор 412 содержит метаданные, как правило, содержащие эталонный набор функций FL2H тонального преобразования (возможно, что цвет обрабатывается автоматически, но, конечно, возможно также имеются функции, обрабатывающие цвета, например, по RED-каналу и т.д.), которые, как правило, могут быть закодированы для каждого кадра кинофильма и т.д., причем они могут быть представлены в различном виде, например, параметрические функции, справочные таблицы, алгоритмические спецификации и т.д. Хотя здесь описывается одно декодирование для HDR_PRED, конечно, могут быть данные для получения нескольких конечных сигналов, например, MDR_PRED для дисплеев с более низкой пиковой светлотой, чем, в случае, когда должен использоваться HDR_PRED. Третий сектор 413 содержит мультипликативные данные A_MUL для мультипликативной модификации по меньшей мере значений пиксельного сигнала яркости в HDR_PRED. Как упоминалось выше, упомянутую кодировку можно обеспечить различными путями, например, как правило, для одиночного пикселя или цепочки пикселей будет закодирована таблица 506 множителей, которая может непосредственно содержать мультипликативные множители, соответствующие некоторому кодированию (например, M_enc = f(M_raw), где M_raw - грубый мультипликативный множитель, равный, например, 1,44, а f - функция фиксированного распределения, например, извлечение квадратного корня, что обеспечивает создание M_enc напрямую в закодированном виде в таблице 506), либо может содержать индексы для множителей, которые хранятся в каком-либо месте в определительной таблице 520, которая предпочтительно целиком хранится в том же самом третьем секторе 413. Конечно, можно закодировать другие метаданные, например, первую функцию F1 и вторую функцию F2 (например, (Y_left_neighbor + Y_right_neighbor)/2), используемые для пикселей со специальными кодами, показанными в таблице 506 множителей. Эти данные считываются по меньшей мере через один вход 405. Устройство 401 декодирования, как правило, содержит декодер 402, скомпонованный для декодирования, как правило, сжатого варианта сигнала LDR_CONT, который, например, может использоваться в декодировании с переменной длиной строки, IDCT-преобразовании и т.д. Блок 403 тонального отображения использует функцию (функции) FL2H тонального отображения для получения предсказания, требуемого сигнала (HDR_PRED). Затем модификатор 404 цвета пикселей изменяет по меньшей мере пиксельный сигнал яркости в HDR_PRED, применяя мультипликативную модификацию, закодированную в A_MUL. Это порождает конечный сигнал, который выводится через выход, например, на дисплей (в качестве альтернативы, это может быть запоминающее устройство, клиентский компьютер и т.д.). Дисплей 420 может применить собственное оптимальное тональное/цветовое отображение к введенному HDR_FIN с использованием модификатора 421 цвета дисплейных пикселей, в результате чего получают значения сигнала HDR_DRV возбуждения для (в данном случае) задней LED подсветки и LCD (а в примере с двумя проекционными устройствами - пиксели точечных матричных дисплеев (DMD), а для технического решения на основе единой панели, - единый сигнал возбуждения OLED для соответствующих пикселей). На устройстве может быть предусмотрен второй выход 406 для, например, беспроводной передачи выходного LDR изображения/видео LDR_o на мобильный дисплей 430. Здесь схематически показан расширенный динамический диапазон R_oHDR дисплея 420 и узкий динамический диапазон R_oLDR, который способен воспроизводить LDR дисплей 430.

На фиг. 7 показана примерная реализация устройства 701 кодирования НDR изображений. Важным блоком здесь является средство 702 управления цветокоррекцией. Оно дает возможность корректировщику выполнять цветокоррекции. Оно получает по меньшей мере исходный HDR файл (HDR_ORIG), для которого предполагается, что основная HDR цветокоррекция уже выполнена, то есть, что создатель контента, например, режиссер кинокартины вместе с творческим коллективом решил, каков должен быть стиль фильма (например, в вечерней сцене действия он решил использовать тусклый и очень темный вид для зданий, и грубый, бросающийся в глаза очень яркий и цветонасыщенный вид для разноцветных люминесцентных трубок коммерческой рекламы, висящих на улице. Обычно режиссер хочет иметь похожие виды для всех полученных вариантов цветокоррекции, например, цветокоррекция DVD или ю-тьюб должна выполняться с учетом ограничений и характеристик этой технологии. Конечно, возможны альтернативные реализации в виде необработанного сигнала HDR_ORIG камеры, например, сочетание цветовых пространств с линейными яркостями снимков с двух камер, но с разными выдержками, и в указанном случае он воспользуется средством 702 управления цветокоррекцией для создания эталонной цветокоррекции. Но, как правило, это удается сделать в разные моменты времени в ходе рабочего процесса. Например, при цифровой киносъемке часть (предварительной) цветокоррекции переносится на съемочный день, когда у режиссера еще свежа в памяти созданная им картина, и как выглядит действительная сцена. Но из-за огромного объема работы, связанной с цветокоррекцией и жесткого расписания съемки, можно отложить по меньшей мере ту часть работы, которая относится к менее затратной цветокоррекции, например, BD цветокоррекции, пока картина не будет закончена. Конечно, устройство 701 кодирования HDR изображений может также получить на входе несколько цветокоррекций, например, уже может быть выполнена первая LDR цветокоррекция, при которой корректировщик должен более или менее точно настроить цветокоррекцию LDR_CONT, или другую (не обязательную цветокоррекцию GRADING_2, которая может несколько отличаться от HDR цветокоррекции, используемой в других условиях воспроизведения или для другой художественной версии фильма и т.д. В любом случае, корректировщик, как правило, использует средство 702 управления цветокоррекцией для получения LDR цветокоррекции на основе HDR_ORIG. Как правило, средство управления цветокоррекцией содержит блоки, позволяющие применять отображения между первой и второй цветокоррекцией (например, программным путем), что, как правило, приводит к построению произвольной кривой тонального отображения путем отсечения точек на этой кривой, находящихся на произвольных х-позициях, и перемещения их на произвольные y-позиции. Также могут быть средства для циклического прохождения семейств параметрических кривых тонального отображения. Могут быть средства для выбора области, например, эллипса (которая не должна представлять собой область для применения указанной мультипликативной модификации, поскольку она может представлять собой, например, прямоугольник, охватывающий этот эллипс) и для выполнения локальной обработки. В НDR_encoded_as_LDR цветокоррекции или цветокоррекции LDR контейнера, как правило, эти отображения могут быть ограничены, чтобы гарантировать их обратимость. Например, корректировщик может построить только те функции, которые обеспечивают достаточную точность данных, позволяющую создать HDR_PRED хорошего качества, или по меньшей мере функции, являющиеся обратимыми, то есть, кусочно-монотонными. Но, как правило, корректировщику может быть предоставлена возможность выполнения операций цветокоррекции, не являющихся обратимыми, и тогда он, получив предупреждение об этом, ограничит объем выполняемых им необратимых операций цветокоррекции. Затем он может продолжать работу, например, произвольно окрашивая некоторые изолированные пиксели. Средство 702 управления цветокоррекцией скомпоновано не только для реализации отображений и модификаций изображения, но также для отслеживания данных модификации, в соответствии с (например, определениями кривых тонального отображения, измененными цветами пикселей и т.д.), и для дополнительной обработки, как правило, возвращению к исходному HDR, причем указанные данные также определяют цветокоррекцию/кодирование LDR_CONT. Как правило, блок 703 пользовательского интерфейса позволяет корректировщику подать свой пользовательский входной сигнал USRINP в средство 702 управления цветокоррекцией. Подробности этого здесь не описываются, поскольку специалистам в данной области техники они известны, и может быть предусмотрена специальная подключенная консоль цветокоррекции, а программное обеспечение отслеживает, например, нажатие кнопки пользователем для изменения функции отображения. Принимая во внимание, что художественный корректировщик обычно имеет полный контроль над созданием LDR ступени LDR_CONT (хотя это может происходить в полуавтоматическом режиме; например, алгоритм уже на основе теоретических построений, таких как гистограмма изображений в точке, может получить первое тональное отображение, которое помещает различные подобласти объекта изображения в хорошо видимые поддиапазоны с подходящей яркостью и таким образом создает оптимально выглядящее изображение, то есть, изображение, в котором, как правило, все структуры объектов достаточно хорошо видимы, а контраст между объектами оптимизирован, что придает особый вид этому изображению) он может не захотеть слишком беспокоиться за упомянутую часть мультипликативной модификации. Таким образом, хотя в некоторых вариантах осуществления изобретения предлагается по меньшей мере частичный контроль со стороны корректировщика также и за указанной частью, в других вариантах это часть мультипликативной модификации может выполняться автоматически. Она выполняется компаратором 704 различия цветокоррекций. Можно, например, в качестве входа получить предсказанное HDR_PRED независимо от того, окажется ли LDR_CONT промежуточным или окончательным, и ORIG_HDR, а затем сравнить, насколько они отличаются. Этот алгоритм сравнения может руководствоваться локальными областями, на которые корректировщик обратил внимание, но в общем случае может также следить за качеством предсказания областей, которые корректировщик не обрабатывает в отдельности. Компаратор 704 различия цветокоррекций скомпонован для выбора нескольких областей, для которых необходимо выполнить мультипликативную модификацию, поскольку две HDR цветокоррекции (HDR + PRED в сравнении с HDR_ORIG) отличаются слишком сильно. Также в некоторых вариантах осуществления изобретения входные данные, введенные корректировщиком, могут дополнить математические алгоритмы, определяющие релевантные различия цветокоррекций, например, используя психовизуальные модели видимости цветовых ошибок в той или иной области. Блок 706 пользовательской модификации цветокоррекции скомпонован для адаптации по меньшей мере некоторых параметров компаратора 704 различия цветокоррекций. Например, в простом варианте осуществления компаратор 704 различия цветокоррекций может определить, допустим, 4 области изображения, для которых определяется мультипликативная модификация с матрицей мультипликативных множителей (закодированных в A_MUL). Корректировщик может посчитать, что две из этих областей не слишком изменились, то есть, вообще были не так плохи в предсказании HDR_PRED. Блок 706 пользовательской модификации цветокоррекции может для этого реализовать программный модуль, который даст возможность корректировщику переключаться с мультипликативно модифицированной области на исходный HDR_PRED, например, внутри прямоугольника или другой закодированной фигуры и обратно, и отслеживать видимость при воспроизведении обеих попеременно на эталонном HDR дисплее. Затем он может удалить две области из списка модифицируемых областей, имея в виду, что только две другие закодированы в данных A_MUL мультипликативной модификации. Корректировщик может выбрать другую, например, прямоугольную область, в которой, как он считает, следует выполнить улучшающую модификацию. Как правило, компаратор 704 различия цветокоррекций определяет данные A_MUL для мультипликативной модификации и, в частности, мультипликативные множители, а также базовые данные, предварительно запомненные в базе 705 данных, содержащих сведения о мультипликативной модификации. Например, можно запомнить одну или несколько определительных таблиц 520 или что-то подобное для определения мультипликативных множителей, а также, например, моделей, описывающих, каким образом компаратор 704 различия цветокоррекций будет преобразовывать обнаруженное различие в мультипликативный множитель. Например, в простой модели 704 могут отслеживаться разности сигналов яркости на пиксель, с последующим их преобразованием в мультипликативный множитель (например, Y_HDR_ORIG-Y_HDR_PRED = m*Y_HDR_PRED; Y_HDR_ORIG = Y_HDR_PRED+m*Y_HDR_PRED), а затем выполняется отображение этих мультипликативных множителей на ближайший множитель, имеющийся в выбранной определительной таблице 520. Конкретная определительная таблица 520 может быть выбрана, например, корректировщиком либо автоматически выбрана компаратором 704 различия цветокоррекций в зависимости от того, насколько подходит та или иная таблица, например, посредством вычисления кумулятивной остаточной ошибки по меньшей мере по одному изображению или его областям (которая может быть взвешена на основе коэффициента взвешивания, например, с учетом важности объектов, проверяя, например, являются ли данные объекты лицами, либо расположены ли они ближе к центру изображения и т.д.). Более сложный алгоритм дает возможность вычислить, например, полуглобальное различие в цветовом кодировании или представлении цветов по все объектам. На этой основе можно получить, например, первый глобальный мультипликативный множитель, а затем выполнить дополнительно тонкую настройку каждого пикселя и т.д. Как упоминалось выше, пользователь, конечно, тоже может повлиять на эти параметры. Например, если выбранная определительная таблица (таблицы) не обеспечивает достаточную точность сходства с HDR_ORIG модифицированного HDR_FIG (как правило, это промежуточные данные в компараторе 704 либо связанные с ними данные, которые выводить нет необходимости), то пользователь может определить (а) новую определительную таблицу (таблицы) 520. Это может выполняться в полуавтоматическом режиме, например, путем нажатия кнопки «Повышение точности», и в этом случае в определительной таблице хранится больше возможных мультипликативных множителей за счет большего запаса бит. Либо пользователь может задать свои собственные значения, например, кликнув мышью по областям текстуры объекта, которые ему необходимо точно воспроизвести, и т.д. Как упоминалось выше можно кроме того иметь опционные данные (AVGDAT) спецификации усреднения, которые определяют, каким образом определяются локальные средние значения, а в некоторых вариантах осуществления изобретения корректировщику также может быть предложена опция, предусматривающая возможность действий с этими данными. Наконец, блок 710 кодирования группирует все вместе (то есть, LDR_CONT изображение, независимо от того, как оно должно было быть закодировано, например, с использованием MPEG_AVC сжатия, данных об отображении изображения, например, функция FL2H тонального отображения, и данных A_MUL о мультипликативной модификации, независимо от использованного способа кодирования) и кодирует все это в сигнал S_im выходного изображения так, как это для него предписано. Специалистам в данной области техники очевидно, что точное форматирование метаданных не относится к критическим компонентам настоящего изобретения, но, как правило, может включать размещение их на определенную зарезервированную позицию в сигнале S_im изображения, например, в ту часть, которая игнорируется старыми декодерами, придавая им специфическую структурную форму, в связке с зарезервированным именем и/или кодами типа и т.д. Затем указанное изображение может быть закодировано, например, на BD диске (фиг. 4), или послано через антенну 711 и т.д. Хотя здесь был приведен ряд примеров для выяснения изобретения в целом, специалистам в данной области техники очевидно, что имеется много альтернативных путей реализации.

На фиг. 8 показан еще один возможный сценарий для 8-битового кодирования съемки исходной HDR сцены. В этом случае создается 8-битовое HDR изображение, то есть, изображение, которое можно напрямую использовать на HDR дисплее с яркостью, например, 1000 нит. Оно может быть создано посредством простого линейного отображения [0.1]-[0.255] и, например, квантования. В этом случае корректировщик выполняет простое отображение, например, глобальное отображение основной 8-битовой LDR ступени (GRAD_1LDR) и, хотя это вполне можно использовать согласно концепции, связывающей разные цветокоррекции динамического диапазона воспроизведения с одним 8-битовым изображением и одним тональным отображением, и может дать приемлемое изображение при воспроизведении на LDR дисплее, корректировщик возможно не будет полностью доволен. Тогда для нескольких критических областей корректировщик может выполнить мультипликативную модификацию для получения окончательной 8-битовой LDR цветокоррекции GRAD_FINLDR. В этом случае можно закодировать 8bit_HDR, стратегию простого нисходящего тонального отображения, например, функцию FH2L глобального тонального отображения, а также данные по мультипликативным множителям, в которых в этом случае кодируется разность между GRAD_FINLDR и тем, что можно просто получить путем применения нисходящего отображения к 8bit_HDR кодированию.

Раскрытые в этом описании алгоритмические компоненты могут (целиком или частично) быть реализованы на практике в виде аппаратного обеспечения (например, части прикладной специализированной интегральной схемы (IC)) или в виде программного обеспечения, выполняемого на специальном цифровом процессоре сигналов или обычном процессоре и т.д. Это может выполняться полуавтоматически в том смысле, что при этом могут иметь место по меньшей мере ряд входных воздействий со стороны пользователя (например, заводские, пользовательские или другие входные данные, вводимые человеком).

Специалисты в данной области техники из приведенного описания поймут, что компоненты изобретения могут представлять собой опционные усовершенствования и могут быть реализованы в комбинации с другими компонентами, а также поймут, как (опционные) шаги способов соответствуют соответствующим аппаратным средствам и наоборот. Тот факт, что некоторые компоненты раскрыты в этом изобретении в определенной взаимосвязи (например, в определенной конфигурации на одной фигуре) не означает, что невозможны другие конфигурации в качестве вариантов осуществления изобретения на основе тех же самых принципов, на которых построено изобретение, и которые раскрыты здесь с целью патентования. Также, тот факт, что по прагматическим причинам здесь был описан ограниченный набор примеров, не означает, что другие версии не могут попасть в объем, определенный формулой изобретения. В действительности компоненты изобретения могут быть воплощены в разных версиях на любом этапе их использования, например, все версии на стороне создания изображений (на стороне кодера) могут быть подобны или соответствовать соответствующим устройствам на стороне их использования (например, на стороне декодера) и наоборот. Ряд компонент описанных вариантов осуществления изобретения могут быть закодированы в виде специфических данных в сигнале для передачи, или кроме того использованы для координацию при любой технологии передачи между кодером и декодером и т.д. Термин «устройство» в этой заявке используется в самом широком смысле, а именно, как группа средств, позволяющих реализовать конкретную цель, и, следовательно, устройство может представлять собой интегральную схему (ее малую часть) или специализированное устройство (например, устройство с дисплеем), либо часть сетевой системы и т.д. Также предполагается, что термины «установка» или «система» используется в самом широком смысле, охватывающем, среди прочего, единое материально воплощенное продаваемое устройство, часть устройства, набор (или часть) совместно работающих устройств и т.д.

Следует понимать, что термин «компьютерный программный продукт» распространяется на любую физическую реализацию набора команд, позволяющих процессору общего назначения или специализированному процессору после выполнения ряда загрузочных шагов (которые могут включать в себя шаги промежуточного преобразования, такие как перевод на промежуточный язык и на конечный язык процессора) ввести команды в процессор для исполнения любой из характеристических функций изобретения. В частности, компьютерный программный продукт может быть реализован в виде данных на носителе, таком как, например, диск или лента, в виде данных, присутствующих в памяти, данных, предаваемых через проводное или беспроводное сетевое соединение, либо в виде программного кода, записанного на бумаге. Помимо программного кода характеристические данные, необходимые для программы, также могут быть воплощены в виде компьютерного программного продукта. Указанные данные могут (частично) предоставляться любым путем.

Изобретение или любые данные, используемые в соответствии с какими-либо принципами, лежащими в основе вариантов осуществления настоящего изобретения, такие как видеоданные, также могут быть воплощены в виде сигналов на носителях данных, которые могут представлять собой съемные запоминающие устройства, и оптические диски, флэш-память, съемные жесткие диски, портативные устройства с функцией беспроводной записи и т.д.

Некоторые из шагов, необходимых для выполнения какого-либо представленного здесь способа, могут уже присутствовать в наборе функциональных возможностей процессора или в любых аппаратных вариантах осуществления изобретения вместо описанных в компьютерном программном продукте, или любом описанном здесь блоке, устройстве или способе (с учетом специфики вариантов осуществления изобретения); к этим шагам относятся шаги ввода и вывода данных, как правило, хорошо известные встроенные шаги обработки, такие как стандартное возбуждение дисплея и т.д. Также желательно обеспечить защиту результирующих продуктов и аналогичных результатов, например, специфических новых сигналов, присутствующих на каком-либо шаге способов или какой-либо субчасти устройства, а также любые новые варианты использования указанных сигналов или любые связанные с ними способы.

Следует заметить, что вышеупомянутые варианты осуществления изобретения являются иллюстрациями, а не ограничением. Чтобы специалисты в данной области техники могли без труда обнаружить соответствие представленных примеров другим частям формулы изобретения, здесь для удобства все указанные опции не описаны во всех подробностях. Помимо комбинаций элементов изобретения, составленных в формуле изобретения, возможны другие комбинации этих элементов. Любая комбинация элементов может быть реализована в едином специализированном элементе.

Предполагается, что любая ссылочная позиция, указанная в скобках в формуле изобретения, не ограничивает формулу изобретения, как и любой конкретный символ на чертежах. Слово «содержащий» не исключает присутствия элементов или аспектов, не перечисленных в формуле изобретения. Артикль «а» или «an» перед элементом не исключает наличия множества указанных элементов.

Изобретение относится к области кодирования изображений с расширенным динамическим диапазоном яркости. Технический результат – повышение эффективности управления кодированием/декодированием изображений. Способ декодирования кодировки изображения, соответствующей первому динамическому диапазону яркости, в выходное изображение со вторым динамическим диапазоном яркости, в котором кодировка изображения представляет собой закодированные пиксели исходного изображения сцены с расширенным динамическим диапазоном, причем способ содержит: тональное отображение с использованием заранее определенной стратегии тонального отображения сигналов яркости пикселей в кодировке изображения на сигналы яркости пикселей в промежуточном изображении, соответствующем второму динамическому диапазону яркости; и модификацию сигналов яркости некоторых пикселей промежуточного изображения путем их перемножения с заранее определенными мультипликативными множителями, которые представляют мультипликативную коррекцию, которая должна быть применена к сигналам яркости упомянутых некоторых пикселей промежуточного изображения для получения коррекции тонального отображения из первого динамического диапазона яркости на второй динамический диапазон яркости, результатом чего является выходное изображение. 4 н. и 11 з.п. ф-лы, 13 ил.

1. Способ декодирования кодировки изображения (LDR_CONT), соответствующей первому динамическому диапазону (R_oLDR) яркости, в выходное изображение (HDR_FIN) со вторым динамическим диапазоном (R_oHDR) яркости, в котором кодировка (LDR_CONT) изображения представляет собой закодированные пиксели исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном, причем способ содержит:

тональное отображение с использованием заранее определенной стратегии (FL2H) тонального отображения по меньшей мере сигналов яркости пикселей в кодировке (LDR_CONT) изображения на сигналы яркости пикселей в промежуточном изображении (HDR_PRED), соответствующем второму динамическому диапазону (R_oHDR) яркости; и

модификацию сигналов яркости по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED) путем их перемножения с заранее определенными мультипликативными множителями, причем заранее определенные мультипликативные множители представляют мультипликативную коррекцию, которая должна быть применена к сигналам яркости упомянутых по меньшей мере некоторых пикселей промежуточного изображения для получения коррекции тонального отображения из первого динамического диапазона яркости на второй динамический диапазон яркости, результатом чего является выходное изображение (HDR_FIN).

2. Способ декодирования кодировки изображения по п. 1, в котором первым динамическим диапазоном яркости является узкий динамический диапазон, который соответствует пиковой светлоте диапазона 500 нит или ниже, а вторым динамическим диапазоном яркости является расширенный динамический диапазон, имеющий пиковую светлоту по меньшей мере 750 нит.

3. Способ декодирования кодировки изображения по п. 1 или 2, в котором заранее определенные мультипликативные множители сохранены в метаданных, связанных с кодировкой (LDR_CONT) изображения, причем способ декодирования содержит считывание в метаданных информации, определяющей пространственную область кодировки (LDR_CONT) изображения, для которой в метаданных закодирован по меньшей мере один мультипликативный множитель, и при этом в метаданных закодирована (503, 504, 505) геометрическая форма указанной пространственной области.

4. Способ декодирования кодировки изображения по п. 3, в котором заранее определенные мультипликативные множители содержатся в массиве (506) мультипликативных множителей, содержащем мультипликативный множитель на один пиксель или группу пикселей, в котором массив определен в соответствии с кодировкой геометрической формы пространственной области.

5. Способ декодирования кодировки изображения по п. 4, в котором мультипликативные множители в массиве (506) мультипликативных множителей закодированы в виде индексов в определительную таблицу (520), которая содержит действительные мультипликативные множители для этих индексов.

6. Способ декодирования кодировки изображения по п. 5, в котором определительная таблица (520) связана с дескриптором (530), который характеризует определительную таблицу, и вместе с тем то, в каких случаях модификации сигналов яркости ее следует использовать, например, на некотором конкретном снимке изображений.

7. Способ декодирования кодировки изображения по п. 6, в котором декодирование дополнительно считывает тип (531) окна, отображающий HDR эффект, указывающий, что пространственная область, связанная с этим типом (531) окна, имеет мультипликативные множители, закодированные посредством определительной таблицы, связанной с дескриптором (530), который соответствует типу (531) окна.

8. Способ декодирования кодировки изображения по п. 1 или 2, в котором модификация сигналов яркости по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED) выполняется таким образом, который ограничивает перемножение стратегией перемножения, при которой локальная средняя яркость выходного изображения (HDR_FIN) находится в пределах заранее определенного процентного отклонения от локальной средней яркости промежуточного изображения (HDR_PRED).

9. Способ декодирования кодировки изображения по п. 8, в котором считывают значение (508) типа мультипликативной коррекции, указывающее, что мультипликативные множители определены по отношению к такому ограниченному перемножению.

10. Способ декодирования кодировки изображения по п. 1 или 2, в котором мультипликативные множители считывают из метаданных в виде функционального определения мультипликативных множителей в текущей одномерной или двумерной позиционной координате.

11. Способ кодирования исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном в виде кодировки (LDR_CONT) изображения, соответствующей первому динамическому диапазону (R_oLDR) яркости, причем способ содержит:

тональное отображение с использованием заранее определенной стратегии (FL2H) тонального отображения по меньшей мере сигналов яркости пикселей в кодировке (LDR_CONT) изображения на сигналы яркости пикселей в промежуточном изображении (HDR_PRED, GRAD_1LDR), соответствующем второму динамическому диапазону (R_oHDR) яркости;

определение мультипликативных множителей для перемножения с сигналами яркости по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED, GRAD_1LDR), путем анализа разности пиксельных цветов в промежуточном изображении (HDR_PRED, GRAD_1LDR) и пиксельных цветов заданного второго изображения (HDR_ORIG или GRAD_FINLDR), причем заранее определенные мультипликативные множители представляют мультипликативную коррекцию, которая должна быть применена к сигналам яркости упомянутых по меньшей мере некоторых пикселей промежуточного изображения для получения коррекции тонального отображения из первого динамического диапазона яркости на второй динамический диапазон яркости; и

кодирование в сигнале (S_im) изображения кодировки (LDR_CONT) изображения, данных, задающих стратегию (FL2H) тонального отображения и мультипликативные множители.

12. Способ кодирования исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном по п. 11, в котором первым динамическим диапазоном (R_oLDR) яркости является узкий динамический диапазон, который соответствует пиковой светлоте диапазона 500 нит или ниже, а вторым динамическим диапазоном (R_oHDR) яркости является расширенный динамический диапазон, имеющий пиковую светлоту по меньшей мере 750 нит.

13. Устройство (401) декодирования HDR изображения, содержащее:

декодер (402), скомпонованный для получения кодировки (LDR_CONT) изображения, соответствующей первому динамическому диапазону (R_oLDR) яркости;

блок (403) тонального отображения, скомпонованный для получения спецификации стратегии (FL2H) тонального отображения и применения этой стратегии тонального отображения к кодировке (LDR_CONT) изображения, что порождает промежуточное изображение (HDR_PRED), соответствующее второму динамическому диапазону (R_oHDR) яркости; и

модификатор (404) пиксельного цвета, скомпонованный для получения данных (А_MUL) о мультипликативных множителях, содержащих по меньшей мере один мультипликативный множитель, и скомпонованный для перемножения этого по меньшей мере одного мультипликативного множителя с сигналом яркости по меньшей мере одного пикселя в промежуточном изображении (HDR_PRED), причем упомянутый по меньшей мере один мультипликативный множитель представляет мультипликативную коррекцию, которая должна быть применена к сигналу яркости упомянутого по меньшей мере одного пикселя промежуточного изображения для получения коррекции тонального отображения из первого динамического диапазона яркости на второй динамический диапазон яркости, что порождает в качестве выхода выходное изображение (HDR_FIN).

14. Устройство (701) кодирования HDR изображения, содержащее:

вход для получения исходной кодировки (HDR_ORIG) сцены с расширенным динамическим диапазоном;

средство (702) управления цветокоррекцией, скомпонованное для преобразования указанной исходной кодировки (HDR_ORIG) в кодировку (LDR_CONT) изображения, соответствующую первому динамическому диапазону (R_oLDR) яркости, и скомпонованное для определения промежуточного изображения (HDR_PRED), соответствующего второму динамическому диапазону (R_oHDR) яркости, путем тонального отображения кодировки (LDR_CONT) изображения с использованием стратегии тонального отображения, кодируемой в данных (FL2H) тонального отображения;

компаратор (704) различия цветокоррекций, скомпонованный для сравнения промежуточного изображения (HDR_PRED) с заданным вторым изображением (HDR_ORIG или GRAD_FINLDR) и для получения, на основе разности между этими изображениями, данных (A_MUL) о мультипликативных множителях, содержащих по меньшей мере один мультипликативный множитель, представляющий мультипликативную коррекцию, который, будучи перемноженным с сигналом яркости по меньшей мере одного пикселя промежуточного изображения (HDR_PRED), порождает окончательный цвет пикселей выходного изображения (HDR_FIN), который ближе к цвету соответствующего пикселя во втором изображении, чем к цвету пикселя в промежуточном изображении (HDR_PRED), получая тем самым коррекцию тонального отображения из первого динамического диапазона яркости на второй динамический диапазон яркости; и

блок (710) кодирования, скомпонованный для кодирования кодировки (LDR_CONT) изображения, данных (FL2H) тонального отображения и данных (A_MUL) о мультипликативных множителях в сигнале (S_im) выходного изображения.

15. Устройство (701) кодирования HDR изображения по п. 14, содержащее блок (703) пользовательского интерфейса, скомпонованный для того, чтобы дать возможность корректировщику цветов определить по меньшей мере кодировку (LDR_CONT) упомянутого изображения и упомянутую стратегию тонального отображения.