Изобретение относится к способам и устройствам для сравнения разных градуировок, особенно варианта LDR (низкого динамического диапазона) и HDR (высокого динамического диапазона) и получения продуктов, таких как сигналы и носители, несущие эти сигналы, которые, по меньшей мере, заключают в себе структуру данных, описывающую разницу между упомянутыми двумя градуировками.
УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Визуализация и кодирование цветных кадров, будь то полное отображение захваченной сцены или ее художественно отсортированный вариант, всегда были трудно решаемой задачей, вовсе не по причине сложного адаптивного поведения человеческого зрения. Классическое телевизионное кодирование решало эту задачу при условии, что контент визуализируется только на одиночном типичном устройстве отображения ЭЛТ (электронно-лучевая трубка, CRT) при нормальных условиях просмотра. Это привело к закрытым (и относительно простым) системам, таким как система NTSC (Национальный комитет по телевизионным стандартам), или более поздняя MPEG2, которые предполагают, что цвета (под которыми мы понимаем одновременно, в первую очередь их сигнал яркости и во вторую очередь их хроматические компоненты), представлены относительно правильно (или хотя бы, как желательно, так как существует разрыв между сценой и диапазоном цветов устройства отображения), если условия просмотра соответствуют допущениям. Также, после этого, были определены относительно простые
преобразования цвета, например, матрицирование в систему управления RGB, для разных основных цветов определенного ЖК (жидкокристаллический, LCD) устройства отображения или адаптация точки белого и т.д., которые, если не совершенствовать цветопередачу по той причине, что полученный в результате визуализированный кадр будет, учитывая незначительные отклонения, больше соответствовать визуализации на эталонном (ЭЛТ) устройстве отображения, по крайней мере, не будут допускать более серьезных ошибок цветопередачи, чем те, которые уже были приняты в качестве образца. Однако эта закрытая система была открыта, потому что все больше и больше устройств очень разных видов были закреплены за телевизионной системой в последнее десятилетие в рамках такой же философии управления цветом. Мало того, что стало возможным визуализировать клиентские фотографические снимки из любой камеры на, скажем, ЖК телевизоре (с особым контрастом, гаммой и т.д.), но также различные устройства отображения отдалились друг от друга относительно их физических характеристик (в особенности цветовых диапазонов, которые они могли визуализировать), а условия просмотра вдобавок стали многообразными (например, просмотр уличного переносного телевизора, домашний кинотеатр и т.д.). В частности, когда устройства отображения с всевозрастающими сигналами яркости белого (например, 2000 Кд/м2) начали (или будут) появляться на рынке одновременно с камерами с увеличенной глубиной захвата фотонов и АЦП (аналогово-цифровые преобразователи, ADCs), стало принято начинать говорить о разделении на две подобласти, а именно, стандартную систему устройства отображения, которая может быть названа низким динамическим диапазоном (LDR) и систему со значительно повышенными возможностями визуализации сигнала яркости называемую высоким динамическим диапазоном (HDR). Если некто понимает, что LDR кодированный сигнал может всерьез ухудшить характеристики изображения для определенных диапазонов, которые могут или должны отображаться на HDR устройстве отображения (например, обрезая яркие цвета), то он понимает, что создание приятного кадра для таких HDR устройств отображения может стать, при таких значительных отклонениях от LDR базовой системы, задачей гораздо более сложной, чем простое преобразование цвета (когда действительно нужно использовать цветовой диапазон устройства отображения HDR по максимуму). Поскольку явно существует необходимость быть в состоянии генерировать настройки управления устройством отображения, которое визуализирует кадры на HDR устройствах отображения, с визуальным качеством, подтверждающим более высокую цену такого усовершенствованного HDR устройства отображения, будет понятна необходимость наличия новых кодировок, новых технических приемов обработки изображения, новых способов визуализации и т.д. В этой патентной заявке мы смотрим на задачу в более общем виде, поскольку независимо от устройства отображения (которых существует много больше, чем только два, либо HDR, который может быть нескольких качеств, например, 1000 нит белого или 5000 нит белого, либо даже меньшего качества, чем LDR, который можно называть под-LDR (SLDR)) и дальнейших обстоятельств, мы хотели бы быть в состоянии визуализировать улучшенные кадры, принимая во внимание имеющуюся информацию.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Наши нижеследующие технические решения основаны на намерении улучшить все виды систем градуировки, сжатия и HDR. Как известно специалистам, градуировка имеет общеизвестную цель, заключающую в себе художественное улучшение всех цветов/(яркостей) так, чтобы изображение выглядело оптимально. На практике, захват на камеру едва может генерировать точное представление, то есть яркости для всех объектов в сцене, поэтому обычно сортировщик изменяет цвет локальных областей, например, делая лицо более ярким, или даже применяя более продвинутые специальные эффекты, подобные например, добавлению неровностей кожи. Хотя описанные способы (и устройства) могут иметь дело с генерацией оптимальной визуализации для любого устройства отображения, они являются, в основном, полезными для устройств отображения высокого динамического диапазона (скажем, выше 500 нит пиковой яркости), и помимо этого основаны на градуировочной информации, относящейся к вариантам изображений высокого динамического диапазона захваченной сцены (либо дополнительно к градуировке LDR, либо в качестве отдельной HDR информации). Они особенно полезны для анализа и манипуляции кодированной информации для областей более высокой яркости, таких как солнечные улицы или светильники, но также для темных областей, где более важной становится интеллектуальная манипуляция визуализацией этих областей. Если бы некто мог, в принципе, начать при помощи некоторых примеров осуществления с HDR сигналом и некоторой общей стандартной рекомендацией LDR (например, автоматически полученной от HDR), настоящие способы будут в основном применимы, когда существует, по меньшей мере, две градуировки, как правило, одна для низкого и вторая для высокого динамических диапазонов.
Блок (110) сравнения и соответствующий способ приспособлен для осуществления точного сравнения областей (например, объектов, (набора) пикселей) в двух градуировках изображения (то есть две градуировки того же момента времени), то есть сравнения того, чем являются значения пикселя (по меньшей мере, сигнал яркости или его соотношение, но возможно также 3- или N-мерный цвет или дополнительные атрибуты изображения, имеющие отношение к пикселю такие как, например, локально оцененная подсветка) первой и второй градуировки, и отображения этой конкретной разницы в градуировочной информации в легко управляемой форме (которую можно использовать при дальнейшей обработке) в структуре данных разницы градуировки DATGRAD. Эти данные можно использовать на приемной стороне для того, чтобы понимать, как выглядит визуализация, по меньшей мере, двух вариантов теоретически бесконечного множества кадров. То есть, они оба могут, например, состоять из (исключительно на основе камеры) в некоторой степени простой LDR версии сцены и так же с правильно захваченными областями высокого и/или низкого сигнала яркости. Однако также может содержаться информация о том, как эти подобласти должны быть лучше всего визуализированы на нескольких устройствах отображения (из которых по меньшей мере два устройства отображения образцовой характеристики имеют нормированную визуализацию), например сокращение яркой области так, что она не становится слишком заметной или раздражающей, как определено сортировкой пользователя. Начиная с этой важной информации, приемная сторона может лучше определять, что предполагается использовать, а на основании этого создавать более подходящие визуализации для имеющихся устройств отображения, например, усреднять две образцовые градуировки.
Это может быть осуществлено несколькими путями, такими как, например:
Способ анализа разницы, по меньшей мере, двух градуировок изображения на основе:
получения первого градуированного кадра (LDR) с первым динамическим диапазоном яркости;
получения данных, кодирующих градуировку второго градуированного кадра (HDR) со вторым динамическим диапазоном яркости, отличным от первого динамического диапазона яркости;
определения структуры данных разницы градуировки (DATGRAD) на основе, по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR).
Эта разница градуировки может быть определена, по большому счету, несмотря на кодированный HDR, например, глядя на функцию модификации для области или на фрагмент кадра, кодирующий часть сцены как отдельное изображение для областей высокой яркости. Структура данных разницы градуировки (DATGRAD) может, как правило, идентифицировать, где в пространственном отношении существуют некие области, которые разные относительно HDR и как правило, по возможности, также каким образом они разные, например, что они должны быть увеличены в 1,5 раза по сигналу яркости, по сравнению с тем, где на диапазоне яркости они упадут, когда одиночное отображение (например, гамма-преобразование) будет применено ко всему изображению (то есть отображение, которое подходит для более темных сигналов яркости, скажем, LDR диапазона). Устройство отображения приемной стороны может затем пытаться соответствовать этому 1,5-кратному увеличению в зависимости от, конечно, того, как много натурального цветового диапазона ей доступно для такого увеличения (например, за счет затемнения сигналов яркости ниже соответствующих ярким областям).
Способ, в котором данные, кодирующие градуировку второго градуированного кадра (HDR), являются вторым градуированным кадром (HDR), а этап определения структуры данных разницы градуировки (DATGRAD) содержит сравнимые значения пикселя первого градуированного изображения (LDR) и второго градуированного изображения (HDR), по меньшей мере, пространственной или яркостной области одного из первого градуированного кадра (LDR) и второго градуированного кадра (HDR).
Разумеется, сравнение может быть осуществлено фактически по градуированному состоянию HDR кадра, то есть, например, 18-битное кодированное изображение RAW линейного сигнала яркости. Предварительное отображение затем может использоваться для того, чтобы привести две градуировки в тот же формат, например 32-битное линейное пространство, применяя определенные обратно кодируемые цветовые диапазоны, расширение, выполнение стандартного алгоритма LDR в HDR (например, обратная градуировочная кривая) и т.д. То, что потом остается в качестве разницы, как правило, является тем, что сортировщик определил как лучший вид на самых ярких высокого динамического диапазона (HDR) устройствах отображения в сравнении с менее яркими LDR.
Способ, в котором структура данных разницы градуировки (DATGRAD) содержит пространственную область интереса (R1) изображения, показывающую присутствие или количество, в соответствии с критерием, разницы градуировки в пространственной области для первого градуированного кадра (LDR) в сравнении со вторым градуированным кадром (HDR).
Это позволяет быструю идентификацию специальных областей для создания особой визуализации предметов, например, HDR эффекты, которые затем могут быть получены путем применения специальных функций преобразования, поиск в памяти дополнительных данных для тех областей, для осуществления преобразования (например, значения коррекции для некоторых пикселей), или даже применяемые функции такие, как функция (ре)генерации компьютерной графики в этих областях. Величина эффекта HDR может быть такой же скромной, как величина для увеличения, например, области яркости в сравнении с остальным изображением, что может происходить в результате, например, отображения чистого тона (то есть обычного сигнала яркости) от градуировки LDR посредством отображения, которое, например, в значительной мере предохраняет изначальные (более темные) величины сигналов яркости пикселей LDR.
Способ, дополнительно содержащий этап получения третьего градуированного кадра (MDR) на основе структуры данных разницы градуировки (DATGRAD).
Как правило, будет создано промежуточное изображение, например, для устройства отображения прямого воздействия или в эталонном цветовом пространстве, от которых могут быть получены конечные значения управления устройством отображения.
Способ, дополнительно содержащий применяемое преобразование обработки изображения на по меньшей мере, одном из первого, второго или третьего градуированного кадра, такое как, например, адаптированная к кадру заливка или увеличение четкости кадра.
Кадры могут быть дополнительно оптимизированы, особенно грамотно принимая во внимание все доступные разные градуированные данные. Например, если контраст для области был потерян в промежуточной градуировке низкого диапазона (MDR), что может психовизуально компенсироваться например, повышением локальной резкости (например, шаблоны тонкого диапазона) или сменой насыщенности цвета и т.д.
Способ, дополнительно содержащий получаемое описание изображения (IMDESC) на основе структуры данных разницы градуировки (DATGRAD), такое, как например, спецификация цвета пространственной области изображения.
Способ, в котором яркости пикселей в третьем градуированном кадре (MDR) находятся в пределах, по меньшей мере, одного варьирующегося диапазона по яркостям пикселей в первом градуированном кадре (LDR), в частности, в котором третий градуированный кадр (MDR) представляет собой улучшение визуального качества первого градуированного кадра (LDR), в соответствии со свойством визуального качества, таким как резкость или степень артефактов сжатия.
Разумеется, кадр MDR может также являться улучшением кадра LDR с учетом дополнительной информации в градиенте HDR. Например, градиент LDR может являться устаревшим градиентом, как полученным ранее, но возможно, это кодирование совместно с HDR-обновлением, которое можно использовать для получения дальнейших градиентов LDR на приемной стороне. В данном случае MDR не имеет промежуточной пиковой яркости (например, 2000 нит между 5000 нит и 500 нит), но может иметь пиковую яркость подобно 500 нит (т.е. хорошо отображаемый или предполагаемый для применения на устройствах отображения с фактической пиковой яркостью, например, 700 нит и 100 нит).
Способ, в котором получение третьего градуированного кадра (MDR) осуществлено на основе полученной информации о характеристиках (VCHAR) условий для просмотра. Здесь, например, то, что до сих пор видимо в более темных частях любой градуировки, может высококачественно настраиваться, например, со специальным отображением для более темных диапазонов любой градуировки изображения.
Способ, в котором получение третьего градуированного кадра (MDR) осуществлено на основе контролируемой пользователем настройки (USRSET), относящейся к устройству отображения третьего градуированного кадра (MDR), такой, как например, настройка, точно определяющая раздражающее воздействие светоотдачи, настройка ограничения потребления тока или настройка, задающая предпочитаемые визуальные атрибуты отображаемого третьего градуированного кадра (MDR).
Промежуточные цветокоррекции также предоставляют (даже на одиночном устройстве отображения) то, что пользователь имеет лучший контроль над окончательным видом. Но именно таким образом получает информационный материал разработчик (например, Голливуд), ввиду этого будет осуществляться аккуратно на основе двух градуировок (то есть с этим разработчик по меньшей мере неявно или даже явно с дальнейшим кодированием кадра, характеризующего информацию или управляющие сигналы, выражает, насколько различно поддиапазоны или яркостной сигнал например, эффекты высокого динамического диапазона, будут выглядеть, если пользователь например, убавит отображаемую яркость).
Способ, в котором третий градуированный кадр (MDR) выведен в качестве промежуточного кадра, как измеряемый в соответствии с яркостью критерий между первым градуированным кадром (LDR) и вторым градуированным кадром (HDR).
Например, пиковая яркость будет в пределах двух пиковых яркостей или средней из нескольких яркостей вдоль по шкале, например, когда применяют отражение тона (например, предпочитаемого или стандартного цветового диапазона устройства отображения) к стандартному сигналу, такому как таблица серых полос и др.
Способ, в котором получение третьего градуированного кадра осуществлено, по меньшей мере, частично, на основе обратного отображения тона (ITM) относительно отображения тона, преобразующего первый градуированный кадр (LDR) в приблизительное соответствие второго градуированного кадра (HDR). Таким образом, могут просчитываться новые варианты низкого динамического диапазона, например служащие основой для дальнейшего кодирования (например, через подсоединение к дополнительному устройству, используя сигнал) или наличие лучших параметров изображения согласно критерию качества изображения.
Все эти способы могут также осуществляться в форме устройств или других изделий, их содержащих (по меньшей мере, их преобладающей частью, например:
Устройство (101) обработки изображения для анализа разницы, по меньшей мере, двух градуировок изображения, состоящее из:
первого входа (120) для ввода первого градуированного кадра (LDR) с первым динамическим диапазоном яркости;
второго входа (121) для ввода данных, кодирующих градуировку второго градуированного кадра (HDR) со вторым динамическим диапазоном яркости, отличного от первого динамического диапазона яркости;
блок (110) сравнения, выполненный с возможностью определения структуры данных разницы градуировки (DATGRAD) на основе, по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR).
Как описано выше, учитывая способы, структура данных разницы градуировки (DATGRAD) может быть такой простой, как перечень областей, где существует разная градуировка (например, все блоки) и предпочтительно также математическое представление разницы, например, смещение пикселя или модель коррекции для по меньшей мере, нескольких пикселей в блоке, в основном в сравнении со стандартной текстурой, связующей две градации (например, алгоритм построения диаграммы обеих с гамма-функцией, из которой могут передаваться гамма-коэффициенты например, по съемке фотографий; в случае нескольких коэффициентов, могут быть, например, мощность (p), коэффициент усиления (g) (или пиковая яркость) и отклонение: HDR=(g*LDR)∧p+off).
Устройство (101) обработки изображения по пункту, в котором второй выход приспособлен для получения второго градуированного кадра (HDR), а блок (110) сравнения приспособлен для определения структуры данных разницы градуировки (DATGRAD) на основе сравнения значений пикселей первого градуированного кадра (LDR) со значениями пикселей второго градуированного кадр (HDR) в по меньшей мере, пространственной или световой области первого градуированного кадра (LDR) и второго градуированного кадра (HDR). Сравнение является типичным после нескольких стандартных отображений, приводя обе ближе друг к другу в некую общую сопоставимую форму, которая может выполняться, например, посредством промежуточного диапазона цветового и яркостного пространства или непосредственно с применением предтрансформации перед тем, как осуществлять, например, взвешенную разность или более интеллектуальную идентификацию того, какое различие есть фактически (например, абсолютное значение, конфигурация касательно соседних пикселей или подобластей и т.д.).
Устройство (101) обработки изображения, дополнительно состоящее из блока (112) вывода изображения, приспособленного для вывода третьего градуированного кадра (MDR) на основе структуры данных разницы градуировки (DATGRAD).
Устройство (101) обработки изображения, приспособленное для того, чтобы применять преобразование обработки изображения к первому градуированному кадру (LDR) на основе по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR).
Аппаратура (101) обработки изображения, состоящая из декодера, приспособленного для того, чтобы декодировать кодированные данные изображения и получать посредством этого первый градуированный кадр (LDR) и второй градуированной кадр (HDR), а устройство (112) вывода изображения для того, чтобы применять преобразование обработки изображения на, по меньшей мере, первом градуированном кадре (LDR) и втором градуированном кадре (HDR) для того, чтобы получать третий градуированный кадр (MDR) с подобной градуировкой, как первого градуированного кадра (LDR), но представляющего лучшее визуальное качество, чем первый градуированный кадр (LDR).
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты способа и устройства согласно изобретению, будут очевидны из и объяснены со ссылкой на реализации и варианты осуществления, излагаемые далее, и со ссылкой на прилагаемые рисунки, которые служат только в качестве не ограничивающих конкретных изображений, поясняющих более общую концепцию, и в которых пунктирные линии используются для указания того, что компонент является необязательным, не пунктирные компоненты необязательно являются существенными. Пунктиры также могут использоваться для указания тех элементов, которые пояснено, что должны быть обязательными, скрыты внутри объекта, или для нематериальных вещей, например, таких как подборки объектов/областей (и как они могут показываться на устройстве отображения).
На чертежах:
Фиг. 1 схематично иллюстрирует вариант осуществления устройства базового сравнения для анализа двух градиентов (LDR, HDR), так, как в основном он будет размещен в устройстве кодирования, выполненном с возможностью кодировать это различие, как структура метаданных (например, состоящий из ROIMAP или, в общем случае, нескольких DATGRAD), чьи метаданные могут сопровождаться отсортированными кадрами, например, LDR, HDR и, возможно, MDR;
Фиг. 2 схематично иллюстрирует примерную приемную сторону потребительской системы, в которой несколько устройств могут использовать существующие варианты осуществления для оптимального получения градуировок и управляющих сигналов для оптимальной визуализации сцены, как предназначено сортировщиками, на соответствующих устройствах отображения;
Фиг. 3 схематично иллюстрирует, как можно получать промежуточную градуировку на основе средних показателей протекания двух других градуировок;
Фиг. 4 схематично иллюстрирует другой пример того, как можно получать третью градуировку на основе информации, имеющейся в двух других градуировках;
Фиг. 5 схематично иллюстрирует другой пример того, как можно соотносить цвета определенных значений или классов в двух градуировках для согласования цветов с другими градуировками, получаемыми из них;
Фиг.6 схематично иллюстрирует примерную последовательность изображений от создания информационной продукции до использования информационной продукции, иллюстрируя некоторые возможности с определенными вариантами осуществления, как, например, получение улучшенного качества LDR картинки QLDR2 с расчетом на, по меньшей мере, некоторую информацию в градиенте HDR и/или DATGRAD;
Фиг. 7 схематично иллюстрирует другой пример улучшения градиента LDR, сравниваемого с градиентом LDR, который был сделан доступным и QLDR2, который может быть использован, например, для управления немного более высокой пиковой яркостью устройства отображения (например, 800 нит); и
Фиг. 8 схематично иллюстрирует, как осуществить сравнение протекания для градиентов, зависимых от внешних параметров, таких как, например, возможности устройства отображения.
ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Устройство обработки изображений на фиг.1 имеет два ввода, именуемых первый (например, для простоты дальнейшего описания, называемого низкий динамический диапазон LDR) ввод 120 и второй (как правило, высокий динамический диапазон HDR) ввод 121. Эти вводы могут, например, принимать кадры, которые могут быть кодированы в стандарт сжатия (например, основанный на DCT (DCT, Дискретное конусное преобразование), подобный AVC (AVC, Продвинутое видео кодирование)), как разъясняется на фиг.6, но на данный момент мы считаем, для простоты, что они являются просто кадрами RAW с N-битным значением (с тремя или более цветовыми компонентами, кодированными как M-битные значения, но для этого приложения мы будем для простоты объяснения рассматривать кадры, как если бы они были всего лишь кадрами серого тона). Мы будем делать различение в этом тексте между термином “изображение”, которое является геометрической композицией объектов из растровых точек как, например, запечатленной камерой (или сгенерированной в компьютерной графической вычислительной среде), и термином “кадр”, который является одним из многих возможных кодировок и в частности градуировками того изображения (то есть изображение является разновидностью родителя семейства картинок и может являться сырым файлом камеры, поскольку первый кадр, полученный оттуда, может являться 8-битным линейным кодированием, а родительский кадр, полученный оттуда, может являться 8-битным нелинейным кодированием с гамма-величиной 0,45). Нам необходимо объяснить разницу между градуировкой и кодированием (мы будем использовать общее слово “кодирование” для любой спецификации большого количества цветов пикселя или кадра и “сжатие”, если присутствует также математическое преобразование для сокращения количества нуждающихся в кодировании задействованных частиц (чтобы избежать повторное употребление слова “сжатие”, мы будем использовать словосочетание “понижающая конвертация”, при сжатии значений в большем динамическом диапазоне в меньший, например, с помощью умножения их на дробное число, такое как 0,5 или любой другой функцией отображения). Под градуировкой мы подразумеваем то, как яркости (цвета) всех объектов изображения скоординированы на кадре, который может, например, быть кодирован как RAW. И, как правило, для создания разных оптимальных внешних обликов (например, для разных устройств отображения), некто будет создавать разные градуировки. То есть градуировка должна осуществляться с выделением объектов запечатленной сцены в особые яркостные диапазоны кодирования итогового кадра на основе эстетических принципов (заставляя кадр выглядеть лучше, чем с простым слепым захватом камеры). То есть градуировки, как правило, вовлекают некий человеческий компонент (конечно, с новой оптимизированной технологией), хотя это можно также воплощать в применении некоторых окончательных математических преобразований (например, градуировку можно кодировать как функцию распределения оптимального значения серого на основе теоретических понятий эстетики. Чтобы убедиться, что это не интерпретируется, как просто кодирование самой по себе художественной непатентоспособной концепции, хотелось бы категорически подчеркнуть, что настоящие способы позволяют техническое построение новых систем, а именно, в частности, систем, в которых возможно иметь технические средства, самостоятельно определяющие новые лучшие, эстетичные виды. Градуировки, в конечном счете, после кодирования, формируют техническую информацию, необходимую для технологии так же, как запечатленное изображение может быть художественно построено путем создания привлекательной сцены с например, фурнитурой, но, в конечном счете, формирует техническую вводную в например, фильтр повышения резкости. Кадр LDR, поступающий на вход LDR, может, например, быть 8-битного кодирования, а кадр HDR - 14-битного, но количество битов само по себе не скажет так много о том, что именно находится в кадрах, точнее, какой цвет каждый из пикселей изображения имеет. Например, если камера создает 16-битные RAW, она может быть достаточно технологичной для кодирования их слабой кривой в 14-битный HDR кадр (по этой причине можно использовать то обстоятельство, что человеческая зрительная система менее чувствительна в отношении яркостных особенностей повышенной яркости, т.е., тот поддиапазон диапазона сигналов яркости может размещаться с потерями, кроме линейной частицы имеющихся 14 бит). Тем не менее, 8-битный элемент информации может быть слишком мал, чтобы верно кодировать 16-битный сигнал яркости, независимо от сглаживания кривой, которую выбирают, так что обычно в этом отношении выбирают промежуточный диапазон с требованиями кодирования с высокой точностью и (умеренно) обрезают яркий и темный поддиапазон сигнала яркости над и под ним. Отмечается, что это выбор диапазона в зависимости от точности. Конечно, можно было бы только линейно конвертировать с понижением 16 бит в 8 бит (например, отбрасыванием более низких 8 бит), но тогда важные диапазоны яркости изображения будут плохо воспроизведены, что может привести к образованию полос на устройстве отображения. Таким образом, сигнал HDR не обязательно много сообщает о количестве бит, используемых для его кодирования, но много об объекте сигналов яркости, существующих в кадре, например, там могут быть закодированы очень светлые диапазоны и одновременно очень темные диапазоны. Важно понимать, что эти кодирования являются, как правило, техническими преобразованиями. И можно кодировать одно отображение в другое математически и также, например, LDR и HDR в общий формат, чтобы сравнить их (например, упрощенно можно было бы приравнять их белые цвета с таким же 32-битным уровнем белого, а затем следуют другие цвета). Даже если оператор (или технический специалист, который задает конфигурации в камере) на самом деле может выбрать одну из нескольких кривых преобразования в соответствии с его предпочтением, это является до сих пор, по существу, технической диаграммой, например кривая 0,45 цветового диапазона или, как в потребительских камерах, сигмоида (S-curve). Градуировка является обычно превосходным определением пиксельных значений серого и/или цветов, и может, как правило, приводить к художественному преобразованию. Это может быть частично ограничено техническими соображениями (например, сортировщику может потребоваться применить некоторый вид сигмоиды для понижающей конвертации в 8-битное изображение, но пока он пользуется художественными пунктами меню, то будет только, например, выбор между различными формами кривой), но обычно это вызывает более сложные востребованные преобразования, как выбор пространственной области изображения и изменение его освещенности согласно некоторому набору параметров (как если бы другой свет припадал на область, которая придает другие эмоции снимку), даже для более высокого битового кодирования (например, это обычно выполняется для цифрового носителя фильма или в представлении с более высоким битом визуализации игрового пространства). Например, сортировщик может увеличивать локальные яркости области для того, чтобы сделать зеркально отображающий объект более «живым» (в сравнении с условиями его изображения). Эта градуировка является очень полезным источником информации, так как она потенциально содержит содержательную информацию о цене, то есть то, что создатель намеревался достичь колориметрически с помощью всех объектов или областей. Если некто имеет только один доступный кадр (например, градуировку LDR), лучшее, что может сделать устройство обработки изображения (например, кадр может определяться по стандарту LDR устройства отображения в 500 нит, но нуждается в отображении на приемной стороне устройства отображения в 1000 нит, и некто действительно желает использовать диапазон более высоких сигналов яркости этого устройства отображения, чего не произойдет, в большей степени, когда сигнал кадра просто применяют как есть на устройстве отображения, потому, что длина сигнала яркости, возникающая от отображения 8-битного сигнала на белом в 1000 нит устройстве отображения, быстро нейтрализуется в результате адаптации человеческого глаза), это попытаться преобразовать цвета определенных пикселей изображения, области или объекты, согласно подлинным универсальным техническим уравнениям, которые могут осуществляться, например, интегральной микросхемой преобразования изображения в телевизоре. Например, можно обнаружить пиксели с уровнем управления d_norm (управление нормальное, d_norm) (который обычно должен быть компонентом яркости из кодирования цвета) выше 250 и интерпретировать, что они, вероятно, являются лучшими образцами, а затем сильно повысить их так, что они преобразятся в белый на текущем устройстве отображения (оставляя другие цвета в намного более низком выходном сигнале яркости устройства отображения L_out (яркость на выходе)). Но эта стратегия может проходить очень неправильно на некоторых изображениях, например, можно себе представить глазами некоторых людей чрезвычайное повышение белого. Однако, если имеется, по меньшей мере, две различные доступные градуировки, например, LDR и HDR градуировка, можно лучше извлекать из них что бы ни было - визуализацию или преобразование (в предыдущем примере глаза не будут значительно ярче в градуировке HDR, и, следовательно, они должны быть “защищены” для того, чтобы вести себя так же во всех полученных градуировках, но блики будут).
Блок 110 сравнения следит за различиями в значении серого (мы можем использовать значение серого взаимозаменяемо с различными связанными параметрами, такими как осветленность, яркость или освещенность, где не требуется никакой точности высокой терминологии) пикселей или областей в первой по сравнению со второй градуировкой (например, LDR и HDR, или HDR и SLDR, градуировка для диапазона ниже LDR, например, 40:1), и характеризует эти различия в значении серого, как структура данных разницы градуировки DATGRAD. Как уже упоминалось, разница может определяться чисто математическим способом получения характеристики кадра, то есть путем расчета некоторого различия цвета или яркости пикселя после преобразования к исходному значению (например, имитируя устройство отображения LDR стандартным способом в диапазоне цветов HDR). Это можно сделать на основе «пиксель за пикселем», или могут использоваться более продуманные характеристики областей или объектов, например, использование измерений текстуры, или пространственные профили (которые можно использовать для сравнения местного освещения) и т.д. Однако, кроме чисто технического анализа кадров, может быть выгодно определять алгоритм различия, принимая во внимание психовизуальные законы для того, чтобы определять, каким является фактическое различие. При этом, мы безусловно не имеем в виду вычисления, например, в пределах лаборатории или применения моделей цветового представления, но известно, что зрительная система человека оценивает степени освещенности объектов по сравнению с тем, что находится в окружении. В частности, система человеческого зрения психологически оценивает черные, белые и серые цвета в совокупности с тем, что видимо (так же, как яркое устройство отображения может передавать пиксели, но также и окружающие цвета). Последнее особенно важно для HDR, так как зрительная система человека создаст когнитивное различие между беловатыми отражающими цветами и самосветящимися источниками света в кадрах. Передача предпочтительно не должна быть такой, что например, ясно видна как белая область, видна как светлая серая область или наоборот. Такие модели могут также быть приняты во внимание в некоторых вычислениях различий, т.е. в общем, разница в градуировке по пикселю или геометрическому местоположению не обязательно должна быть одним вещественным числом, но может быть набором из нескольких чисел, характеризующих несколько аспектов того, как например, локальный объект отличается по градуировки (то есть, например, изображение, кодированное с, например, 6-мерного набора чисел по пикселю, как цветовое различие, и 3-мерного различия освещенности по пикселю; но различия также могут кодироваться как более сложные модели, например, функции преобразования или параметрические N-мерные отображаемые многообразия, которые являются эквивалентом изображения, имеющего в качестве набора значений значения функции и т.д.; примечательно, что изображение также может быть, например, пространственно-статистического представления действительной сцены, например, многомасштабным черновым представлением объекта, изменяемого цвет согласно определенным функциям, основанным на классовом типе объекта, таком как поддиапазон яркости и т.д.). Этот набор из чисел может содержать несколько свойств изображения, так как известно, что также, например, локальная резкость имеет отношение к окончательному облику (зрительная система человека смешивает все это вместе), поэтому он может использоваться на приемной стороне для определения отличной третьей градуировки, например, снимая выделение некоторых локальных отличий в пользу увеличения резкости. Различия также могут быть кодированы в качестве векторов, моделей (например, связанных с функциональным отображением или отображением этих двух), и т.д.
Структура данных разницы градуировки (DATGRAD) может превышаться над различиями для всего изображения (хотя в алгоритме проведения анализа она не должна содержать хранимую информацию о всех областях изображения в одно и то же время), или важные части изображения. Конечно, структуры данных разницы градуировки (DATGRAD) по ряду кадров (например, три градуировки изображения) или количество изображений (например, сравнение градуировки кадра LDR во время TR+5 с таким же HDR объектом в эталонном изображении в момент времени TR) могут быть построены и т.д., которые могут передать несколькими способами, как определенные компоненты сцены, такие как объекты сцены, будут выглядеть под разными ограничениями особой стороны визуализации (такой, как динамический диапазон устройства отображения, изменение освещения окружающей среды и т.д.). Простым вариантом осуществления последнего типа изменения могут быть, например, области полезной схемы экономического эффекта (ROIMAP) (например, кадр с размером изображения). Фиг. 1 схематически показывает такой чертеж, который содержит две области исследования, а именно область исследования (RI) происходящего взрыва и область исследования 2 (RI2) яркого света, присутствующего на груди робота. Эти области можно опознать, потому что есть главное различие в градуировке на двух кадрах, например, кадре LDR требуется обрезать значения до 255, а кадр HDR указывает их как яркие значения значительно выше значений остальной части сцены. Некоторые математические алгоритмы могут использоваться, чтобы определить это различие, которое может привести к логическому числу, записанному в областях исследуемого чертежа (ROIMAP) (“1”=исследуемая область, “0”=не исследуемая), или алгоритм может также квалифицировать различие (количество или тип, и т.д.) с например, 8-битным числом например, дополнительно характеризующим, насколько ярче область, чем на кадре LDR (например, если CR является пиксельным значением серого на чертеже ROIMAP, используемое определение может быть 0<=Cl<100: нормально, не изучается, <100<CI<150: светлый объект первого типа яркости; 150<CI: очень светлый объект, который должен быть визуализирован с максимальной яркостью, доступной на стороне устройства отображения), или определить с помощью анализа содержимого изображения, какой тип объекта, вероятно, присутствует (ведущий к другим преобразованиям процесса визуализации) и т.д.
Т.е. различия не должны быть тщательно кодированы, но могут быть приблизительно распределены на несколько классов (с учетом изменчивости визуализации на приемной стороне), и дополнительно метаданные могут быть добавлены к структуре DATGRAD, например, дополнительно характеризующей тип области (она может содержать метку, что это “яркий свет”, которая может быть просто двоичной характеристикой (отражающие объекты можно считать равными и в кадрах и в градуировках, хотя их фактические значения пикселей, даже после преобразования в общий образец со стандартизированным отображением, могут быть разными, в то время как источники света рассматриваются как разные, и должны отображаться совершенно иным образом на LDR по сравнению с HDR устройством отображения]). Например, можно сравнить значение простого расчета (например, линейный участок LDR изображения или ожидать повторной его визуализации, учитывая лучшие характеристики предполагаемого устройства отображения HDR) с фактическим значением пикселя изображения HDR. Если предсказанные и реальные значения примерно такие же, это, вероятно, не интересный объект, а просто преобразование, для того, чтобы показать область аналогичным образом на более высокой системе динамического диапазона (который можно преобразовать в равенство с указанием “0”, например, грубым округлением). С другой стороны, если значения различаются в большей степени, пиксель может быть помечен как интересный (“1”), грубая характеристика “разного”. Устройство 110 сравнения может также использовать уравнения, смотря на соотношение значений пикселей в кадре LDR и HDR, в частности, если соотношение окружающих пикселей также учитывается (например, зависимость градуировки значения серого изменяется от первой за пределами интересной области R1, до второй зависимости внутри R1). Сравнения не должны быть основаны на попиксельном анализе, но может вызываться дальнейшая до- или постобработка, такая как пространственная фильтрация, морфологическая обработка, удаление мелких ошибочных конструкций и т.д. Также некоторые области могут быть сброшены со счетов и не включены в ROIMAP, например, дальнейшим анализом, например, области, которая соответствует небу, или, в зависимости от размера, формы, цвета, текстуры и т.д. выявленных областей.
Наличие этих интересных областей R1, делает их полезными для всех видов обработки изображений. Это может быть обработка изображений, связанная с визуализацией изображения, например, новый кадр может быть построен (например, путем трансформации LDR или HDR кадров, которые введены), чтобы подлежать применению в качестве управляющего значения для устройства отображения, в котором яркие значений ярких объектов сделаны еще более ярко (например, соответствующий пользовательским настройкам “величина усиления светлых участков»). Тем не менее, другие функции обработки изображений могут также извлечь выгоду из интересующих областей R1. Поскольку области были достаточно важными, чтобы заслужить разные градуировки, они должны оставаться в обработке изображений, как, например, кадрированная фотография переходит на разные соотношения сторон (например, для небольшого устройства отображения 281 на портативном устройстве 280). Кроме того, свете на груди робота может образовывать первоначальный вход для дальнейшей обработки области с помощью методов анализа изображений, например, детекторов человеческих форм. Кроме того, в стратегии компрессии изображения и декомпрессии изображения, математическая трактовка (де)компрессии может настраиваться по-разному для таких областей, как например, точность квантования или другие параметры, влияющие на качество. Поэтому легко выделять такие, например, значения интервала квантования, которые могут выделяться сигналу изображения как метаданные (в составе или отдельно) со значениями пикселей в ROIMAP. Кроме того, область взрыва может обрабатываться алгоритмом обработки различных изображений (в том числе алгоритмы компьютерной графики), например тем, который подчеркивает или улучшает текстуру огня или структуру пыли в ней. Анализ этих областей интереса может использоваться в приложениях, которые извлекают пользу (главным образом простую) из описаний изображения IMDESC. Например, получение естественного освещения (ambilight) или обволакивающих световых эффектов извлекает пользу из лучшего понимания объектов в сцене, в отдельных областях, которые являются настоящими световыми конструкциями в изображении (и, в частности, когда они четко представлены, как например, в градуировке HDR). Можно получить, например, (X, Y, Z) или (L, A, B) или (R, G, B) средний цвет (или набор цветов) для области взрыва и использовать только эту область/цвет для управления естественным освещением ((X, Y, Z) _AL1 может быть контрольным параметром или прямым управлением естественным освещением через соединение 260 в блок 261 естественного освещения). Вторая изучаемая область может использоваться для управления объемным освещением (в соответствии с характеристикой объемного освещения контрольный параметр (X, Y, Z)_SLl направляет, например, беспроводным способом в устройство 251 связи любого из множества объемных источников света 250). В общем, описание изображения может быть основано на всех типах свойств доступных кадров и других данных, например, сгенерирован ли объект компьютерной графикой и т.д.
Если требуется получить вновь отсортированный кадр, например, для разных устройств отображения, разных характеристик условий просмотра, разных предпочтений пользователя и т.д., блок 110 сравнения, как правило, анализирует весь кадр (так как он будет генерировать новый пиксел для каждого из всех пикселов в других отсортированных кадрах, и это будет затем отвечать основанной на изображении оценке того, как сцены должны в общем выглядеть в различных ситуациях визуализации, учитывая две примерные градуировки), но, конечно, можно привлечь кадры из большинства изображений (например, конкретное (более раннее) изображение можно пометить как имеющее особенно представительную градуировку для выстрела или сцены, или выбрано потому, что оно содержит отсортированные темные объекты, не присутствующие в текущем изображении, которое будет повторно визуализироваться, или в других рекомендуемых кадрах). Преобразование повторной визуализации может затем использовать эту дополнительную информацию при определении изменения в значении серого, например, начиная от кадра HDR для более легких объектов, которые присутствуют в текущем изображении. Это может быть полезно, например, для регулирования визуализации для того, чтобы сохранить цветовой диапазон или принять во внимание несколько эффектов.
Структура данных разницы градуировки, по меньшей мере, будет содержать одно (или несколько) значений пикселей в обоих градуированных кадрах, по крайней мере, для выбранной области пикселей в изображении. Несколько эквивалентных структур могут быть использованы, от сложной для обобщения всего изображения или его статистические обобщения, к простому локальному представлению (например, в анализе алгоритмов, которые идут на небольшие части изображения за один раз, и в этом случае остальные изображения могут все еще быть обобщены в дополнительных данных.
В качестве примера мы будем использовать фиг. 3, чтобы показать, как вычислить градуировку для MDR (средний динамический диапазон) устройства отображения промежуточно между LDR устройством отображения (например, предназначенные для классических L_max_LDR=500 нит 8 бит устройств отображения) и HDR устройством отображения (например, для контрольного устройства отображения L_Max_HDR=5000 нит, согласно которому было сделано кодирование HDR), например, HDR устройство отображения более низкого качества доступно только по выходу 2000 нит белого, исключительно на основе имеющихся LDR и HDR градуировок. Фактический вывод MDR градуировки (а от управляющего сигнала устройства отображения MDR, несмотря на пример на фиг. 3, мы сразу же получаем управляющий сигнал d_norm) осуществляется с помощью блока 112 реградуирования или способа. Специалист в данной области должен понимать, что с аналогичными соображениями, похожие варианты блока сравнения или способа, и блок реградуирования или способа могут быть построены с использованием в дополнение или единственно других данных, кодирующих градуировку второго градуированного кадра. Например, если при кодировании кадра HDR кодирована преимущественно на основе тональной компрессии IL_PRED от LDR градуированного кадра, то инверсия этой тональной компрессии может быть полезной функцией (т.е. специалист может построить реградуировки, похожие на примеры ниже, не только путем настройки реградуировок дополнительными данными, например, если инверсная тональная компрессия соответствует уменьшению значения серого отдельных объектов в определенной степени, реградуировка MDR может сделать это в уменьшенной степени, но также и с помощью этих единственных данных для получения функций реградуировки).
На фиг. 3 показаны две оптоэлектронные функции преобразования, OECF_LDR из устройства отображения LDR и OEFC_HDR из устройства отображения HDR (например, рекомендуемое устройство отображения в 5000 нит). Они показаны с аналогично упорядоченной осью абсцисс (таким образом, количество битов, кодирующих LDR и/или HDR градуированные кадры, которым они соответствуют, является неподходящим, учитывая, что 8 бит и 14 бит будут отображены на 1), а ось ординат показывает, что если применить по оси х значение d_norm в качестве значения управления устройством отображения, устройство отображения выдает сигнал яркости, равный L_out значению кривой. Как правило, такие кривые являются гамма-функциями, дополнительно учитывающими последующие компенсации для типичных или фактических бликов и т.д. Сравнение фокусируется на, по меньшей мере, одной или нескольких точках на кривой, например, область цветов пикселей, которые имеют беловато-серое сочетание и соответствуют диапазону управляющих значений R_objgW_LDR в градуировке LDR и R_obj_W_HDR в градуировке HDR. Следует отметить, что в этом простом сценарии, который ориентирован в основном на то, как устройство отображения может отображать значения серого своим электрооптическим поведением (т.е. значения пикселей интерпретируются в просмотр цветового диапазона воспроизводящего устройства), градуировка может быть интерпретирована как сдвиг вдоль OECF, т.е. диапазон в LDR имеет меньшую дальность dw_1 от LDR максимума, чем расстояние dw_h от максимума кадра HDR. Так может быть потому, что сортировщик посчитал, что объект будет слишком ярким, если бы это было представлено, например, простым линейным отрезком LDR значений поблизости от диапазона HDR, то есть он исправил управляющие значения для этих пикселей в кадре HDR, чтобы они были ниже, чем значения простой прямой (отметим, что значения простой прямой для LDR и HDR могут исходить, например, из наивно отображаемых «сырых» значений камеры). В этом объекте диапазон, в частности пикселей в LDR картинке (например, пиксел 301 или пиксел 302, имеющие определенное значение серого, как видно на графике), соответствует (например, просто геометрическим расположением, или с более сложными алгоритмами назначения) особым пикселям 303 и/или 304 в изображении HDR. Хотелось бы знать, что требуется одному управляющему значению (для пикселя 305) на промежуточном устройстве отображения MDR, учитывая “оптимальный” отсортированный пиксель для LDR и/или HDR (302 и/или 304). Преимущественно с простым алгоритмом, для интерполяции градуировки, эта точка 305 может быть получена путем определения OECF_MDR для этого MDR устройства отображения, и вычисления точки пересечения этой OECF_MDR, и линии, соединяющей точки 302 и 304 в LDR и/или HDR градуировки. На основании этого можно определять управляющее значение d_norm_sol для управления MDR устройством отображения. Применение этой OECF_MDR имеет много преимуществ, ведущих к хорошим решениям. Например, если выходной сигнал яркости должен быть одинаковым для всех устройств отображения, горизонтальная соединительная линия даст для любого OECF управляющее значение, получая выходной сигнал яркости. С другой стороны, могут быть сценарии, когда нескольких точек на одной OECF соответствуют одной точке на другой OECF, из-за перегрузки. Например, в темной области OECF_MDR и OECF_LDR локально относительно схожи. Это сходство станет результатом алгоритма отображения, так как разница в отображении между двумя темными пикселями 311 и 312 красиво определяет масштаб в соответствии с возможностями устройства отображения в отношении все более и более разных точек 314 и 315, тем более OECF_MDR становится похожей на OECFVHDR. Конечно, более сложные алгоритмы могут использоваться, более внимательно изучающие позиционирование точек или множества точек вдоль различных OECF, и в частности, изучающие предполагаемые координаты, как по сравнению с внешней областью исходной точки на объекте диапазона/области, так и по сравнению с внутренней областью (имеющие отношение к тому, как сортировщик оценивает воздействия для различных сценариев градуировки глобальных свойств освещения, по сравнению с объектно-внутренними контрастами). Например, чем сложнее отображение в точке 306, отображение уравнений может включать в себя оценку отношений, где точка находится в типичном диапазоне точек объекта (например, расстояние dmo_h от самой светлой точки 304) в зависимости от того, где сравнивается диапазон с, например, максимумом (dw_h), и это для прогнозируемых значений MDR отсортированного пикселя (расстояние dw_m должно быть подтверждающим, чего следовало ожидать с учетом двух других градуировок, по меньшей мере, в пределах допуска, таким образом, например, можно сдвигать немногим более избыточно по отношению к темным значениям, чем бы следовало ожидать линейно, учитывая dw_h и dw_1, но не темнее dw_1), по сравнению с отношениями в различных градуировках (LDR, HDR и, возможно дальнейших градуировках, для других устройств отображения или другие условий устройств отображения и т.д.). Уравнения диаграмм могут также содержать характерные значения, такие как, например, обычно или часто встречающийся цвет в диапазоне объекта при обработке, и эти значения могут даже совместно храниться в виде метаданных с кодированными изображениями, например, на основе статистического анализа процесса градуировки на стороне градуировки (например, можно внимательно проверять сортировщик, играя со значениями, пытаясь оптимально вписать их в верхнюю часть допустимого диапазона для определенного объекта или вида объектов, проверяя такие параметры, как количество времени, потраченного на эту градуировку и т.д., которая может формировать повторную градуировку в отображение в соответствующем поддиапазоне MDR устройства отображения OECF). Примерами полезных данных для точной настройки реградуировки являются, например, диапазон ярких цветов R_white, которые могут быть в различной степени относительно хорошо представлены на устройствах отображения более высокого динамического диапазона против незначительно представленных на устройствах отображения нижнего диапазона, в зависимости от других сценариев, для сравнения и реградуировки объектов или областей на промежуточных диапазонах, таких как R_mid, который есть/будет хорошо представлен даже на многих LDR устройствах отображения или нижеприведенных.
Пример более сложной градуировки, которая может быть полезна для экстраполяции к, например, суб-LDR устройствам отображения (такие как, например, устройство 281 отображения низкого качества портативного устройства 280, которое может даже требовать оптимального управления для того, чтобы принимать во внимание более высокие блики, т.е. уменьшать контрастность), а также настройки для других потребностей, как например, пользовательских предпочтений, проиллюстрирован на фиг. 4.
Надо понимать, что в качестве альтернативы для того, чтобы преподносить все в физическом представлении OECF, а также создавать все другие изменения, такие как сдвиги вдоль OECF, можно также преподносить несколько модификаций значений серого, таких как отображение тона (например, настройки предпочитаемой пользователем контрастности), как модификации OECFS производят общую OECF, например, OECF_TDR (как если бы устройство отображения не имело больше процесса гамма-коррекции, но некоторые другие сложные процессы, или, другими словами, повторно вычисляют отображения цвета пикселя в некотором другом глобальном (или даже более сложном, или полуглобальном) трансформационном просмотре). Такая кривая OECF_TDR может дополнительно рассматриваться как типичная кривая системы визуализации вместо простой кривой устройства отображения. Это особенно интересно для модификаций, которые являются “всегда ожидаемыми” (как пользователь, которому нравится свои яркие области, всегда исключительно яркие, однако они возникают, чтобы стать градуированными), и отличить от конкретной градуировки отдельных предметов, в частности изображений/кадров (художественный замысел которых затем все еще может быть представлен в виде смещений). Например, сортировщик может предпочитать, чтобы кадр с темным пальто в оригинальной сцене должен быть фактически отсортирован как яркий белый, а пользователь хочет, чтобы все яркие пальто были еще ярче. Независимо от фактического OECF, который может быть на устройстве отображения, пользователь настроил его так (например, с дополнительными таблицами поиска и т.п.), чтобы иметь характеристику OECF_TDR, которая не слишком много заботится о темных цветах (он добавил им смещение яркости, возможно потому, что фильм имеет несколько темных сцены и пользователь хотел видеть их лучше, учитывая яркость освещения своей гостиной, отражающегося от переднего стекла устройства отображения), он установил большой контраст для промежуточных цветов (в диапазоне clrvis), и он предпочитает обрезать (даже если устройство отображения на самом деле может визуализировать более яркие цвета вплоть до своей максимальной L_max_TDR) по крайней мере более яркую подсветку 401, 402 (выше значения HL_ref_HDR или аналогично указанного параметра, в зависимости от математического соотношения под пользовательскими элементами управления, который хочет применить разумное улучшение цвета с не слишком большим количеством пользовательских настроек) к единичному типовому значению подсветки L_max_APL (то есть те точки будут нанесены исходя из HDR градуировки путем нанесения 410 и др. к точке 404).
Творческий сортировщик на стороне создания контента теперь может говорить о том, как будут (примерно) выглядеть визуализации, при таких различных условиях, таких как, например, пользовательское повышение яркости. Он может также использовать элементарные кривые. Например, выше управляющего значения LE_dvH он может использовать простую стратегию интерполяции на основе поведения цветового диапазона на устройстве отображения, как описано выше. Но для более темных цветов он может описать одну или несколько других стратегий преобразования, например, одну - для поддержания максимально заметной детали изображения, одну - для максимально страшного (скрытого) вида и т.д. В свете этого может интерпретироваться разница в сортировке HDR (более благоприятной) и сортировке LDR (например, то, как деталь возрождается в градуировках успешного более широкого динамического диапазона) и, следовательно, предварительные функции (символизированных стрелками на фиг. 4) или частичные функции, такие как OECF_TDR, определяющие среднее поведение системы, могут характеризовать разную градуировку в, по меньшей мере, двух градуировках и определять поведение реградуировки в отношении третьей градуировки. Например, когда пользователь нажимает кнопку яркости, система сдвигает в сторону одну или более деталь сохранения реградуировки для более темных цветов.
Этот алгоритм использует ожидаемые преобразования для начальных предсказаний, а затем корректирует на основе фактических значений градуированного пикселя в нескольких градуированных кадрах LDR, HDR. Например, градуировка может быть построена с типичными номинальными значениями для визуального окружения. Можно было бы после применения способа на фиг. 3, применить стандартные колориметрические преобразования, основанные на человеческих психовизуальных принципах для того, чтобы впоследствии, например, увеличивать контрастность кадра при просмотре его в более темных условиях, чем предписано для например, LDR кодирования (т.е. LDR сигнал должен быть изменен для использования на LDR устройстве отображения, но в значительно более темной окружающей среде). Но это может быть близко к оптимальному, по крайней мере в соответствии с художественными предпочтениями сортировщика. Альтернативно, можно было бы включить эти факторы (обязательную повышенную контрастность, по меньшей мере, в диапазоне управляющих значений) непосредственно в модели прогнозирования из доступных градуировок. Это может быть сделано как если некоторые из градуировок (частично) передают точную информацию о том, какой градуировка должна быть для уменьшения яркости условий просмотра (например, сортировщик может в для нескольких представительных кадров переградуировать, например, второй LDR и градуировку HDR для темного окружения), эта информация может затем быть использована для повышения точности схемы для других изображений/объектов/сценариев, но даже с двумя простыми градуировками LDR и HDR, стратегия фиг.4 имеет смысл. В этом примерном способе учитывают ряд цветов пикселя в LDR, и предсказывают, где в нем, по меньшей мере, точка (например, средняя точка) должна ложиться на целевую схему тона OECF_TDR, а именно на точку P_LD (эта схема делается путем создания функций, которые учитывают все или некоторые из необходимых психовизуальных поправок, характеризующих адаптацию пользователя к новым условиям просмотра, его предпочтения в отношении контрастности и т.д.). Выполнение того же самого с HDR (т.е. поддиапазон или область объекта в градации HDR) производит P_HD, которая отличается от P_LD смещением точек на дюйм. Это обычно может быть потому, что сортировщик думал, что эти цвета должны быть визуализированы с мягким освещением на ярком HDR устройстве отображения, тогда как, например, физические ограничения могут заставить его визуализировать их с более высокими управляющими значениями для LDR. Окончательный схематический алгоритм для получения соответствующей точки 410 к средней точке на OECF_TDR определит, должен ли он быть ближе к результатам расчета LDR или HDR, принятие таких факторов во внимание, так как пользователь, предпочитающий, чтобы этот небольшой поддиапазон визуализировался с высоким контрастом, не так много уровней серого могут быть представлены для этого диапазона, который может также просматривать, где диапазон R_LDR находится в совокупности возможных значений серого, приводит фактически к тому, что точка должна быть ближе к LDR результату расчета P_LD. Конечно, слепой алгоритм с мало-точным моделированием уравнений может занять, как разумно-усредненное значение, среднюю точку между P_LD и P_HD, что упрощает расчетную нагрузку, т.е. детектор может оценить разницу между P_LD и P_HD, а затем решить, требуется ли больше точных и сложных дальнейших расчетов. В общем представлении, сравниваемый диапазон в данном примере находится между управляющими значениями LE_dvH и HE_dvH. LRO_min и LRO_max являются примерами, характеризующими поддиапазон LDR на оси сигнала яркости.
Такие модели могут представлять комплексность, как проиллюстрировано на фиг. 5. Например, на фиг. 5б присутствуют (возможно, местные, то есть только для некоторых областей или объектов) дальнейшие фактические градуировки, и соответствующая точка G_MDR показывает, что более точные интерполяции нужно провести не по прямолинейным траекториям, а нелинейным траекториям (это может быть связано с тем, что близко к градуировке HDR промежуточные градуировки того цвета не должны слишком много отличаться, но выше определенного расстояния от HDR, они быстро сходятся к ситуации LDR. Это может быть, например, из-за выборок сортировщика, вытесняющих все возможное из любого устройства отображения наивысшего динамического диапазона для тех цветов. Такие соображения могут быть математически обработаны, руководствуясь уравнениями, содержащими, например, расстояние по линейным результатам расчетов между LDR и HDR точками, а оттуда - ортогональное отклонение. Фиг. 5а показывает пример конструкции более сложной структуры данных разницы градуировки DATGRAD с локальным для этого изображения сложным нелинейным поведением для промежуточных градуировок, например, точка 503 на градуировке, будучи точной для устройств отображения с максимальным значением L_Ml, и, возможно, другие параметры Pxvl, такие как минимальное значение, и т.д. Отображение в соответствии с параметрическими математическими результатами расчета PMAP может отклоняться криволинейным промежутком DELT от фактической оптимально градуированной точки, так что чем больше этих точек доступно, тем лучшим может стать прогноз. Эти точки и кривые могут быть оценены на основе малых данных (наподобие только LDR и HDR градуировки и дальнейших колориметрических параметров) на принимающей стороне, но они также могут быть определены на основе совместно кодированных данных от передающей стороны (например, программное обеспечение устройства сортировки может иметь накопленные некоторые высоко представительные кривые или параметры (вернее) их регенерации.
Возвращаясь к фиг. 1, показаны некоторые опциональные связанные компоненты. Модуль 130 анализа ситуации предоставляет параметры относительно ситуации, требующей другой пере-визуализации, например разные алгоритмы отображения или другое целевое отображение тона OECF_TDR (который может быть определен при помощи блока М2 переградуировки на основе передаваемых данных или собственно модулем анализа ситуации, и передан) и т.д. Он может быть подключен к различным устройствам, таким как например, один или более приборов 132 измерения окружающей среды (который может быть, например, индикатор освещенности, измеряемый яркость гостиной или окружения, в котором располагается устройство отображения и передает эту информацию в качестве данных, характеризующих среду VCHAR). Устройство обработки изображения 101, будь то на стороне создателя, или на принимающей стороне так же, как в компьютере или SetTopBox (ресивер цифрового телевидения), также может быть подключен к контроллеру 134 пользователя (например, дистанционному управлению). Таким образом, переградуировки могут быть определены на основе конкретных предпочтений пользователя. Например, пользователь может иметь в наличии несколько настроек визуального качества, простое глобальное повышение контраста, как при классическом телевидении или больший связанный с HDR контроль, который с, например, набором трех параметров: подстройка яркости для темных цветов, контрастность для mid_range (средний диапазон), и предпочтительное повышение или затемнение для самых ярких цветов (из которых затем алгоритмы могут создавать или изменять функции отображения тона). Затем контролируемые пользователем настройки USRSET могут представлять собой, например, три числовых значения. Дополнительно интеллектуальные установки могут быть включены в телевизор, проигрыватель контента и пр., например, глобальная настройка энергосбережения, которая делает больше для тонального отображения, чем просто масштабирование максимальной мощности, но применяет интеллектуальную кривую также с учетом оптимальной видимости важных mid_range (среднего диапазона) объектов (возможно, с учетом данных условий просмотра). Другая настройка может работать только на самых ярких цветах, например, чтобы увеличить или уменьшить их влияние или раздражение.
Фиг. 2 показывает примерную систему гостиной, которую можно использовать и извлекать пользу из представленных вариантов осуществления. Например, устройство обработки изображения может быть реализовано как интегральная микросхема 101 (IC 101) обработки изображений в проигрывателе 210 оптических дисков (например, BD (Blu-ray диск, оптический носитель, используемый для записи с повышенной плотностью) но заметим, что это является только примером того, как изобретение может быть реализовано с другими запоминающими устройствами подобно, например, твердотельной памяти или каналам передачи данных, подобным Интернет-соединению и т.д., и, конечно, «устройствами» обработки изображений могут быть также любые большие устройства). Blu-ray диск 215 может содержать два градуированных кадра (или эквивалентную этому информацию), а также дополнительные данные 216, по вопросу, как кадры должны градуироваться и/или визуализироваться (например, явно определены с помощью сортировщика для конкретных объектов, или автоматически выведены из градуировочной классификации) и, возможно, другую информацию, а именно, каким образом градуировки должны быть отображены в параметрах сжатия и т.д. Последние могут быть отправлены через дополнительные дорожки или метаданные, например, системы, подобные дополнительной улучшенной информации в AVC (Advanced Video Coding, усовершенствованное видео кодирование). Например, устройство градуировки на стороне сортировщика (например, 603), может следить за количеством времени, занятого сортировщиком при градуировке нескольких объектов. Это является указанием того, каким важным, вероятно, является предмет, и он может быть представлен в цифровом виде в, например, области интересующей карты ROIMAP. Автоматические алгоритмы обработки изображения на приемной стороне могут принять эту информацию к сведению, например, они могут убедиться, что объект является оптимальным видимым на устройстве отображения низкого качества. Также могут запоминаться параметрические модели, помогающие воссоздавать структуры, как на фиг. 5а. Обратите внимание, что могут существовать метаданные для того, чтобы позволить переградуировку различным видам градуировки, которые могут формировать приблизительные шаблоны, позволяющие более точную тонкую подстройку, например, того, как, по меньшей мере наиболее важные объекты должны быть преобразованы из LDR в SLDR, как LDR должен быть преобразован в LDR* при других ожидаемых условиях визуализации, и одна вероятно промежуточная градуировка. Сортировщик может указывать еще более точно (по крайней мере для некоторых критически важных объектов), насколько правильно должен быть переградуирован результат для большего количества в диапазоне различных устройств отображения. Содержательная информация может совместно храниться с таким типом объекта изображения или эффекта и т.д. с которым она соприкасается, например, прожектор, который должен светить ярко по направлению к зрителю, или взрыв, который должен временно ослепить его, и т.д. Отметим, что хотя мы упоминали потребительский BD диск, это также может быть запоминающее устройство для постоянного хранения градуировки на стороне контента владельца, либо передающие средства для передачи в телевизионную студию, и т.д. Аналогичным образом, хотя мы описывали переградуировки в потребительской среде, они также могут быть выполнены в профессиональной среде, например, как автоматическая предварительная градуировка перед коррекцией пользователя. Хотя также само устройство отображения может содержать интегральную микросхему обработки изображений, в этом примере мы предполагаем, что BD проигрыватель (или это может быть также декодер каналов кабельного телевидения (SetTopBox) или ПК (персональный компьютер, PC) или домашнее медиаустройство и т.д.) осуществляет анализ градуировки и переградуировки. Он может подключаться к телевизору 200 по беспроводной или проводной связи 213 (например, HDMI (High-Definition Multimedia Interface, мультимедийный интерфейс высокого разрешения), который может либо передавать необходимый градуированный кадр (например, кадр MDR), либо другие данные для того, чтобы позволить телевизору осуществлять (впервые или далее) переградуировку, функции обработки изображения, такие как увеличение резкости или модификацию цвета и т.д. Телевизор состоит из ЖК (LCD, устройство отображения на жидких кристаллах) панели 201 и светодиодной подсветкой блока 202, и имеет отдельный блок 261 Ambilight (технология фоновой двухканальной подсветки). BD плеер также может конструировать дополнительную градуировку SLDR для отправки на портативное устройство 280 отображения, которое второй пользователь просматривает в своей спальне.
В интересных вариантах осуществления третья градуировка является также кадром LDR (например QLDRI), т.е., это, как правило, кадр, который выглядит во многом так же, как входная градуировка LDR (т.е. цвет/яркость его пикселей попадают в дисперсный диапазон RANGVAR вокруг сигналов яркости входного LDR, имеется, например, только резкость или регулирование добавления/улучшения текстуры). Некоторые примеры этого проиллюстрированы на фиг. 6, которая также показывает как изображения использует цепь от создания до визуализации. Камера 601 хранит сырые данные камеры в основном хранилище 602, откуда они отсортированы мастером на устройстве 603 градуировки и сохранены в цифровом основном хранилище 604 (такими могут приравниваться к вводным данным HDR, хотя, конечно, могут быть вовлечены в дальнейшее автоматическое или управляемое пользователь преобразование). В дальнейшем этот цифровой мастер может быть градуирован снова на второй градуировке устройства 605 и хранятся в хранилище LDR 606 (например, это может быть градуировка для хранения LDR в 8 бит на BD), вместе с HDR (например, 12 битный протокол цифрового мастера). Затем может привлекаться многоуровневое кодирование, в котором LDR компрессор 610 сжимает LDR сигнал в соответствии с принципами, основанными на DCT подобно, например, в AVC. LDR декомпрессор 611 воссоздает то, что может выполнять принимающая сторона, а HDR прогнозирующее устройство 612 применяет тональное отображение для того, чтобы прогнозировать сигнал HDR из распакованного LDR сигнала. HDR кодировщик 613 кодирует сигнал HDR, например, как разность (и/или коррекция функции(й) отображения тона). Для более подробной информации о примерном варианте осуществления мы ссылаемся на EP 101685659 (PCT/IB2011/052892). Устройство 614 форматирования составляет все вместе, например, на диск BD, или передать по сети 620. Устройство 630 расформатирования распаковывает все на приемной стороне и получает через LDR декомпрессор 631 кадр LDR (или последовательность кадров) и кодирование данных HDR градуированного кадра (то есть, например, разница кадров) D_HDR. Через второе HDR прогнозирующее устройство 632 и HDR декодер 633, сигнал HDR может быть точно воссоздан. Следует отметить, что в этом многоуровневом подходе, аналогично HDR кодировщику 613, могут быть к тому же кодировщики, кодирующие разные сигналы на основе LDR и возможно также, других сигналов, таких как HDR, например, для MDR устройств отображения или других условий просмотра и т.д.
Выгодным применением настоящих вариантов осуществления является дополнительный блок 634 обратного отображения тона. То есть, если HDR кадр (обратите внимание, что функция обратного отображения тона может быть получена исходя из доступных версий тонального отображения от LDR до HDR, но это, конечно, может быть (совместно)приведено на основе анализа HDR и LDR кадров) относится к LDR через отображение тона, то LDR выводится из HDR через свой инверсный выход (ITM, связывающий все яркости L_HDR кадра HDR в яркости L_LDR; обратите внимание, что в силу сложных градуировок такое отображение тона не должно быть фиксировано для всего изображения, но может являться пространственно-временным объектом). Важно, однако, понимать, что можно отображать приблизительно (например, отображение пространственных средних сигналов небольшого масштаба LDR и LDR* друг другу) на основе HDR прогноза, а затем улучшить LDR сигнал (так как HDR будет иметь более точные текстуры, например, более точные градации, которые могли быть удалены на входе LDR). Тем более, это позволяет отправлять более небрежно представленный (т.е. с меньшим количеством бит) LDR сигнал (который будет прежде всего казаться противоположным многоуровневому прогнозному подходу), а затем резервировать больше битов для данных HDR. Это является преимуществом для систем, подобных, например, кабельной сети или Интернет, которые могут не иметь слишком много доступного трафика, но хотят оптимального опыта и качества для высокотехнологичных приложений HDR. С другой стороны, они должны продолжать обслуживать устаревшие системы. Полностью устаревшая система может затем получать LDR данные несколько более низкого качества, например, более массивные. При этом, декодер каналов кабельного телевидения может быть более легко модернизирован с применением программного обеспечения, или потребителю будет намного легче приобрести проигрыватель за 150 долларов, чем за 1500 долларов новый телевизор, так что этот сценарий является интересным, где пользователь имеет новый, например, BD плеер с системой по фиг. 6, но классическое LDR устройство 200 отображения. Блок 634 обратного отображения тона затем генерирует более высокое качество LDR сигнала QLDR1 из всех имеющихся данных LDR и HDR градуировки, которая имеет меньше массивных артефактов и т.д.
Другой обработкой, которую необязательно можно будет делать (и также в отдельной системе) является процессор 635 изображения. Он может, например, добавить пространственные текстуры, выбранные из градуировки HDR в отдельные области LDR сигнала для того, чтобы сделать его еще более четким, производя QLDR2. Конечно, также более сложные функции для получения окончательного управляющего сигнала из всех имеющихся данных кадра может использоваться, например, входной LDR сигнал и сигнал QLDR1 могут смешиваться, на основе, например, анализа качества (например, глядя на то, является ли основополагающая текстура сглаженным градиентом или комплексным и т.д.).
Фиг. 7 схематически иллюстрирует другой пример обработки изображения, которая может быть осуществлена на LDR градуировке, имеющей соответствующую градуировку HDR, именуемую увеличением резкости. Так как HDR имеет данные лучшего качества, лучше усилить тот сигнал (не увеличивать артефакты и т.д.). Высокочастотный изоляционный блок 701 получает высокочастотная h_HDR часть HDR сигнала (например, содержащую его микротекстуры). Блок 703 пространственного отбора определяет, для каких пикселей эти данные будут использованы. Блок преобразования 705 определяет, как микротекстура должна быть преобразована, чтобы применяться в диапазоне LDR, например, это может быть усиливающий блок, управляющий количеством локальной резкости, а преобразователь 707 будет точно отображать значения серого этой тонкой текстуры к основному профилю LDR объекта, после чего он добавляется в LDR посредством сумматора 711. Специалист в данной области понимает, как реализовать такие альтернативные операции, как например, маска, снижающая резкость, и как подобным образом построить другие функции обработки изображения. Например, этот способ является полезным для того, чтобы убрать LDR нанесенные артефакты.
Фиг. 8 схематично показывает, как визуализируемые виды разных создателей могут быть представлены разными моделями, в зависимости от значений некоторых параметров. Например, что касается функции прогнозирования, которая отображает LDR относительно градуировки HDR к исходному значению, это можно кодировать на основе параметров, таких как, например, возможности передачи темного цвета (LDR) эталонного устройства отображения (на котором обычно определялся LDR градиент), или окружающий уровень освещенности устройства отображения. То же самое может быть сделано, например, с общим OECF (например OECF_TDR), с которым моделируется среднее поведение визуализации системы визуализации, то есть оценивается, и т.д.
В этом примере ось “черной представимости” определяет, сколько темных цветов еще можно увидеть, например, под отблеском объемного освещения на передней панели устройства отображения. Плохой уровень может указывать, например, что 10% всех управляющих значений не могут быть отделены от друг друга. «Хорошо» может означать, что, например, наинизшие 0,5% от кодов, по меньшей мере, по-прежнему являются распознаваемыми. LDR система низкого качества имеет как плохие черные, так и низкую пиковую яркость. В этом случае первая модель mod_1 задается, что означает, что, например, для прогноза того, что именно градиент LDR представляет собой, эта модель учитывает неблагоприятное осветления более темных цветов с помощью обычного сортировщика. Если некоторые цвета по-прежнему чрезмерно темные, это должно что-то означать. Но на устройстве отображения с лучшими черными цветами модель 2 (mod_2) может проецировать именно те чрезмерно темные цвета, в чрезмерно темные части сигнала яркости используемой OECF, например, гамма-кривая такого лучшего устройства отображения динамического диапазона. Кроме того, для более высоких пиковых уровней яркости может использоваться другая стратегия (mod_3). Эти стратегии могут быть закодированы в метаданных (например, в DAT_GRAD) и (грубая) границы между ними, например, в виде прямых линий или параметрических кривых и т.д. Кодирование зависимо от случая сравнительных моделей для различения LDR и HDR класса (и, возможно также, пересортицы алгоритмов спецификации), значительно облегчает интеллектуальное переключение между различными предполагаемыми режимами работы.
Алгоритмические компоненты, раскрытые в данном документе, могут (полностью или частично) реализоваться на практике в виде аппаратных средств (например, отличающейся программой интегральной микросхемы) или как программное обеспечение, работающее на специальном процессоре цифрового сигнала или на универсальном процессоре и т.д.
Специалистам из нашего описания должно быть понятно, какие компоненты могут являться дополнительными улучшениями и могут реализоваться в комбинации с другими компонентами, и каким образом (дополнительно) этапы способов отвечают соответствующим способам устройств, и наоборот. Слово “устройство” в данной заявке используется в самом широком смысле, а именно - как группа средств, которая позволяет реализацию конкретной цели, и следовательно может, например, являться (небольшая ее часть) интегральной микросхемой, или отдельным устройством (таким, как электронное оборудование с устройством отображения), или частью сетевой системы и т.д. “Конфигурация” также предназначается для использования в широком смысле, так что может включать в себя, в частности, единое устройство, часть устройства, группу (составные части) взаимодействующих устройств и т.д.
Версию компьютерного программного продукта настоящих вариантов осуществления в качестве обозначения следует понимать как охватывающую любую физическую реализацию набора команд, запускающих универсальный или специального назначения процессор, после серии стадий загрузки (которые могут включать в себя промежуточные стадии преобразования, такие как перевод во вспомогательный язык, и окончательный язык процессора), чтобы ввести команды в процессор, а также для выполнения всех характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, таком как, например, диск или лента, данные, присутствующие в памяти, данные, проходящие через сетевое подключение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характерные данные, необходимые для программы, также могут быть выполнены в виде компьютерного программного продукта. Должно быть ясно, что под компьютером мы подразумеваем любое устройство, способное производить вычисления данных, то есть это также может быть, например, мобильный телефон. Кроме этого, формула изобретения устройства может охватывать реализуемые компьютером версии вариантов осуществления.
Некоторые из стадий, необходимых для работы способа, может быть, уже присутствуют в функционале процессора вместо описанных в компьютерном программном продукте, такие как стадии ввода и вывода данных.
Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Поскольку специалист может легко реализовать отображение представленных примеров в других областях изобретений, мы для краткости не упомянули углубленно все эти варианты. Помимо комбинаций элементов изобретения, сочетаемых в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть реализована в одном выделенном элементе.
Любая ссылочная позиция в скобках в формуле изобретения не предназначена для ограничения формулы изобретения. Слово «содержащий» не исключает наличия элементов или аспектов, не указанных в формуле изобретения. Указание на единственность элемента не исключает наличия множества таких элементов.
| название | год | авторы | номер документа |
|---|---|---|---|
| ОПТИМИЗАЦИЯ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ ДЛЯ ОПРЕДЕЛЕННЫХ ДИСПЛЕЕВ | 2015 |
|
RU2687267C2 |
| УЛУЧШЕННЫЕ СПОСОБЫ И УСТРОЙСТВА КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ HDR ИЗОБРАЖЕНИЯ | 2014 |
|
RU2633128C2 |
| ОПТИМИЗАЦИЯ ИЗОБРАЖЕНИЙ ВЫСОКОГО ДИНАМИЧЕСКОГО ДИАПАЗОНА ДЛЯ КОНКРЕТНЫХ ДИСПЛЕЕВ | 2016 |
|
RU2721762C2 |
| УСТРОЙСТВА И СПОСОБЫ ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ С HDR НА ОСНОВАНИИ ОБЛАСТЕЙ ЯРКОСТИ | 2013 |
|
RU2643663C2 |
| УСТРОЙСТВА И СПОСОБЫ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ HDR | 2012 |
|
RU2589871C2 |
| СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ HDR-ИЗОБРАЖЕНИЙ | 2015 |
|
RU2686642C2 |
| КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ HDR ВИДЕО | 2017 |
|
RU2728516C2 |
| МНОГОДИАПАЗОННОЕ КОДИРОВАНИЕ ВИДЕО С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ | 2019 |
|
RU2790178C2 |
| ОБРАБОТКА МНОЖЕСТВЕННЫХ ИСТОЧНИКОВ ИЗОБРАЖЕНИЯ HDR | 2016 |
|
RU2723676C2 |
| УСТРОЙСТВА И СПОСОБЫ ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ HDR-ИЗОБРАЖЕНИЙ | 2012 |
|
RU2616158C2 |
Изобретение относится к технологиям анализа градуировок изображения. Техническим результатом является обеспечение адаптации кодирования изображаемых сцен, обеспечивающей высококачественную визуализацию изображений. Предложен способ анализа разницы, по меньшей мере, двух градуировок изображения. Способ содержит этап, на котором получают первый градуированный кадр LDR с первым динамическим диапазоном яркости. Далее согласно способу получают данные, кодирующие градуировку второго градуированного кадра HDR со вторым динамическим диапазоном яркости. Причем первый и второй динамические диапазоны яркости являются низким и высоким динамическими диапазонами яркости. Далее согласно способу определяют структуру данных разницы градуировки, содержащей характеристику, по меньшей мере, одной области, в которой присутствует разница в градуировке между первым и вторым градуированным кадром. 2 н. и 6 з.п. ф-лы, 8 ил.
1. Способ анализа разницы, по меньшей мере, двух градуировок изображения на основе:
получения первого градуированного кадра (LDR) с первым динамическим диапазоном яркости;
получения данных, кодирующих градуировку второго градуированного кадра (HDR) со вторым динамическим диапазоном яркости, причем первый и второй динамические диапазоны яркости являются низким и высоким динамическими диапазонами яркости;
определения структуры данных разницы градуировки (DATGRAD), содержащей характеристику, по меньшей мере, одной области, в которой присутствует разница в градуировке между первым и вторым градуированным кадром, и математическое представление этой разницы на основе, по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR), отличающийся тем, что способ дополнительно содержит этап получения третьего градуированного кадра (MDR) на основе структуры данных разницы градуировки (DATGRAD) и, по меньшей мере, одного из первого градуированного кадра (LDR) и второго градуированного кадра, причем третий градуированный кадр (MDR) является промежуточным изображением (MDR) с промежуточной пиковой яркостью между пиковыми яркостями первого градуированного кадра (LDR) и второго градуированного кадра (HDR).
2. Способ по п. 1, в котором данные, кодирующие градуировку второго градуированного кадра (HDR), являются вторым градуированным кадром (HDR), а этап определения структуры данных разницы градуировки (DATGRAD) содержит сравнение значений пикселей первого градуированного изображения (LDR) и второго градуированного изображения (HDR), по меньшей мере, пространственной или яркостной области одного из первого градуированного кадра (LDR) и второго градуированного кадра (HDR).
3. Способ по п. 2, в котором структура данных разницы градуировки (DATGRAD) содержит пространственную область интереса (RI) изображения, показывающую присутствие или количество, в соответствии с критерием, разницы градуировки в пространственной области для первого градуированного кадра (LDR) в сравнении со вторым градуированным кадром (HDR).
4. Способ по п. 1, в котором получение третьего градуированного кадра (MDR) осуществляется на основе полученной информации о характеристиках (VCHAR) условий для просмотра.
5. Способ по п. 1, в котором получение третьего градуированного кадра (MDR) осуществляется на основе контролируемой пользователем настройки (USRSET), относящейся к устройству отображения третьего градуированного кадра (MDR), такой как, например, настройка, точно определяющая раздражающее воздействие светоотдачи, настройка ограничения потребления мощности или настройка, задающая предпочитаемые визуальные атрибуты отображаемого третьего градуированного кадра (MDR).
6. Устройство (101) обработки изображения для анализа разницы, по меньшей мере, двух градуировок изображения, содержащее:
первый вход (120) для ввода первого градуированного кадра (LDR) с первым динамическим диапазоном яркости;
второй вход (121) для ввода данных, кодирующих градуировку второго градуированного кадра (HDR) со вторым динамическим диапазоном яркости, причем первый и второй динамические диапазоны яркости являются низким и высоким динамическими диапазонами яркости;
блок (110) сравнения, выполненный с возможностью определять структуру данных разницы градуировки (DATGRAD), содержащую характеристику, по меньшей мере, одной области, в которой существует разница в градуировке между первым и вторым градуированным кадром, и математическое представление этой разницы, на основе, по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR), отличающееся тем, что устройство обработки изображения содержит блок (112) вывода изображения, выполненный с возможностью получения третьего градуированного кадра (MDR) на основе структуры данных разницы градуировки (DATGRAD), причем третий градуированный кадр (MDR) является промежуточным изображением (MDR) с промежуточной пиковой яркостью между пиковыми яркостями первого градуированного кадра (LDR) и второго градуированного кадра (HDR).
7. Устройство (101) обработки изображения по п. 6, в котором второй вход выполнен с возможностью принимать второй градуированный кадр (HDR), а блок (110) сравнения выполнен с возможностью определять структуру данных разницы градуировки (DATGRAD) на основе сравнения значений пикселей первого градуированного кадра (LDR) со значениями пикселей второго градуированного кадра (HDR) из, по меньшей мере, пространственной или яркостной области одного из первого градуированного кадра (LDR) и второго градуированного кадра (HDR).
8. Устройство (101) обработки изображения по п. 6 или 7, выполненное с возможностью применять преобразование обработки изображений к первому градуированному кадру (LDR) на основе, по меньшей мере, данных, кодирующих градуировку второго градуированного кадра (HDR).
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| СПОСОБ И СИСТЕМА ДЛЯ ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ДЕФЕКТОВ ЭКСПОЗИЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ | 2005 |
|
RU2370815C2 |
