УСТРОЙСТВА И СПОСОБЫ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ HDR Российский патент 2016 года по МПК G06T9/00 H04N19/46 H04N19/98 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройствам и способам, а также к результирующим изделиям, таким как изделия в виде носителей данных или кодированных сигналов для улучшенного кодирования изображений, в частности сцен HDR (расширенного динамического диапазона).

УРОВЕНЬ ТЕХНИКИ

В последнее время появились новые разработки в области кодирования изображений/видео (будь то зафиксированные сцены или компьютерная графика), а именно, желательно лучше фиксировать весь диапазон яркостей и цветов объекта, встречающихся в природе, вплоть до больших значений яркости, таких как, например, 25000 нит, которые могут возникнуть при наружном солнечном освещении и вблизи сильных источников искусственного освещения, а также зачастую и вплоть до очень низких значений яркости, таких как 0,01 нит, что и называется кодированием с расширенным динамическим диапазоном (HDR, High Dynamic Range). Существует давление как на стороне создания контента, например, камер (и даже камерам мобильных устройств желательна лучшая фиксация фактических сцен, особенно когда они используются свободно и упрощенно во всех видах оборудования, таких как камера мобильного телефона, независимо и никак не связано с тем, на какой системе визуализации захваченное изображение будет в дальнейшем визуализировано) или искусственных компьютерных цветовых пространств в компьютерных играх или спецэффектах, так и на стороне визуализации. Теперь появляются устройства отображения со все более высокой пиковой яркостью, которые сами по себе не определяют, что требуется для цепочки визуализации с расширенным динамическим диапазоном, но облегчают введение таковой. В настоящее время типичным устройством отображения расширенного динамического диапазона является жидкокристаллическое устройство отображения со светодиодной подсветкой, но если, например, ослабить условие насыщенности цвета, то можно также, например, поместить монохромную подсветку позади органических светоизлучающих диодов (сквозной свет создает RGBW-изображение). По нескольким причинам, по меньшей мере в течение ряда будущих лет, можно желать некоторой формы обратной совместимости, что означает, что данные так называемого кодирования низкого динамического диапазона (low dynamic range, LDR) должны быть доступны или по меньшей мере легко определяемы так, чтобы, например, усовершенствованный блок видеообработки мог доставить сигнал низкого динамического диапазона на устройство отображения с более низким динамическим диапазоном. Более того, как будет показано в настоящем документе, наличие хорошего представления с низким динамическим диапазоном может оказаться полезным даже на долгосрочную перспективу. Изобретатель понял, что одним из логических обоснований наличия кодирования с низким динамическим диапазоном является то, что хотя появляются устройства отображения со все большим динамическим диапазоном (высокого класса), существует также значительный сегмент устройств отображения с низким динамическим диапазоном (например, мобильные внешние устройства, проекторы, и т.д.). На самом деле может быть необходимым автоматически переопределять для нескольких возможных сценариев отображения или визуализации значения серого, которые зафиксированы в сигнале изображения, хотя бы для того, чтобы можно было геометрически масштабировать кадр, чтобы показывать его на экранах с различным разрешением.

Цепочка захвата с расширенным динамическим диапазоном представляет собой нечто большее, чем просто наведение камеры на сцену с большим отношением контраста освещенности между самым темным и самым ярким объектом и линейная регистрация всего, что там имеется (интегральные схемы захвата, такие как, например, ПЗС обычно являются частично (почти) линейными). Технология изображения с расширенным динамическим диапазоном должна иметь дело с тем, какими именно являются промежуточные значения шкалы серого для всех объектов, так как это, например, передает настроение фильма (затемнение уже некоторых объектов в сцене может передать мрачное настроение). И это является сложным психологическим процессом. Можно, например, представить, что психологически не так важно, будет ли яркий свет изображен на устройстве отображения именно в такой пропорции к остальным изображенным значениям шкалы серого, как яркость сцены относится к яркостям остальных объектов сцены. Вместо этого можно иметь достоверное впечатление настоящей лампы, если пиксели будут визуализированы с «некоторой» высокой яркостью отображения при условии, что она будет существенно выше яркости остальной части изображения. Может иметься пара «ламповых» уровней белого, но поскольку они далеко отстоят от остальных уровней, их точные кодовые уровни или окончательные выходные яркости на устройстве, визуализирующем изображение, могут, чаще всего, быть менее критичными. Распределение значений шкалы серого между самосветящимися и отражающими объектами (в различных областях освещения сцены) также является критически важной задачей в зависимости от цветовой гаммы устройства отображения и типичных условий просмотра. Также можно представить, что кодирование более темных областей предпочтительно делается так, чтобы они легко могли быть использованы в различных сценариях визуализации, таких как различные средние уровни окружающего освещения (т.е. они могут локально освещаться). В общем, поскольку это является сложной психологической задачей, в создание оптимальных изображений будут вовлечены художники, что называется цветовой градуировкой (цветокоррекцией). В частности, очень удобно, когда художники делают отдельную градуировку низкого динамического диапазона, даже если это сделано в «стратегии кодирования с расширенным динамическим диапазоном». Другими словами, в таком сценарии при кодировании RAW (исходного, не обработанного) сигнала единственной камеры с расширенным динамическим диапазоном также будет генерироваться изображение с низким динамическим диапазоном, не обязательно потому, что оно должно быть использовано для большой доли рынка потребления видео с низким динамическим диапазоном, но потому, что оно передает важную информацию о сцене. А именно, всегда будут присутствовать более важные области и объекты в сцене, и размещение их в подструктуре с низким динамическим диапазоном (что может концептуально рассматриваться как художественный эквивалент алгоритма автоматической экспозиции), делает более легко выполнимыми все виды преобразований в представления с промежуточным динамическим диапазоном (MDR), подходящие для управления устройствами отображения с конкретными характеристиками визуализации и просмотра. В частности, можно настроить эту часть с низким динамическим диапазоном в соответствии с несколькими критериями, например, так, чтобы она визуализировалась с хорошим качеством на эталонном (стандартном) устройстве отображения с низким динамическим диапазоном или передавала определенный процент от общей захваченной информации, и т.д.

Существует не так много способов кодирования сигнала с расширенным динамическим диапазоном. Обычно в предшествующем уровне техники просто кодируют сигнал с расширенным динамическим диапазоном, то есть (линейно) отображают пиксели, например, в 16-битные слова, и тогда максимальное значение захваченной яркости является уровнем белого для расширенного динамического диапазона аналогично философии кодирования с низким динамическим диапазоном (хотя психофизически это обычно не является уровнем отражающегося белого в сцене, а скорее уровнем яркого света лампы). Можно также отобразить полный диапазон сигнала с расширенным динамическим диапазоном на 8-битный низкий динамический диапазон посредством некоторой «оптимальной» функции преобразования сигнала яркости, которая обычно является гамма-функцией или ей аналогичной. Это может включать в себя потерю точности цвета с соответствующими проблемами качества отображения, особенно если на приемной стороне ожидается обработка изображения, такая, как местное осветление, однако на объектах изображения примерно сохраняется доминирующее значение градации серого (т.е. их относительное/процентное соотношение сигнала яркости).

В предшествующем уровне техники описаны также некоторые методы кодирования с расширенным динамическим диапазоном с помощью наборов данных двух изображений для расширенного динамического диапазона, обычно основанные на концепции своего рода масштабируемого кодирования, в которой посредством некоторых предсказаний точность локальной текстуры, закодированной с низким динамическим диапазоном, улучшается или, говоря точнее, проецируется на версию с расширенным динамическим диапазоном этой текстуры, обычно путем масштабирования яркостей низкого динамического диапазона (низкий динамический диапазон в этих технологиях обычно является не динамическим диапазоном привлекательного качества, а простой обработкой на входе HDR). И затем разница исходного изображения с расширенным динамическим диапазоном и предсказания совместно кодируется как улучшенное в желаемой степени изображение. Например, можно представить значение серого 1168 расширенного динамического диапазона делением на 8 до значения 146. Это значение расширенного динамического диапазона опять может быть воссоздано путем умножения на 8, но так как значение 1169 будет квантоваться в то же значение базового слоя 146, может быть необходимость в улучшающем значении, равном 1, чтобы иметь возможность воссоздать высокое качество сигнала с расширенным динамическим диапазоном. Пример такой технологии описан в патенте EP2009921 [Liu Shan et al. Mitsubishi Electric: Method for inverse tone mapping (by scaling and offset)]. В теории для этих кодеков модель прогнозирования обратного отображения тона (которая является более интеллектуальным эквивалентом стандартного множителя) должна быть достаточно точной, чтобы дать уже достаточно точный вид с расширенным динамическим диапазоном, на который накладываются незначительные исправления (в самом деле, если один диапазон возможных значений проецируется на другой диапазон с помощью нелинейной функции, помимо проблем с точностью, исходные значения диапазона должны быть восстановимы).

Еще одно двухкадровое кодирование изображения описано в еще не опубликованной в настоящее время патентной заявке US61/557461, все описание которой включено в настоящий документ посредством ссылки.

Эта система также работает с изображениями с низким и расширенным динамическими диапазонами, и имеет несколько схожих признаний, которые полезны также для настоящего изобретения, а именно, например, признание того, что в сигнале с расширенным динамическим диапазоном всегда можно найти подобласть с низким динамическим диапазоном большой важности, а также того, что может быть интересным сделать этот низкий динамический диапазон на самом деле полезным сигналом для отображения с низким динамическим диапазоном (например, в специально выделенном классе с низким динамическим диапазоном). И информация расширенного динамического диапазона, как правило, не только нелинейно отдельна на оси освещенности (то есть, например, лампа, имеющая гораздо большую освещенность, чем уровень белого в сцене), но она также имеет другой смысл. Зачастую, например, можно говорить об эффектах расширенного динамического диапазона, то есть, они не обязательно должны точно кодировать текстуры объекта, как основное содержание сцены, то есть ее часть с низким динамическим диапазоном, но, вместо этого в зависимости от того, какой это регион/эффект расширенного динамического диапазона, можно закодировать его с помощью различных критериев, таких как уменьшенная точность, или отбросить их все вместе. Это имеет в качестве результата то, что зачастую можно сэкономить значительную долю бюджета для частей сцены с расширенным динамическим диапазоном. Кроме того, кодирование в таком двухкадровом формате с комбинацией низкого динамического диапазона и эффектов расширенного динамического диапазона части изображения имеет то преимущество, что оба они могут быть легко разделены. Традиционные системы или системы с малыми возможностями, нуждающиеся лишь в низком динамическом диапазоне, могут извлечь его напрямую, игнорируя остальное. Но наличие также расширенного динамического диапазона как отдельно кодированного изображения делает весьма легким его настраиваемое применение в зависимости от возможностей реальной цветовой гаммы фактического устройства отображения, например, путем добавления масштабированного эффекта расширенного динамического диапазона к части с низким динамическим диапазоном с преобразованной освещенностью.

Тем не менее, в то время как этот формат отлично работает с системами, которые уже сконфигурированы для двухкадрового кодирования изображения, например, путем повторного использования структуры, обычно доступной для трехмерного кодирования, желательно располагать аналогичными возможностями в случае, когда имеется только одно изображение для кодирования. С помощью, например, развивающейся области видео по запросу можно представить, что по меньшей мере некоторым из этих систем предпочтительно иметь всю информацию закодированной в сигнале одного кадра (картинки).

Кроме того, задачей по меньшей мере некоторых из представленных вариантов осуществления является обеспечить преимущества кодирования такой оптимальной структуры «LDR внутри HDR» в одном кадре, несмотря на тот факт, что кажется довольно странным кодировать два кадра в одном. Следует отметить, что другие классы способов, описанных выше, хотя и обеспечивают математически/технически некоторые данные в формате изображения с низким динамическим диапазоном (в качестве поля), не имеют закодированных реальных изображений с низким динамическим диапазоном, то есть изображений, которые будут хорошо выглядеть на системах просмотра с низким динамическим диапазоном, потому что они были тщательно подобраны (по меньшей мере, выбраны, часто далее подвергнуты цветовой градуировке) для их вида с низким динамическим диапазоном (точнее, можно иметь кадр с низким динамическим диапазоном с правильной геометрией объекта, но показывающую сильно модифицированные значения серого текстуры объекта при непосредственной визуализации, например, неправильный контраст или среднюю яркость).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Простое и легко используемое кодирование изображений с расширенным динамическим диапазоном может быть реализовано концепциями вариантов осуществления, представленных в настоящем документе, которые следуют принципам, относящимся к блоку (301) кодирования изображения, выполненному с возможностью кодирования изображения с большим динамическим диапазоном (IM_HDR-in), включающему в себя:

- селектор (311) LDR для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кода сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением с расширенным динамическим диапазоном;

- селектор расширенного динамического диапазона для выбора по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя главным образом яркости, не покрытые низким динамическим диапазоном яркостей (R_Norml_LDR);

- блок (315) кодового отображения, выполненный с возможностью кодирования в первом изображении (Im_1*), имеющем по меньшей мере компоненту сигнала яркости, содержащую N-битовые кодовые слова, яркостей пикселей изображения с расширенным динамическим диапазоном (IM_HDR-in), попадающих в пределы низкого динамического диапазона яркостей (R_Norml_LDR) для кодирования значений (Y_out) в соответствии с первым отображением (CMAP_L), и яркостей пикселей изображения с расширенным динамическим диапазоном (IM_HDR-in), попадающих в пределы по меньшей мере одного дополняющего диапазона (R_above) для кодирования значений (Y_out) в соответствии со вторым отображением (CMAP_H), в котором первое и второе отображения осуществляют отображение на разъединенные поддиапазоны диапазона значений кодов сигнала яркости первого изображения (RcTot_Im1).

Иногда создание оптимального сигнала низкого динамического диапазона (например, при показе на типичном устройстве отображения с низким динамическим диапазоном еще достаточно деталей на более темных частях изображения) может включать в себя некоторое повторное отображение яркостей пикселей, обычно совершаемое художником, называемым цветокорректировщиком (или интеллектуальным алгоритмом, анализирующим различные свойства изображения, такие как, например, свойства частичной гистограммы, из которых выводятся различные меры контраста). Тем не менее, зачастую хороший вариант с низким динамическим диапазоном может быть восстановлен из изображения с расширенным динамическим диапазоном яркости. После этого необходим лишь выбор наилучшего изображения с низким динамическим диапазоном, но обычно это может быть трудной задачей, так что может потребоваться вмешательство художника. Он может выбрать поддиапазон R_Norml_LDR яркости пикселей интересующих объектов, которые должны быть хорошо закодированы и, следовательно, хорошо визуализированы на стандартном устройстве отображения с низким динамическим диапазоном. Для простоты будем считать, что кодирование с низким динамическим диапазоном может более или менее непосредственно действовать как управляющий сигнал для устройства отображения с низким динамическим диапазоном, например, посредством применения каких-либо аппаратно калиброванных преобразований, требуемых для того, чтобы устройство отображения с низким динамическим диапазоном могло абсолютно или относительно визуализировать оригинальные яркости в низком динамическом диапазоне R_Norml_LDR. Но, конечно же, могут быть вовлечены более сложные соотношения, так как в теории низкий динамический диапазон не обязательно должен быть прямым кодированием яркостей визуализации устройства отображения, а, Вместо этого может быть любым отдельным представлением некоторых яркостей в захваченной сцене. Однако, по-прежнему предполагается, что сигнал низкого динамического диапазона настолько кондиционен, что сигнал низкого динамического диапазона обработан так, что сигнал низкого динамического диапазона хорошего качества может быть (легко) получен из него (например, не так, что некоторые части, которые должны быть видимыми, обрезаются и, следовательно, не могут быть преобразованы в красиво выглядящую область, даже если устройство отображения имеет расширенные возможности обработки изображения). Это может быть, например, простым линейным сжатием контраста, которое впоследствии может быть обращено, но это автоматическое переформатирование еще не так сложно, как фактическая градация значений серого всех или некоторых пикселей, которая может включать в себя местное перекрашивание области и т.д. Выбор будет обычно также включать в себя выбор областей, которые могут быть закодированы способом с (очень) низким качеством, например, можно обрезать все области, имеющие яркость ниже определенной яркости, и установить их яркость в ноль, потому что так или иначе они не будут очень хорошо смотреться на системах просмотра с низким динамическим диапазоном (на системах, содержащих устройство отображения с низкой контрастностью, например, из-за утечки света и/или плохих условий просмотра, таких как отражения с высокой яркостью в ситуации просмотра на открытом воздухе). Эти области могут быть просто исключены из (инкапсулированного) кодирования с низким динамическим диапазоном и, следовательно, они будут закодированы некоторым образом в части с расширенным динамическим диапазоном. Обычно, следовательно, будет по меньшей мере один дополняющий диапазон, который будет содержать, например, источники света (или, возможно, какую-то часть уличной солнечной среды), и цветокорректировщик будет затем обычно решать, как их представлять. То есть, он может считать, что для источника света необходимо не так много уровней серого, но все же больше одного, потому что по меньшей мере некоторые устройства отображения расширенного динамического диапазона могут пожелать визуализации внутренней структуры источника света. Как правило, он использует эти соображения при дизайне отображения CMAP_H этих цветов. Обычно программное обеспечение будет в значительной степени автоматическим, позволяя художнику взаимодействовать с ним с минимальными усилиями. Например, он может использовать эллипс, чтобы примерно очертить лампу, а затем, в зависимости от количества данных, необходимых для кодирования остальных объектов в кадре, программное обеспечение может автоматически распределить (путем разработки соответствующего CMAP_H), например, два самых больших значения кода для этой лампы. Тем не менее, они могут не передать достаточно деталей интерьера, которые цветокорректировщик увидит на своем стандартном мониторе с расширенным динамическим диапазоном. Он может также проверить дополнительные ситуации, например, снижая среднюю степень освещенности этой области, чтобы примерно смоделировать, как все будет смотреться на еще более ярком устройстве отображения расширенного динамического диапазона. Если цветокорректировщик считает это представление достаточным для объекта, который является только источником света (что-то, во что средний зритель может, как правило, не вглядываться в течение длительного времени, чтобы изучить его состав, а скорее всего при следовании сюжету он будет глядеть на лица актеров или дикторов новостей и т.д.), он примет по меньшей мере эту часть отображения CMAP_H. В противном случае он может при дальнейшем взаимодействии, например, указать, что в выходном изображении Im_1* будут необходимы 5 значений кода сигнала яркости Y_out, чтобы достаточно точно представить эту область. Часто такая точная местная настройка кодировки не нужна, и на самом деле для выбора (то есть более или менее точного представления) к имеющимся пикселям объекта изображения могут быть применены такие функции, как например гамма-функция (можно представить каждое преобразование как отображение по меньшей мере интервала из полного диапазона входного изображения на стандартный интервал [0,1], а затем положить туда ряд выбранных точек цифровой освещенности в соответствии с любой желаемой нелинейной функцией размещения).

Аналогичным образом многое можно сделать путем выбора соответствующего отображения для подвыбора низкого динамического диапазона CMAP_L, хотя можно представить эту часть в соответствии с уже существующими приемами, такими как гамма-функция 2.2, после чего не нужно передавать никакой дополнительной информации относительно того, какое конкретное отображение (определение кода) было использовано, и, следовательно, традиционные системы, которые не проверяют и не обновляют это, могут просто использовать кодировку, как есть. Однако, помимо отображений (CMAP_L, CMAP_H), определяющих кодировку в выходное изображение, производится дополнительная трансформация отображения цвета (TRF_LDR, TRF_HDR), такая, как отображение тона, для создания дополнительных значений серого (например, вместо входного изображения с расширенным динамическим диапазоном уже высокого качества может быть введен необработанный снимок (RAW) с камеры, и в этом случае цветокорректировщик будет градуировать одновременно с кодированием). Это обеспечивает более легкое разделение между такими модификациями значений серого, которые делаются исключительно по техническим причинам, таким как эффективность сжатия (например, присваивание кодов в соответствии с визуальными принципами, такими как JND (just noticeable difference, едва заметное различие) между различными кодируемыми значениями), и такими художественными изменениями, которые, например, делают вид грозовых облаков более угрожающим. Следует отметить, что хотя дополняющий диапазон (диапазоны) будет, как правило, содержать значения яркости большинства или всех пикселей, еще не покрытых R_Norml_LDR, может иметь место некоторое перекрытие. Например, цветокорректировщик может принять решение о включении некоторых светлых яркостей из расширенного динамического диапазона в представление с низким динамическим диапазоном, особенно если отображение CMAP_L не является (псевдо)линейным отображением, но если он разрабатывает конкретную стратегию градуировки с мягким усечением. Это может, например, привести к бледным солнечным экстерьерам (что является не только тем, к чему привыкли в низком динамическом диапазоне, но и часто является хорошей стратегией отображения для более расширенного динамического диапазона), что, однако, далеко от достаточно точного представления, чтобы быть полезным для изображения с расширенным динамическим диапазоном высокого качества. Кодирование части с расширенным динамическим диапазоном для дополняющих диапазонов может затем снова перекодировать по меньшей мере некоторые из этих значений, с более высокой точностью (например, выделяя больше значений для отражающих объектов на солнце, в то же время сокращая количества кодов, доступных для источников света). Это противоречит интуитивно понятной кодировке единственного изображения, в которой определяется простая кодировка, если и не непрерывная (и даже с простой передаточной функцией отображения тона, определяющей взаимосвязь между кодами и яркостями захваченной сцены), то определенно не являющаяся немонотонной. Но с представленными вариантами осуществления это не только легко выполнимо, но увеличенная свобода предлагает выгодное простое использование закодированных данных, такое как переградуировка для настройки на реальные физические особенности устройства отображения и условия просмотра (которая называется требованием настраиваемости, свойством, которое не присутствует в строго определенных одноцепочечных сквозных кодировках, связанных с устройством отображения, таких как, например, ITU-R. 601 или 709). Преимущественно, кодирование изображения может использовать уже отработанные технологии, такие, как 10-битовые кодовые слова для отсчетов сигнала яркости, но, конечно, настоящее изобретение может работать и с другими значениями. Следует отметить, что в целях упрощения настоящего описания и формулы изобретения не всегда осуществляется углубление в вопрос о том, работает ли конкретная реализация с яркостями или сигналами яркости, так как они могут быть легко преобразованы друг в друга, когда известно определение преобразования. Поэтому, когда описывается, что, например, диапазон выбран в представлении яркости (например, если YUV кодирование было повторно преобразовано в исходное представление сцены, такое, как линейное XYZ кодирование фактических яркостей сцены или любого ее приближения, подобного изображению, захваченному камерой), он также может быть выбран в соответствующем представлении сигнала яркости (Y), или в чем-то коррелирующем. Кроме того, преобразования, которые концептуально могут быть объяснены, как если бы они имели промежуточные шаги к универсальному связывающему цветовому пространству, в практических реализациях могут быть немедленно реализованы в виде одной операции, объединяющей все шаги (даже если она является приблизительной, как в нелинейном цветовом пространстве). Специалист в данной области техники не должен иметь никаких трудностей в понимании этого, равно как он должен понимать, что если упрощенно объяснено все, как если бы пиксели имели естественное представление цвета (цветопередачу), то в действительности могут иметь место дополнительно включаемые подшаги, подобные DCT преобразованию в стандартном MPEG-кодировании или похожем сжимающем кодировании изображения или видео.

Следует понимать, что простые изменения вариантов осуществления, также как и эквиваленты, подпадают в область охвата формулы изобретения настоящей заявки. Вместо кодировки цветового пространства на основе сигнала яркости, подобного YCrCb, можно, конечно же, сделать подобное разделение в поддиапазонах низкого динамического диапазона и расширенного динамического диапазона в эквивалентных цветовых пространствах. Например, можно зарезервировать три неравных или равных области, например, между кодом 40 и кодом 750 в цветовом пространстве R'G'B'' (обычно можно принять во внимание их процентный вклад в сигнал яркости и желаемую точность для каждого канала и т.д.), что легко сделать в этом случае из-за линейного матричного соотношения между двумя цветовыми пространствами. В этом случае вместо характеристических значений серого будут, как правило, характеристические значения цвета, как например Rt1, Gt3 и т.д.

Более сложные варианты осуществления могут дополнительно включать в себя блок (312) преобразования, выполненный с возможностью применения колориметрического преобразования к цветам пикселей изображения с расширенным динамическим диапазоном (IM_HDR_in), имеющих яркости, попадающие в низкий динамический диапазон яркостей (R_Norml_LDR) для того, чтобы получить модифицированные яркости пикселей (Y*_L) для этих цветов пикселей.

И это не просто для того, чтобы быть в состоянии сделать это, но это очень выгодно в соответствии со следующей технической философией. Можно выбрать некоторый диапазон, который хорошо отградуирован (т.е. выглядит хорошо) во входном сигнале с расширенным динамическим диапазоном. Однако, это не обязательно должно иметь наилучший вид в системе с низким динамическим диапазоном (особенно, конечно, если используются простые отображения, как, например, с коэффициентом сжатия 1, которые выбирают все пиксели, яркости которых находятся в пределах диапазона). Можно, например, представить, что темные цвета выбираются в части с низким динамическим диапазоном, и, следовательно, хорошо представлены в математических кодах кодированного изображения, но что обратить их в представление, которое хорошо визуализируется также на любой системе с низким динамическим диапазоном, не очень легко (визуализация и кодирование представляют собой два различных режима, которые не следует путать, и оба они очень важны, так что в идеале любая (кодирующая) система должна позволять элегантную работу с обоими режимами). В этом примере цветокорректировщик может принять решение применить любое сложное преобразование градуировки, так что темные цвета будут хорошо смотреться на устройстве отображения с низким динамическим диапазоном (как правило, с подсветкой, что может влечь за собой выделение избыточной части сигнала низкий динамический диапазон яркостей). Однако, тогда интересно уметь легко преобразовывать их обратно в хорошее представление для визуализации с расширенным динамическим диапазоном. Следовательно, обычно преобразования, используемые на этой подчасти изображения, будут совместно закодированы в метаданных MET так, чтобы можно было обратить их на принимающей стороне. Как было сказано ранее, некоторая информация также может быть (потенциально, частично избыточно) закодирована в части расширенного динамического диапазона Im_1*, например, обеспечивая для темных частей вид, который отличается от преобразованных обратно областей, кодированных в низком динамическом диапазоне.

Может быть выгодным, чтобы селектор (311) LDR включал в себя блок идентификации для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) полного диапазона яркостей (Range_HDR) на основе входного градуированного изображения с низким динамическим диапазоном (GRD_LDR_in) и/или метаданных, характеризующих это градуированное изображение с низким динамическим диапазоном (TM_G1(gl,gh)).

Системы представленного варианта осуществления могут быть использованы как тогда, когда присутствует лишь изображение с расширенным динамическим диапазоном IM_HDR_in (преградуированное или исходное), так и тогда, когда также уже присутствует версия с низким динамическим диапазоном GRD_LDR_in для той же самой захваченной сцены (например, уже преградуированное изображение, визуализированное изображение компьютерной графики, изображение с другой камеры и т.д.). В этом случае необходима идентификация того, какие объекты сцены, которые обычно лучше всего представлены в этой версии с низким динамическим диапазоном, находятся в изображении с расширенным динамическим диапазоном (по-разному представлены). Хотя могут быть использованы сложные алгоритмы (как для идентификации соответствующих двояко закодированных частей, так и для смешивания обеих кодировок данных сцены для получения окончательного представления для Im_1*), особенно в случае сложных избыточных кодировок или градуировок (заметим, что это может быть выгодно для настраиваемости с тем, чтобы иметь возможность использовать информацию о подобных объектах сцены, а кроме того и в соответствии с различными философиями градуировки, например, у цветокорректировщиков низкого динамического диапазона и расширенного динамического диапазона), более простые варианты могут просто определять пределы градуировки низкого динамического диапазона gl и gh. В этом случае, независимо от значения цвета пикселей в IM_HDR-in с яркостями из низкого динамического диапазона (R_Norml_LDR), они теперь заменены значениями цвета во входе версии с низким динамическим диапазоном GRD_LDR_in (возможно, в соответствии с совместно закодированным или определенным местным цветокорректировщиком дополнительным нелинейным отображением в интервале кода R_LDR, соответствующем замененному интервалу низкого динамического диапазона R_Norml_LDR). То есть в целом может иметь место более сложная стратегия для определения окончательных значений цвета, закодированных в Im_1* для пикселей в этом низком динамическом диапазоне на основе версии с низким динамическим диапазоном GRD_LDR_in, например, с помощью блока кодирования изображения, в котором блок (315) кодового отображения выполнен с возможностью преобразования яркости пикселей расширенного динамического диапазона изображения (IM_HDR_in), попадающих в низкий динамический диапазон яркостей (R_Norml_LDR) в соответствии со значениями цвета пикселей, закодированных в градуированном изображении с низким динамическим диапазоном (GRD_LDR_in).

В любом варианте осуществления настоящего изобретения очень полезным является блок кодирования изображения, включающий в себя средство (320) форматирования сигнала изображения, выполненный с возможностью вывода в дополнение к первому изображению (Im_1*) по меньшей мере одного характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4).

Опять же, как было сказано, имеется математическое соответствие тому, желательно ли определять характеристическое значения серого в (исходной) области яркости или в кодовой области значений сигнала яркости или подобной кодовой области. Определение одного или более из этих характеристических значений серого имеет ряд преимуществ для нескольких приложений. Как было сказано ранее, при разграничении таких областей, как, например, область эффекта расширенного динамического диапазона с большими яркостями, они могут быть использованы для копирования и вставки из одного представления в другое, как, например, Im_1*. Это допускает определение смысла кодов. Можно либо отказаться от них и просто определить функцию отображения (которая может изменяться в пределах кодов, которые не существуют, потому что они не выбраны в части отображения расширенного динамического диапазона CMAP_H, так как они находятся ниже дополняющего диапазона R_above и в низком динамическом диапазоне (или граничный уровень серого может быть неявно закодирован в этой функции отображения). Но можно также использовать простое отображение (например, линейное) и начать его явно с этого особого значения серого (например, с яркости g1). Это позволяет превратить общую стратегию линейного отображения в специфическую, т.е. обеспечивает оптимальную подстройку к имеющемуся изображению (потому что можно пропустить те области яркости, которые не существуют в изображении, и прерывисто, но эффективно (пере)запустить кодирование доступных долей яркости объекта. Но определение нескольких таких характеристических значений серого позволяет также определить несколько долей расширенного динамического диапазона (которые в действительности не всегда могут быть так хорошо отделены, как на нашей упрощенной Фиг. 2, но они, тем не менее, разделяемы, и для этого обычно нужен человеческий интеллект цветокорректировщика). Это обеспечивает возможность определения нескольких эффектов расширенного динамического диапазона, позволяющих, например, сильнее подчеркнуть взрыв и уменьшить яркость солнечных областей на открытом воздухе в зависимости от физических возможностей устройства отображения, таких как его доступный диапазон яркости, который может зависеть от аппаратных ограничений, таких как имеющаяся светодиодная подсветка и ограничения ее схем управления, чтобы избежать ореола. Но также и в пределах единственной доли, такой как часть с низким динамическим диапазоном внутри R_Norml_LDR, можно определить интересующие значения серого, например, темную часть изображения, которая является областью, выбранной цветокорректировщиком, и имеет особую связь с сюжетом. Это может, например, быть область, где происходит не так много действий, такая как темное помещение, видное через дверь. Можно закрасить ее одним (или воспринимающимся как одно) значением черного, но альтернативно, хотя и не критично для сюжета, может быть желательным, чтобы там были видны по меньшей мере некоторые структуры. Путем разграничения этой темной области от областей, которые должны быть отображены более критически, отображающая сторона может лучше решить, как на самом деле ее отображать. Например, если пользователь с помощью кнопки яркости на пульте дистанционного управления указывает, что он считает сцену слишком темной и не может хорошо разглядеть некоторые части (которые должны быть по меньшей мере самыми темными частями), телевизор может принять решение осветлить эту часть. То есть он может увеличить сигнал яркости всех этих пикселей и мягко сдвинуть цвета вышеуказанной области сигнала яркости или даже перекрыть ее. Дополнительные метаданные могут объяснить соотношение между этими областями и дополнительно помочь в обработке на принимающей стороне, например, провайдер контента может сделать так, что темная область всегда должна быть темнее, чем вышеописанная (будь то средняя яркость темных и более светлых областей, наивысшая яркость, находящаяся ниже нижней границы вышеуказанного диапазона и т.д.).

В общем случае такие характеристические значения могут быть полезны для всех типов приложений, но особенно в системе с расширенным динамическим диапазоном, для улучшения координации операций обработки изображений на приемной стороне (в блоке для обработки изображения, таком как телевизионная приставка, или в компьютере, или в устройстве отображения и т.д.), в частности, оптимального отображения тона для создания визуально наилучшего отображения. В системе с низким динамическим диапазоном, хотя некоторые характеристические точки и могут существовать, но они не нужны. Белая точка является всего лишь значением максимальной яркости/сигнала яркости. Однако в расширенном динамическом диапазоне могут существовать несколько видов белого (белая бумага, лежащая в тени, или снаружи на солнце, и цвет еще более яркого источника света на самом деле не является белым (который должен быть отражающим цветом), но «ярким»). Конечно, могут быть еще более интересные градации черного и серого, допускающие очень простой способ семантического определения сцены. Это особенно полезно, если принимающая сторона желает использовать глобальные преобразования цвета/сигнала яркости изображения, но затем обычно нуждается в их настройке, близко соответствующей фактическому содержанию изображения, в частности, в распределении цвета текстур объекта, которые захвачены и закодированы.

Таким образом, эти характеристические значения серого полезны для любого определения расширенного динамического диапазона в одном (или нескольких взаимосвязанных) кадре (кадрах), в частности, в или вокруг преобладающей части низкого динамического диапазона. Более интересно то, что можно придать этим областям больше семантических данных, таких как коды имен или разрешенных операций, например, «темная область», «разрешено осветлять для лучшей видимости объекта, но психологически должна визуализироваться в общем изображении, как темноватая». Следует отметить, что последнее зависит от других цветов, присутствующих в визуализированном изображении, и от дополнительных условий просмотра, которые приводят к восприятию зрителем определенных цветов, но так как это не является основным компонентом настоящего изобретения, разработка этого не будет без необходимости осуществляться в дальнейшем в этом документе.

Аналогичные технические преобразования, которые может реализовать аппаратура блока кодирования, описанного выше, могут быть выполнены другими техническими способами, обеспечивающими способ кодирования изображений расширенного динамического диапазона изображения (IM_HDR-in), включающий в себя:

- выбор низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кода сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением с расширенным динамическим диапазоном;

- выбор по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя главным образом яркости, не охватываемые низким динамическим диапазоном яркостей (R_Norml_LDR);

- отображение на коды сигнала яркости первого изображения (Im_1*), имеющие по меньшей мере компоненту сигнала яркости, содержащий N-битовые кодовые слова, яркости пикселей изображения расширенного динамического диапазона (IM_HDR-in), попадающие в низкий динамический диапазон яркостей (R_Norml_LDR) для того, чтобы кодировать значения (Y_out) в соответствии с первым отображением (CMAP_L), и яркости пикселей изображения расширенного динамического диапазона (IM_HDR-in), попадающие в упомянутый по меньшей мере один дополняющий диапазон (R_above) для того, чтобы кодировать значения (Y_out) в соответствии со вторым отображением (CMAP_H), в котором первое и второе отображения отображаются на разъединенные поддиапазоны диапазона значений кодов сигнала яркости первого изображения (RcTot_Im1).

В зависимости о того, какой метод кодирования изображений расширенного динамического диапазона изображения (IM_HDR-in) может дополнительно включать в себя выполнение градуировки цвета для пикселей, имеющих яркости в низком динамическом диапазоне яркостей (R_Norml_LDR) и т.д., любая из вышеуказанных подтехнологий будет иметь дополнения в технически материализованных способах, в частности для производства в качестве продуктов, кодирующих изображения.

Технология зеркального отражения изображения на передающей стороне может быть построена на любой принимающей стороне (будь то конечный пункт назначения или промежуточный) как, например, блок (651) декодирования изображений, выполненный с возможностью получения изображения расширенного динамического диапазона (IM_HDR_out) из кодировки изображения расширенного динамического диапазона (Im_1*), включающей в себя:

- блок (656) восстановления LDR, выполненный с возможностью определения низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кода сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона, и выполненный с возможностью получения изображения низкого динамического диапазона (Im_LDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*);

- блок (655) восстановления HDR, выполненный с возможностью определения по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя главным образом яркости, не покрытые яркостями низкого динамического диапазона (R_Norml_LDR), и выполненный с возможностью определения по меньшей мере одной части изображения расширенного динамического диапазона (ImP_HDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*), соответствующей по меньшей мере одному дополняющему диапазону (R_above);

- блок (657) составления изображения, выполненный с возможностью составлять изображения расширенного динамического диапазона (IM_HDR_out) из изображения низкого динамического диапазона (Im_LDR_o) и по меньшей мере одной части изображения расширенного динамического диапазона (ImP_HDR_o), в результате чего изображение низкого динамического диапазона (Im_LDR_o) и по меньшей мере одна часть изображения расширенного динамического диапазона (ImP_HDR_o) покрывают в значительной степени неперекрывающиеся поддиапазоны яркости изображения расширенного динамического диапазона (IM_HDR_out).

Конкретная структура кодирования внутри Im_1* может помочь в отделении подчасти низкого динамического диапазона от подчасти (подчастей) расширенного динамического диапазона и в правильной реконструкции окончательного изображения с расширенным динамическим диапазоном IM_HDR_out, например, для прямого управления устройством отображения, таким как телевизор или переносное устройство отображения, или для иного использования, такого как хранение, возможно с дальнейшей обработкой цветного изображения.

Хотелось бы отметить, что хотя принимающая сторона определена в области яркости, вариант осуществления декодера обычно может идентифицировать части с расширенным динамическим диапазоном и с низким динамическим диапазоном в области сигнала яркости (где они обычно разъединенные), но это может быть легко преобразовано в спецификации яркости и обратно (т.е. декодер будет также обычно отображать на диапазоны яркостей, особенно если этот формат используется для окончательного вывода изображения с расширенным динамическим диапазоном, или по меньшей мере коррелирует посредством его отображения цвета).

В простых технических вариантах как кодер, так и декодер могут знать (и не только во встроенных системах, но и, например, в стандартах телевизионных передач), в каком подразделе находится часть изображения с низким динамическим диапазоном, например, всегда от 0 до CLDRh, например 850. Для управления традиционным отображением, устройство приема изображения (которое для простоты можно метонимически также называть телевизионной приставкой, что также означает любое другое промежуточное или конечное устройство или компонент, такой как интегральная схема или печатная плата, имеющий возможности обработки изображения, как, например, портативный компьютер, форматирующий для подключенного к нему по беспроводной связи мобильного телефона отображение окончательного кадра) может затем просто выбрать часть изображения с низким динамическим диапазоном и использовать ее для управления окончательным отображением (потенциально с дополнительным отображением цвета). Даже более старые телевизионные приставки могут быть введены в заблуждение и непосредственно использовать часть с низким динамическим диапазоном в том случае, если часть с расширенным динамическим диапазоном кодируется в расширенной версии основного сигнала, которая не обязательно должна распознаваться и использоваться всеми системами (например, старая система считает, что сигнал может иметь значения только от 0 до 800 и рассматривает все другие коды как ошибки или по меньшей мере незначащие для нее коды, и просто выкидывает их, но более новые или интеллектуальные телевизионные приставки знают также, как использовать эти интеллектуально закодированные данные вне диапазона (например, в полном 10-битном диапазоне, допускающем значения от 0 до 1023, или в меньшем их поддиапазоне, допускающем дополнительные коды «другого назначения»).

Как уже упоминалось выше, когда блок (651) декодирования изображения включает в себя блок (661) идентификации характеристического значения серого, выполненный с возможностью извлечения из входных метаданных (MET) по меньшей мере одного из характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (GC4), он может применить к декодированному изображению гораздо более интеллектуальные приложения обработки изображений. Эти значения серого могут быть использованы не только для деформатирования изображения, закодированного в Im_1*, в наиболее оптимальное выходное изображение с расширенным динамическим диапазоном IM_HDR_out, но также (если нет необходимости в этом, например) позволяет дополнительные преобразования, такие как, например, дополнительное усиление или осветление подобласти или эффекта, или более легкая интерполяция кодированных областей для настраиваемости среды отображения.

Дальнейшие интересные модификации представляют собой, например, блок (651) декодирования изображения, в котором блок (656) восстановления LDR выполнен с возможностью определения низкого динамического диапазона яркостей (R_Norml_LDR) на основе характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4), или блок (651) декодирования изображения, включающий в себя блок (658) тонального отображения, выполненный с возможностью преобразования цвета пикселей по меньшей мере когда их яркости или сигналы яркости попадают в поддиапазон яркостей или сигналов яркости изображения расширенного динамического диапазона (IM_HDR_out), как определено характеристическим уровнем яркости (gt4) или характеристическим значением кода сигнала яркости (gC4) соответственно, или блок (651) декодирования изображений по п. 11 формулы настоящего изобретения, в котором блок тонального отображения (658) выполнен с возможностью применения преобразования просветления по меньшей мере цвета пикселей, имеющих яркости или сигналы яркости ниже некоторого порогового значения, предпочтительно в зависимости от измерения окружающего освещения (Surr_IL) светочувствительным датчиком (688).

Как было сказано выше, наличие одного или более характеристических значений серого, характеризующих более темные области, позволяет лучше настроить их окончательную визуализацию, например, в зависимости от того, что может устройство отображения реально сделать видимым в определенной среде просмотра. Также, если имеется несколько темных областей, они могут быть лучше скоординированы в отношении их характеристик цветопередачи с дополнительными характеристическими значениями серого (например, когда может начаться перекрытие между двумя областями).

Все описанное выше и ниже также может быть реализовано в способах, таких как способ декодирования изображения для получения изображения с расширенным динамическим диапазоном (IM_HDR_out) из кодировки изображения расширенного динамического диапазона (Im_1*), включающий в себя:

- определение низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значения кодов сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением с расширенным динамическим диапазоном, а также получение изображения низкого динамического диапазона (Im_LDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*);

- определение по меньшей мере одного дополняющего диапазона (R_above) внутри полного диапазона яркостей (Range_HDR), включающего в себя главным образом яркости, не покрытые яркостями низкого динамического диапазона (R_Norml_LDR) и определяющего по меньшей мере одну часть изображения расширенного динамического диапазона (ImP_HDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*), соответствующую по меньшей мере одному дополняющему диапазону (R_above);

- составление изображения расширенного динамического диапазона (IM_HDR_out) из изображения низкого динамического диапазона (Im_LDR_o) и по меньшей мере одной части изображения расширенного динамического диапазона (ImP_HDR_o), причем изображение низкого динамического диапазона (Im_LDR_o) и по меньшей мере одна часть изображения расширенного динамического диапазона (ImP_HDR_o) в значительной степени покрывают неперекрывающиеся поддиапазоны яркости изображения расширенного динамического диапазона (IM_HDR_out).

Это также может быть реализовано на других известных технических компонентах, таких как, например, компьютерный программный продукт, включающий в себя программное кодирование способа по п. 6 формулы настоящего изобретения, позволяющее процессору реализовать его, или компьютерный программный продукт, включающий в себя программное кодирование способа по п. 13 формулы настоящего изобретения, позволяющее процессору реализовать его, или сигнал изображения, кодирующий изображение расширенного динамического диапазона (IM_HDR_in), характеризующийся тем, что он содержит по меньшей мере кодировку, кодирующую двумерный кадр сигнала яркости, имеющий отображения (CMAP) значений кодов сигнала яркости (Y_out) на подлежащие визуализации яркости (Lum_in_scene), в которых низкий динамический диапазон яркостей (R_Norml_LDR) покрывают кодировку изображения низкого динамического диапазона (Im_LDR_o), обусловленную как его цветовые характеристики для визуализации на системе отображения с низким динамическим диапазоном, а непересекающийся дополняющий поддиапазон (R_above+R_below) покрывает цвета пикселей расширенного динамического диапазона, пригодные для визуализации изображения расширенного динамического диапазона (IM_HDR_in) на системе отображения расширенного динамического диапазона.

Или сигнал изображения по п. 16 формулы настоящего изобретения, дополнительно включающий в себя по меньшей мере одно из характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4), которые могут быть включены в различные аппаратные компоненты памяти, такие как, например, съемный носитель данных, такой как, например, Blu-Ray диск.

В определении сигнала изображения под кодированием, кодирующим двумерные кадры сигнала яркости, имеется в виду то, что кадр сигнала яркости не обязательно должен быть непосредственной кодировкой яркостей пикселей в одном и том же месте, но может быть типичным его преобразованием, таким как DCT преобразование (но этот новый кадр все еще кодирует лежащий в основе исходный кадр пикселей сигнала яркости). Под кондиционированием изображения с низким динамическим диапазоном в соответствии с его характеристиками цветов, как правило, понимается градуировка, которая обычно будет выполнена таким образом, чтобы (суб-)изображение с низким динамическим диапазоном хорошо выглядело при визуализации на системе отображения с низким динамическим диапазоном (достаточный контраст, без посторонних цветов, достаточные эффекты с расширенным динамическим диапазоном, такие, как взрывы и т.д.). Таким образом, техническая новизна представленных вариантов осуществления может быть немедленно усмотрена в различных реализациях сигналов в способе, которым части с расширенным динамическим диапазоном и с низким динамическим диапазоном переплетены между собой в определении сигнала яркости. Низкий динамический поддиапазон этого диапазона сигнала яркости может быть предварительно согласован (например, между 12 и 1400) в стандартном сигнале, или может быть сообщен с помощью характеристических значений серого. Это обеспечивает гибкость дополнительного кодирования/преобразования частей. Конечно же, «совместно закодированные» обычным образом функции отображения CMAP_L и CMAP_H также могут идентифицировать подчасти.

Возможны, конечно, и многие другие варианты описанных ниже вариантов осуществления, и специалисту в данной области техники должно быть понятно, что они могут, например, быть реализованы в различных устройствах в различных географических регионах мира, применяя их частичную функциональность в различные моменты времени, или несколько раз один после другого, и т.д.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства в соответствии с настоящим изобретением будут очевидны и разъяснены со ссылкой на реализации и варианты осуществления, описанные далее в настоящем документе, а также со ссылкой на прилагаемые чертежи, которые служат только в качестве неограничивающих конкретных иллюстраций, служащих примерами более общей концепции, и в которых пунктиры используются для указания того, что компонент не является обязательным, а не пунктирные компоненты не обязательно являются существенными. Пунктир также может быть использован для указания того, что элементы, которые объясняются как необходимые, скрыты внутри некоторого объекта, или для нематериальных вещей, таких как, например, выбор объектов/областей (и как они могут быть показаны на устройстве отображения).

На чертежах:

Фиг. 1 схематически иллюстрирует сцену с расширенным динамическим диапазоном яркостей;

Фиг. 2 схематически иллюстрирует то, как эта сцена будет выглядеть в терминах линейной яркости областей сцены;

Фиг. 3 схематически иллюстрирует вариант осуществления кодера, который может кодировать изображение в соответствии с принципами настоящего изобретения;

Фиг. 4 схематически иллюстрирует соотношение яркость-сигнал яркости, позволяющее кодировать как представление с низким динамическим диапазоном, так и, по меньшей мере, части информации расширенного динамического диапазона представления расширенного динамического диапазона в структуре сигнала яркости одного изображения, поясняя некоторые принципы настоящего изобретения;

Фиг. 5 схематически иллюстрирует систему на стороне кодирования, которая может управляться цветокорректировщиком;

Фиг. 6 схематически иллюстрирует систему на стороне декодирования, которая может быть, например, домашней системой отображения потребителя, включающей в себя такие устройства, как основной телевизор и портативный просмотрщик изображений; и

Фиг. 7 схематически иллюстрирует вариант осуществления, который допускает кодирование трех градаций, важных для будущего кодирования видео (мастер-градация для кинотеатров, градация для домашней системы отображения с низким динамическим диапазоном и градация для домашней системы отображения расширенного динамического диапазона), в одном сигнале (например, 10-битном) в соответствии с настоящим изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 показана типичная сцена, приводящая к необходимости кодирования расширенного динамического диапазона изображения для того, чтобы иметь возможность разумно визуализировать сцену. Даже если устройство визуализации, что типично, не способно точно визуализировать цвета сцены (так как это связано не только с ограничениями устройства отображения, но и с адаптацией зрительной системы зрителя), оно все равно нуждается в как можно более точной информации об оригинальной сцене.

Это не только вопрос кодирования яркостей/цветов сцены с достаточной точностью (которая, например, может быть выбрана таким образом, что для ожидаемых со стороны устройства отображения преобразований яркости, таких как растяжение яркости, мы остаемся на безопасной стороне, то есть имеется достаточно кодов, чтобы не случались заметные артефакты, такие, как полосы), но скорее вопрос иерархии представлений с определенным качеством достижимого диапазона. Это можно рассматривать как своего рода «фокус экспозиции», когда кинорежиссер или оператор может выбрать объект для фокусировки и размыть все остальное, он может по причинам физических ограничений или художественных областей выбрать диапазон яркостей, который должен быть полностью визуализирован или по меньшей мере закодирован (например, потому что он содержит главное действующее лицо 101), и дополнительные области, которые в некоторых визуализациях могут быть вымараны, но в других - представлены определенным способом.

В примере у нас имеется магазин с некоторыми вещами, некоторые из них лежат на столе, где происходит основное действие. Эти основные объекты 111 области должны быть хорошо представлены, то есть, будь то в любой кодировке более низкого качества, такой как изображение с низким динамическим диапазоном, либо в другой кодировке, такой как изображение с расширенным динамическим диапазоном.

В производстве телевизионного шоу эти основные объекты, как правило, хорошо освещаются осветителем. В оперативном репортаже оператор будет регулировать диафрагму своей камеры таким образом, что основные объекты попадут примерно в середину низкого динамического диапазона.

На Фиг. 2 показаны эквивалентные гистограммы яркости c отсчетами n(L_Sc) по отношению к яркости L_SC для сцены (или по меньшей мере как будет их приблизительно измерять высококачественная камера). Основные объекты (яркости схематически представлены главной долей 211) все должны примерно хорошо попасть в низкий динамический диапазон яркостей R_Norml_LDR (то есть, в зависимости от фактического контраста сцены, что может означать, что они попадают как в подмножество того же диапазона R_Norml_LDR для объектов с низким контрастом, в который, как правило, должны укладываться объекты, имеющие коэффициенты отражения от 1% до 100% при достаточно равномерном освещении, так и для более широких диапазонов - при условии, что мягкого отсечения камеры, например, при JPEG или MPEG кодировании недостаточно - незначительное количество пикселей основного объекта могут быть обрезаны до крайних значений кода низкого динамического диапазона, т.е., например, до значений 0 и 255). Обычно область низкого динамического диапазона заканчивается некоторым белым W*, отображаемым в значение 255 в 8-битном представлении с низким динамическим диапазоном (и обычно белое может также присутствовать в изображении как оно захвачено, например, функция автоэкспозиции камеры может, кроме выполнения общих расчетов, подобных гипотезе серого мира, искать самые яркие объекты и отображать их на значение 255 белого). В ней могут быть области с критическим значением серого x%G, например, доля 201 основного актера не должна быть слишком темной (или слишком бледной).

В сцене, подобной примеру, изображенному на Фиг.1, также будут существовать области значительно большей яркости, чем яркость основной области, например, более яркая область 102, изображающая солнечную улицу через окно. Ее гистограмма, указывающая на отражательную способность ее объектов, попадает в другую область полного расширенного диапазона яркостей Range_HDR (как может быть измерено в сцене при помощи фотометра или путем аппроксимации снимка камеры расширенного динамического диапазона, либо в представлении компьютерной графики и т.д.), а именно в светлый диапазон R_above. Если в сцене есть только светлые объекты, то этот диапазон R_above является дополнительным к диапазону R_Norml_LDR, не обязательно в том смысле, что он является непрерывным/смежным ему, но в том смысле, что он содержит все другие яркости пикселей объектов, присутствующих в сцене. В приведенном примере R_above содержит яркости еще более светлой области, а именно светлой области 103 лампы в магазине, с гистограммой 203. Низкое качество будет часто обрезать такие области повышенной яркости, или по меньшей мере представлять их неправильно, например, с бледной, ненасыщенной цветностью.

Часто также будут присутствовать очень темные области, как в данном случае темная область 104 объектов, находящихся в тени под столом. Она имеет долю 204 с темной гистограммой, попадающую в темный диапазон R_Below. Опять же, в более грубых версиях изображения они могут быть не так актуальны. Например, в другой сцене с расширенным динамическим диапазоном, где с улицы снимают то, что находится внутри дома (как, например, видится сквозь приоткрытую дверь), оно может быть визуализировано как (почти) черное, и зритель может этого не увидеть. Тем не менее, можно предположить, что пусть лучше будет так, чем закодировать это плохо (особенно, если камера может хорошо захватить эти данные), и можно хорошо представить эти пиксели темного объекта интерьера достаточным количеством выделяемых кодов. Визуализация с низким динамическим диапазоном на системе с низким динамическим диапазоном, которая не может точно визуализировать эти темные области по отношению к более светлым областям, может затем из этих (дополнительных) данных принять решение о применении преобразования цвета, которое, сохраняя при этом достаточно темноватый вид, путем просветления действительно показывает отчасти структуру объекта за дверью дома в темной комнате. Это то, что может быть сделано с помощью кодирования в расширенном динамическом диапазоне, которое в принципе может закодировать любые пиксели с экстремальной яркостью в сцене, будет ли это использоваться в дальнейшем или нет, и если будет, то как.

На Фиг. 2 также показано, как идеи настоящего изобретения могут обеспечить такое кодирование, что дополнительно уточняется на Фиг. 4. Если, например, используются 10-битовые слова данных, уже предопределенные в качестве структуры данных, можно выделить непосредственно используемый (!) сигнал низкого динамического диапазона где-то в расширенном динамическом диапазоне [0-1023], и это будет наиболее оптимально кодировать эту часть расширенного динамического диапазона (независимо от того, как он кодируется, например, нелинейно контрастно-изменяемым, и что именно делается с остальной частью расширенного динамического диапазона). То, что сейчас кажется нелогичным, это то, что делается с остальной частью расширенного динамического диапазона. Здравый смысл подсказывает просто продолжать тем же способом кодировать за пределами подчасти низкого динамического диапазона, насколько это позволяет 10-битный диапазон структуры данных для сигнала яркости. То есть, передаточная функция отображения, определяющая код, будет простым продолжением (обычно от простой функции, такой, как гамма-функция), а не разрывной (не говоря уже о немонотонном распределении, которое наше изобретение будет в некоторых случаях находить очень полезным). Идея состоит в том, что если допущены некоторые ошибки (некоторые ошибки округления, или сдвиг значений сигнала яркости вниз из-за некоторой обработки изображения), в связи с небольшой разницей в значениях яркости соседних кодов соответствующей сцены никаких существенных визуальных изменений происходить не будет. Считается, что в текущей цифровой эре должно быть возможным точно разграничить один поддиапазон от другого, и, следовательно, вообще избежать таких проблем, даже если соседний код сигнала яркости (например, 951 против 950) содержит данные совсем с другим смыслом, а именно очень разные яркости объекта сцены. Кроме того, из-за специфической природы цветокодирования в расширенном динамическом диапазоне, даже если возникают какие-либо проблемы, то, как правило, они не будут так серьезны. Ошибочное (или нарочное) помещение некоторых данных большой яркости расширенного динамического диапазона в высшие коды низкого динамического диапазона R_Norml_LDR не должно быть такой большой проблемой, поскольку изображение с низким динамическим диапазоном в любом случае обрезается для объектов высокой яркости (и разница между сигналами яркости 253 и 255 также является едва уловимой). Если же ошибка происходит в части с расширенным динамическим диапазоном, как правило, аппараты, обрабатывающие эти данные, должны быть достаточно интеллектуальны, чтобы определить и исправить ее (например, путем определения градиента, который неконгруэнтен, потому что отображает на то, что должно быть областью, закодированной в низком динамическом диапазоне).

Во всяком случае, такое обоснование обеспечивает возможность интеллектуального нелинейного кодирования именно тех яркостей пикселей, которые все еще необходимы или желательны для изображения с расширенным динамическим диапазоном. Т.е., например, можно зарезервировать небольшое количество значений 0-11 сигнала яркости для темной области. Это должно быть достаточной информацией, позволяющей сложной нелинейной функции отображения делать возможным хорошую визуализацию одной или нескольких темных областей. Так как темная область никогда не будет иметь первостепенное значение, можно, например, применить отображение так, что темные яркости станут просто заметно различными, или в других случаях (например, при более высокой освещенности) могут быть более крупные шаги, что в результате даст некоторую огрубленность, но это все еще будет приемлемым для такой области тени со второстепенным значением. Так как в данном примере у сцены нет дополнительной яркости особого значения (которое может быть в случае, если вообразить некоторую темноватую комнату с более высокой средней яркостью, которая может рассматриваться с учетом ее визуализации, требующей кодирования с помощью суб-гистограмм нескольких кодов сигнала яркости), определение низкого динамического диапазона основного значения можно начать с кодов сигнала яркости, расположенных непосредственно над (12). И это независимо от того, есть ли промежуток в яркости с темной областью, или есть ли перекрытие (в этом случае некоторые из пикселей могут быть даже избыточно закодированы также в части с низким динамическим диапазоном, например, пиксели, имеющие значение 11 в сигналах яркости для кодирования в расширенном динамическом диапазоне, соответствующие R_below, могут, в зависимости от более точной количественной оценки их яркости в сцене, получить перекодировку одного из трех самых низких кодов низкого динамического диапазона, т.е. создать дополнительное определение текстуры объекта с пиксельными значениями 12, 13 и 14). Схожим образом, яркость сцены, соответствующая сигналу яркости 951, может быть в зависимости от содержания сцены в два раза выше, чем яркость, соответствующая сигналу яркости 950 (вместо того, чтобы быть, например, на 2% выше), или в три раза и т.д.

В общем случае может быть полезным совместно кодировать специальные значения серого, разграничивающие такие области. То есть более универсально, чем фиксируя фиксированную подобласть для части с низким динамическим диапазоном, можно сообщать с помощью характеристического значения серого (в данном случае значения сигнала яркости) g1 = 951, что там начинается (первая) часть с расширенным динамическим диапазоном кодирования, и, предпочтительно, дополнительно совместно кодировать, как правило, в метаданных MET, связанных с кодированием изображения, что это значение сигнала яркости 951 соответствует яркости сцены, например, 2000 нит. Сторона отображения может затем определить, как зрительно оптимально визуализировать это на отображающем устройстве с локальным пиком яркости, скажем, в 3000 нит, то есть также резервируя достаточно места для областей изображения даже с более высокой яркостью. И потенциально принимая во внимание пользовательские настройки, такие как то, что пользователь предпочитает изображения, не слишком яркие для его глаз, или которые используют менее 3000 нит в целях энергосбережения.

Фиг. 3 схематически показывает некоторые варианты осуществления, которые могут присутствовать в кодере. Там всегда будет некоторый селектор низкого динамического диапазона, позволяющий идентифицировать низкий динамический диапазон, и обычно характеризующий его. Полагается, что он еще не был градуирован отдельно, то есть является, например, исходным изображением, захваченным камерой с расширенным динамическим диапазоном, или оптимальной мастер-градацией в расширенном динамическом диапазоне в соответствии с предпочтениями режиссера и главного оператора. Это будет обозначаться введенным изображением расширенного динамического диапазона IM_HDR_in. Как минимум обычно человек (или интеллектуальный алгоритм) будут указывать, что будет являться в этом изображении частью низкого динамического диапазона, то есть те области сцены, которые должны быть оптимально визуализированы на стандартной системе просмотра с низким динамическим диапазоном, т.е. с хорошим контрастом, видимостью структур, возможно также в некоторых темных частях, правильными цветами для человеческого лица и т.д. Как правило, также должны быть принесены жертвы при определении по меньшей мере неявно областей, которые недостаточно хорошо покрыты кодированием с низким динамическим диапазоном/подразделом. То есть, например, некоторые более светлые области могут быть мягко обрезаны, пагубно уменьшая количество кодов сигнала яркости, все еще характеризующих текстуру объекта, или даже сильно обрезаны, т.е. вообще не представлены. Но человек может считать это разумным, например для областей густой тени или яркого света улицы. По желанию во многих вариантах осуществления блока 301 кодирования может также присутствовать блок 312 преобразования цвета/яркости, что позволяет цветокорректировщику по-прежнему, например, нелинейно, осветлять некоторую часть теневых областей перед втискиванием ее в низшие значения сигнала яркости из подраздела низкого динамического диапазона. То есть, наличие блоков для такой отдельной цветовой градации в момент создания кодирования позволяет хорошо отвязаться от конечного технического отображения исходных яркостей захваченного объекта на конечные коды сигнала яркости в едином изображении Im_1*, которое должно быть выведен (по меньшей мере, едином настолько, насколько необходим единый вид, конечно, могут быть, например, несколько трехмерных видов в каждый момент времени, или даже могут присутствовать дополнительные изображения, которые могут иметь альтернативные кодировки в расширенном динамическом диапазоне или градуировки в среднем динамическом диапазоне (MDR) и т.д.). Таким способом, например, можно использовать стандартное отображение гамма 2.2 CMAP_L для части с низким динамическим диапазоном. В этом случае любая традиционная система с низким динамическим диапазоном может непосредственно использовать низкий динамический поддиапазон - изолируя его простой операцией проверки порога - и некоторая интеллектуальность кодирования сцены в расширенном динамическом диапазоне, следовательно, должна быть реализована соответствующей градуировкой в низком динамическом диапазоне R_Norml_LDR.

В любом случае, цветокорректировщик, как правило, выберет интеллектуальное отображение в расширенном динамическом диапазоне (второе отображение CMAP_H) для кодирования частей расширенного динамического диапазона в то, что остается от диапазона. Например, для 10-битных изображений в диапазоне значений 1024-256 по-прежнему остается 768 кодов сигнала яркости, что должно быть достаточно по меньшей мере для некоторых сценариев с расширенным динамическим диапазоном. Однако, если нужно кодировать изображение с низким динамическим диапазоном приблизительно (путем дополнительного интеллектуального отображения или жертвуя одним битом точности для масштабирования) в 7 битах из 8 бит полного диапазона сигнала яркости, то оставшееся количество кодов будет 256-128=128. Этого должно быть достаточно для создания внешней солнечной области с той же точностью, что и у основной области, тем не менее уменьшенное количество кодов, возможно, может потребовать разумного управления эффектами расширенного динамического диапазона. Например, можно принять решение зарезервировать 120 из этих кодов для солнечных областей (102), всего 2 кода сигнала яркости для ламп (103), которые в этом случае будут грубо представлены, и только 6 оставшихся кодов для темных областей (104), которые тогда тоже не будут больше представлены с высокой точностью. Но тогда преимуществом является то, что весь сигнал с расширенным динамическим диапазоном может поместиться в 8-битном формате, и любой декодер, будь то традиционная система или система с расширенным динамическим диапазоном, может легко изолировать низкий (7-битный) динамический диапазон из 128 кодов (например, начиная с сигнала яркости со значением 7), и масштабировать его на 8 бит для непосредственной визуализации, и по мере необходимости легко обрезать различные кодировки области с расширенным динамическим диапазоном, а затем отображать их, например, в сценарии повышения освещенности для визуализации области яркой лампы и т.д., чтобы получить конечное изображение с расширенным динамическим диапазоном Im_HDR_out (который для простоты рассматривается как непосредственно ведущее изображение, а специалисту в данной области техники будут понятны дальнейшие модификации изображения, такие как учет различных гамм устройств отображения, калибровка устройств отображения и т.д.).

Аналогичным образом может быть полезно включить селектор 313 расширенного динамического диапазона, который может позволить цветокорректировщику через блок 330 интерфейса пользователя (как правило, это специализированная градуировочная панель и программное обеспечение), например, отсеять некоторые области расширенного динамического диапазона (не так важные для кодирования), или разделить их на отдельные части со специальным семантическим значением и т.д. Таким образом, цветокорректировщик может, например, настроить второе отображение расширенного динамического диапазона CMAP_H так, чтобы оптимально кодировать в значениях сигнала яркости яркий режим 202 по сравнению с легким режимом 203. Может быть полезным иметь необязательный блок 314 преобразования цвета расширенного динамического диапазона для того, чтобы применить одно или несколько отображений тона (или вообще отображения цвета) TM_H к различным значениям цвета/яркости пикселей области с расширенным динамическим диапазоном, с соответствующими изменениями в отображении тона с тональным отображением низкого динамического диапазона TM_L посредством блока 312 преобразования цвета низкого динамического диапазона.

Блок 315 кодового отображения применяет кодировки с помощью отображений CMAP_L и CMAP_H, которые могут быть предварительно заданы (например, согласованы в определенной области технологии), или оптимально разработаны цветокорректировщиком и совместно закодированы в метаданных выводимого сигнала изображения S. Этот сигнал изображения может также содержать одно или несколько интересующих значений серого, которые могут быть закодированы как характеристические значения яркости (например, gt4) и/или характеристические значения сигнала яркости (gC4) и которые, как упоминалось ранее, помогают, например, в декодировании того, с какой выходной яркостью должен, наконец, быть визуализирован код 951 сигнала яркости, причем потенциально настраиваемым пользователем образом. Средство 320 форматирования форматирует изображение Im_1* в сигнале S, и специалист в данной области техники поймет, что это может повлечь, по совместимости, такие известные технологии, как DCT-преобразование и т.д. для получения MPEG-совместимого потока, пакетирования, структурирования в соответствии с Blu-Ray спецификацией и т.д., независимо от того, что требует технология реализации концепций настоящего изобретения.

В случае, если градуировка низкого динамического диапазона GRD_LDR_in уже присутствует, она обычно будет введена совместно. Дополнительно введенные метаданные могут помочь в ее идентификации с определенным диапазоном в расширенном динамическом диапазоне Range_HDR, например, спецификация используемого отображения TM_Gl в процессе достижения LDR градуировки. Обычно селектор 311 низкого динамического диапазона будет включать в себя блок 340 идентификации низкого динамического диапазона, который выполнен с возможностью производить отображение между входной градуировкой низкого динамического диапазона и входным изображением с расширенным динамическим диапазоном. Наиболее сложные варианты осуществления могут делать полный пространственно-цветовой анализ изображения, например, идентификацию подобных объектов (например, через обнаружение границы и соответствия), анализируя, как градуировка в обоих изображениях предлагает или реализует автоматическое дальнейшее преобразование отображения цвета/яркости (например, давая возможность окончательной градуировке низкого динамического диапазона кодировать вводимый промежуточный вариант градуировок низкого и расширенного динамических диапазонов) и т.д. В некоторых вариантах осуществления обратная связь с цветокорректировщиком, смотрящим на изображение на его устройстве отображения (устройствах отображения) может быть реализована в виде, например, псевдоцветов, показывающих, какие объекты при визуализации расширенного динамического диапазона соответствуют входной кодировке низкого динамического диапазона (или текущей для вывода), и позволяет показывать преобразования цветов, потенциально преувеличенные, подвергнутые дифференциальному сравнению и т.д.

Хотя можно представить различные продвинутые концепции в зависимости от того, как именно кодирование с низким динамическим диапазоном относится к изображению с расширенным динамическим диапазоном (например, было ли использовано интеллектуальное отображение тона, чтобы включить большую часть яркой области 202 на открытом воздухе с солнцем), простые системы могут просто определить два порога gl и gh сигналов яркости (или яркостей, которые могут быть рассчитаны друг из друга), определяющие, где нужно производить обрезание и замену в изображении с расширенным динамическим диапазоном. В этом сценарии градуировка с низким динамическим диапазоном может напрямую обходить или проходить насквозь без обработки блоком 312 преобразования цвета низкого динамического диапазона вместо того, чтобы модифицированная область низкого динамического диапазона генерировалась из IM_HDR_in, представленного, например, блоком 312, рассчитывающим модифицированное изображение с расширенным динамическим диапазоном IM_HDR_in* с неизменными яркостями в областях с расширенным динамическим диапазоном, но с разными яркостями L* в области низкого динамического диапазона.

Кодирование изображения с расширенным динамическим диапазоном и, в частности, настоящие варианты осуществления позволяют создавать визуально совершенно разные сцены, например, передающие различные настроения. Естественная парадигма состоит в том, чтобы всегда иметь по меньшей мере основное действие в хорошо визуализируемой сцене (т.е. оптимально видимой), что обычно приводит к помещению основных объектов «в центр внимания». Однако уже в эпоху Возрождения обнаружение человеком своего незначительного положения во Вселенной привело к возникновению новых видов изображений, таких как темные картины с мелкими деталями. Открытие искусственного освещения в девятнадцатом веке привело к тому, что художники стали играть с этим чудом. Помимо дневного мира, теперь была обнаружена еще и ночь. И значения серого в таких ночных изображениях зависят от того, как освещена сцена. Например маленькие, слабые точечные источники света, такие, как свеча, могут иметь такое влияние, что при общей визуализации области объекта будут более или менее освещены. Следует отметить, что психологически темное впечатление может быть создано уже изображением только некоторых объектов или частей изображения темными, сохраняя при этом остальные объекты или части изображения более светлыми. Таким образом будет существовать диапазон яркостей, от очень ярких для источника света, и ослабевающих до теоретически нулевого значения. Теперь возникает вопрос, где происходит действие. Один актер может быть достаточно хорошо освещен свечой, но второе действие (особенно в фильмах ужасов) может происходить в более темной области. С помощью настоящего изобретения можно не принимать решения о выборе низкого динамического диапазона, красиво отцентрированного вокруг всех цветов на лице второго актера, но поместить цвета его пикселей в нижней части низкого динамического диапазона, например, даже отсекая более темную менее освещенную половину его лица до нуля (до значения низкого динамического диапазона, например, равного 12 в однокадровой кодировке в расширенном динамическом диапазоне Im_1*). В этом случае его лицо будет правильно визуализировано очень темным при отображении с низким динамическим диапазоном. Затем можно закодировать пиксели этой темной половины лица в части с расширенным динамическим диапазоном (R_below), так что система с расширенным динамическим диапазоном может решить, как показать их с большей текстурой (например, устройство отображения расширенного динамического диапазона может быть способно точно генерировать намного более темные яркости пикселей, даже если при определенном освещении они будут казаться неразличимы для зрителя, следовательно, реализуя тот же неясный вид, что и на устройстве отображения с низким динамическим диапазоном, возможно, издалека, пока при ближайшем рассмотрении не начнет показываться текстура).

Фиг. 4 показывает схематический пример того, как можно с помощью представленных вариантов осуществления кодировать входной диапазон «значений, относящихся к серому», который снова будет принят за линейные яркости сцены (так что определенная кодировка, выполняемая, например, с помощью нелинейного сигнала яркости или какой-либо математически определенной корреляции серого в цветовом пространстве, например, поступающего от устройства компьютерной графики, всегда может быть преобразована в такое представление эквивалентной яркости (Lum_in_scene)), в сигналы яркости Y_out выходного изображения Im_1* в 10-битном примере, охватывающем весь расширенный динамический диапазон сигнала яркости RcTot_Im1 из 1024 значений (поясняются только концепции на примере сигнала яркости, который в настоящее время является самым популярным для корреляции серого при кодировании изображения, однако наше изобретение можно легко понять с кодировкой, которая определяет, например, цвета с линейной мерой яркости). В этом примере определения кода допускаются отрицательные значения сигнала яркости. Часть с низким динамическим диапазоном может быть найдена из стандартного отображения гамма 2.2 CMAP_L в поддиапазоне кода низкого динамического диапазона R_LDR, соответствующего также яркостям сцены между характеристическими яркостями gt2 и gt3. Метаданные могут просто передавать эти характеристические яркости gt2 и gt3, так что система, нуждающаяся в кодировании изображения для формирования ведущих значений для традиционного устройства отображения с низким динамическим диапазоном, должна лишь выбрать значения в этом диапазоне, и они уже правильно нормированы, если они начинаются с нулевого значения сигнала яркости Y_out и заканчиваются значением сигнала яркости 255 (т.е. если эти значения используются как характеристические сигналы яркости для разграничения низкого динамического диапазона cLDRl и cLDRh, они не должны даже в принципе передаваться или совместно храниться). Здесь могут быть использованы отрицательные значения для представления с помощью первого отображения в расширенном динамическом диапазоне CMAP_H1 (из общего отображения расширенного динамического диапазона) темных областей темного режима 204. Второе (суб-)отображение в расширенном динамическом диапазоне может отображать пиксели изображения более яркого расширенного динамического диапазона/сцены, и оно может включать любую полезную функциональную форму (соответствующим образом отображая на имеющуюся подобласть расширенного динамического диапазона сигналов яркости выходного изображения, то есть расширенный динамический диапазон R_LEffs_HDR), например, определенную путем выделения оптимального количества кодов сигнала яркости для представления внутренних текстур нескольких областей с их собственной оптимальной точностью, или путем учета того, как будет выглядеть визуализация на стороне приемника в этих подобластях, и уже помещая их в приблизительно правильные поддиапазоны сигнала яркости и т.д. gt4 является характеристической яркостью, с которой начинается что-то важное, например, это может быть чем-то простым, как место, где оканчиваются яркости пикселей на открытом воздухе с солнцем и начинаются яркости источника света (например, градуировка в расширенном динамическом диапазоне, возможно, была сделана таким образом, что эти области не перекрываются и являются смежными в цветопреобразованном кадре с расширенным динамическим диапазоном IM_HDR_in*, который должен быть закодирован). Для принимающей стороны эта характеристическая яркость является весьма полезной, так как теперь она может оптимально настроить визуализацию своих светлых областей, например, визуализировать лампы с чрезмерно высокой выходной яркостью, если диапазон яркости устройства отображения позволяет сделать это, или наоборот, если доступно не так много ярких цветов выше визуализации части с низким динамическим диапазоном, оптимально распределить яркости устройства отображения как для пикселей солнца, так и для лампы. Эта характеристическая яркость gt4 может помочь методам анализа изображений на принимающей стороне (так как она является определяемым человеком осмысленным значением), но она может также параметризовать простые функции преобразования цвета на принимающей стороне, такие как растяжения или смещения. Также очевидно, что из-за упразднения простого свойства непрерывности кодирования можно кодировать все виды промежутков (как например между gt1 и gt2) и перекрытий, или другие множественные резервные кодировки и т.д.

Другие полезные аннотации характеристического значения серого могут быть включены в выходной сигнал S, например, характеристический сигнал яркости gCdk может формировать разделительную линию между двумя семантическими подобластями изображения, которые кодируются в части с низким динамическим диапазоном. Это может быть использовано, например, в алгоритме для улучшения осветленности более темных областей, например, под управлением зрителя.

Показана также возможность выбора другого низкого динамического диапазона R_OTHSEL_LDR, например, транскодером, который, как правило, также будет иметь блок отображения тона или цвета. В этом примере в состав включается несколько больше темных и светлых областей, например, применяя стратегию мягкого отсечения. Это имеет такой конечный психовизуальный эффект, что больше темных областей становятся видимыми, и, насколько это возможно, включены некоторые дополнительные яркие эффекты расширенного динамического диапазона (например, в то время как часто наружная солнечная область сильно обрезана в изображении с низким динамическим диапазоном, можно аккуратно выбрать и включить больше цветов, если она слишком ненасыщенна).

Фиг. 5 показывает примерную систему, осуществляющую некоторые из представленных концепций настоящего изобретения в системе создания фильмов. Сцена с расширенным динамическим диапазоном захватывается камерой 501 с расширенным динамическим диапазоном, способной захватывать расширенный динамический диапазон Ran_HDR, и полученное изображение может быть просмотрено на устройстве 503 отображения камеры (предпочтительно также с расширенным динамическим диапазоном, хотя он может эмулировать расширенный динамический диапазон, например, с помощью скользящей шкалы, или некоторого отображения тона, или псевдоцвета и т.д.). Вслед за тем, изображение передается по сигнальному соединению 505 (сетевому или беспроводному (спутниковому) и т.д.) на устройство 510 обработки изображения. В зависимости от сценария использования, для вещания в реальном времени это может быть устройство в кабине режиссера или в грузовике. В этом случае градуировка может быть сведена к минимуму, а отображение может быть простым и применяться только в некоторые моменты времени, например: один шаг калибровки, генерирующий CMAP_L и CMAP_H перед началом программы, и в случае, если отклонение от реальности становится слишком сильным и визуализированные изображения при просмотре начинают выглядеть менее желательными, обновление во время рекламы. В сценарии создания фильма это может быть (в автономном режиме, в более поздний момент в студии цветокорректировки) градуировочное устройство средства 520 градуировки. В первом случае может быть сделан чисто автоматический анализ изображения. В последнем сценарии это может быть применено в качестве отправной точки для градуировки, проводимой человеком, то есть в данном примере предполагается, что делается полуавтоматическая обработка, с окончательной доработкой средством 520 градуировки. Следует отметить, что те же самые принципы могут быть применены на любой промежуточной или дополнительной стадии (например, переделка ранее градуированного сигнала для новых приложений). Например, на стороне съемки главный оператор может уже (предварительно) определить динамические диапазоны состава сцены в результирующих изображениях Im_LDR и Im_HDR, однако, средство 520 градуировки может повторно переопределить это. Например, он может посредством соответствующего отображения тона на промежуточное 32-битное линейное представление сдвинуть (или скопировать) некоторые уровни яркости кодированных данных, скажем, основных моментов из изображения с низким динамическим диапазоном в изображение с расширенным динамическим диапазоном, или наоборот, получая в результате модифицированные изображения, закодированные в низком и/или расширенном динамическом диапазоне. Он обычно может смотреть на несколько градуировок и/или кодировок одной и той же сцены, например, путем их переключения или просмотра одной за другой на эталонном устройстве 531 отображения с расширенным динамическим диапазоном для HDR версий и на эталонном устройстве 530 отображения с низким динамическим диапазоном для LDR версий. При этом он может оптимизировать то, что каждый из типичных классов конечных зрителей смогут увидеть, и балансировать качество кодирования каждого из этих сигналов, например, путем изменения подобластей выхода Im_1*. Он может сохранять конечные градуированные изображения Im_1* на носителе 511 данных. Возможно, он также может сохранять дополнительные метаданные, описывающие смысл кодов Y, например путем определения математической формы функции отображения Trf или LUT и т.д.

Внутри устройства 510 обработки изображений находятся подблоки обработки изображений, которые будут делать фактические расчеты на каждый пиксель и осуществлять конечный вывод и помогать цветокорректировщику. Конечно же, там будет блок 551 кодирования изображений, выполненный с возможностью получения кодированного изображения Im_1* на основе входного сигнала от СБИС камеры и предпочтений цветокорректировщика (как правило, осуществляется через модуль пользовательского интерфейса).

Кроме того, как правило, там будет блок 550 анализа изображения, который анализирует изображение, помогая в кодировании. Этот блок может смотреть за свойствами режимов гистограмм и распределением цветов в определенных подобластях входных изображений, таких как входное изображение с расширенным динамическим диапазоном, возможно с дополнительной помощью со стороны других компонентов анализа изображения, таких как анализ текстуры или движения, параметризованная оценка моделей геометрического объекта и т.д. Он может выводить (опять же обычно при помощи вмешательства человека) структуру данных SEL_LDR, характеризующую его мнение о том, каким будет вклад низкого динамического диапазона в сигнал расширенного динамического диапазона, что в простых вариантах осуществления может быть просто диапазоном, и, возможно, некоторую более подробную информацию о том, как распределить значения серого в пределах этого диапазона (например, функцию, зависящую от статистики распределения цвета пикселей в областях изображения с расширенным динамическим диапазоном, входящих в низкий динамический диапазон). В более сложных вариантах осуществления это может быть настолько сложным описанием структуры данных, что оно также включает в себя семантическую информацию об областях с низким динамическим диапазоном, например, где находятся лица (это является связываемым или связанным с их цветами) и т.д.

Устройство 510 обработки изображения (и цветокорректировщик) в этом примере также имеет канал 581 доступа к традиционному контенту 580, такому, как, например, старый фильм (конечно, специалистам в данной области техники понятно, что эти функции могут быть реализованы в разных устройствах, а также могут выполняться на разных этапах цепочки визуализации, разными цветокорректировщиками или художниками компьютерной графики). В соответствии с представленными вариантами осуществления цветокорректировщик может добавлять эффекты с расширенным динамическим диапазоном к старым фильмам с низким динамическим диапазоном, и представленные варианты осуществления очень полезны в том, что кодирование с низким динамическим диапазоном не обязательно должно быть изменено («повреждено»), так как оно может быть закодировано как часть с низким динамическим диапазоном изображения Im_1* или по меньшей мере как очень простое, незначительное и в значительной степени обратимое его преобразование. И затем все области или эффекты расширенного динамического диапазона могут быть закодированы в остальных диапазонах Im_1*. Также показан другой вывод 582 для обеспечения другой кодировки Im_2*, например, другой кодировки для другого канала связи, которая может быть, например, кодировкой более низкого качества посредством Интернета 584 для переносных устройств отображения, которые, с одной стороны, могут иметь сниженные требования к качеству для части с низким динамическим диапазоном, а с другой стороны будут применять слишком тяжелое преобразование к частям с расширенным динамическим диапазоном, чтобы хоть как-то визуализировать их, но в значительной степени искаженными (но с той же легкостью, с какой высококачественные системы могут вывести необходимые им окончательные кодировки на основе кодирующих вариантов осуществления настоящего изобретения).

Далее в цепочке могут находиться услуги улучшения видео (например, на удаленном сервере), которые могут улучшать кодированные данные в Im_1* (путем адаптации части с низким и/или с расширенным динамическим диапазоном, например, путем переотображения), например, при подписке на улучшение состояния изображения для конкретных условий визуализации. Можно подумать, например, об увеличении диапазона R_Norml_LDR ценой регионов с расширенным динамическим диапазоном для систем отображения данных, которые так или иначе являются в основном системами с низким динамическим диапазоном, подобными мобильному телефону.

Антенна 512 может принимать любые данные или передавать их дальше, например, изображения, инструкции по работе и т.д.

На Фиг. 6 показан пример системы визуализации на принимающей стороне. Она может состоять из, например, устройства 651 видеообработки (которое может быть, например, телевизионной приставкой или персональным компьютером общего назначения и может включать в себя блок чтения BD и т.д.) и устройства отображения, которое в этом примере является жидкокристаллическим телевизором 602 со светодиодной подсветкой, но оно также может быть телевизором с OLED-экраном, проектором, простым устройством отображения с низким динамическим диапазоном и т.д.

Устройство 651 видеообработки имеет вход, который в зависимости от системы может, например, быть устройством чтения с диска, слотом для карты памяти и подключенным устройством управления памятью, шиной для подключения внешнего устройства, антенной и приемником с демодулятором, сетевым подключением, будь то кабельное или беспроводное, и т.д. Как правило, приемник выполняет все деформатирование сигнала (включая описание и все, что необходимо), но это проистекает из общего знания другой технической области, просто полагается, что кодированное изображение Im_1* поступает в виде исходного (RAW) изображения, даже если оно поступает со специальным определением отображения кода сигнала яркости. Как описано выше, метаданные MET могут быть довольно сложными, и они могут также определять, как именно производилось кодирование и, следовательно, как должно быть выполнено декодирование, но возможно также, что они могут дополнительно определять, что можно сделать с изображением, когда оно будет декодировано (которое схематически показано как Im_HDR_out, которое может для простоты считаться имеющим линейное представление яркости, хотя также может быть использовано несколько другое определение мастер-кода/цветового пространства).

Блок 661 идентификации характеристического значения серого может быть включен для выделения этих специальных кодов из метаданных MET (или даже дополнительно выводить их на основе анализа изображения), и затем эта информация может быть использована, например, в переотображении тона.

Блок 656 восстановления низкого динамического диапазона выполнен с возможностью применения всех необходимых функций для определения части с низким динамическим диапазоном в кодированном изображении Im_1*, поэтому обычно он определяет низкий динамический диапазон яркостей (R_Norml_LDR), которые затем могут быть использованы при вырезании изображения с низким динамическим диапазоном из Im_1*. Обычно блок 657 составления изображения будет генерировать финальное изображение с расширенным динамическим диапазоном Im_HDR_out, потому что он также получит части с расширенным динамическим диапазоном от блока 655 восстановления расширенного динамического диапазона, и эти части (например, выполненные в виде изображения с низким динамическим диапазоном Im_LDR_o + части изображения в расширенном динамическом диапазоне ImP_HDR_o) могут быть составлены все вместе в, например, область линейной яркости после применения соответствующего обратного отображения (CMAP_L^-1 и CMAP_H^-1). Также может иметь место дополнительное отображение тона перед отправкой изображения с расширенным динамическим диапазоном на устройство отображения (будь то прямой ведущий сигнал или кодировка, требующая дальнейшего преобразования устройством отображения), выполняемое блоком 658 отображения тона. Этот блок отображения тона может улучшать сигнал для лучшего качества просмотра, например, применять преобразование осветления с функцией преобразования TM_dk для пикселей со значением сигнала яркости ниже gCdk (или на самом деле, к соответствующей яркости после отображения в Im_HDR_out блоком 657). Отображение может зависеть от меры Surr_IL свойств среды просмотра, например, от показаний измерителя 688 яркости на блоке или телевизоре, или у зрителя (например, на пульте дистанционного управления) и т.д. Конечно же, может иметься оконечный блок 659 форматирования, который улучшает сигнал, например, согласно спецификации соединения, подобной, например, стандарту HDMI (пример соединения - кабель 650). Кроме того, для того, чтобы позволить устройству отображения делать свои собственные интеллектуальные преобразования, средство форматирования может также посылать дополнительные кодировки изображения, такие, как вариант Im_LDR сигнала низкого динамического диапазона, который больше не является легко распознаваемым в линейном изображении расширенного динамического диапазона M_HDR_out. Это позволяет устройству отображения сделать свое отображение цвета (имеющимся блоком 620 обработки изображения), например, под контролем пользователя. Далее могут быть переданы метаданные MET_2(HDR), описывающие по меньшей мере передаваемый сигнал с расширенным динамическим диапазоном, например, как он был восстановлен блоком 658. Телевизор может, например, использовать эту информацию по-разному, в зависимости от того, является ли это основным изображением или небольшой картинкой в картинке (PIP).

Блок 651 декодирования может также включать в себя или быть соединенным с антенной 699 и передавать то же самое или другое выходное изображение с расширенным динамическим диапазоном на, например, переносное устройство отображения 630.

Как пример того, как представленные варианты осуществления и легкие повторные визуализации работают с пользовательским интерфейсом, может быть показано «информационно осознанное управление яркостью», например, кнопка 641 улучшенной яркости на пульте дистанционного управления. Вместо того, чтобы слепо добавлять смещение к яркостям всех пикселей Im_HDR_out, при нажатии этой кнопки блок 651 видеообработки или телевизор могут применить новую стратегию отображения тона, которая, например, переотобразит информацию темной доли 204, отличной от остальных пикселей, получая таким образом гораздо лучшую видимость темных объектов. Различные характеристические уровни серого могут сильно помочь с помощью параметризации таких действий, посредством определения того, что должно быть сделано с различными поддиапазонами (более сильное осветление, скоординированная величина меньшей яркости, тождественное преобразование).

Настоящие варианты осуществления допускают улучшенные команды пользовательского интерфейса на визуализирующей стороне. Более интеллектуально адаптирующая кнопка 642 переосвещения или более интеллектуальная кнопка 643 увеличения контрастности могут использовать не только все метаданные, но также и закодированные поддиапазоны. Например, кнопка контраста может быть применена к той области лица, которая находится в темноте и плохо освещена. Даже при правильном освещении разграничение этого диапазона с помощью характеристических значений серого может позволить производить обработку по-разному. Например, модифицирующая гамма-функция, которая должна применяться к области лица, может зависеть от метаданных.

Следует отметить, что настоящее изобретение не исключает наличия более одного расширенного динамического диапазона или поддиапазона в дополнение к низкому динамическому диапазону (или потенциально в принципе даже нескольких низких динамических диапазонов или поддиапазонов) и, в частности, оно может использовать эту свободу для объединения нескольких градаций, как будет объяснено на примере Фиг. 7. В частности, свобода отказа от простой непрерывной нелинейной зависимости между значениями серого вдоль диапазона или любого их преобразования является большим преимуществом. Можно рассматривать все классические преобразования тона, как своего рода «пружину», толкающую некоторые из областей значений серого куда-то, что может быть, а может и не быть желательным. Например, гамма-функция является примером такого упрощенного преобразования. Она по существу сохраняет белое фиксированным и в основном воздействует на более темные области на шкале яркости. Это может сделать некоторые средние значения серого слишком темными или резервировать слишком много кодов для более темных областей. Наличие одного диапазона яркости, определяемого только непрерывной функцией распределения и более никакими дополнительными точными субэлементами, всегда предполагает необходимость обеспечения сбалансированного отсечения белого или черного с заведомой точностью. Следует отметить, что (даже для тех простых непрерывных «пружинных» преобразований, которые происходят при переходе к различным системам представления цвета) необходимо делать различие между кодированием и визуализацией цвета/яркости. Значения кодов сигнала яркости, если только они не применяются непосредственно к устройству отображения так, как это происходит в классических сетях телевидения, таких как PAL или MPEG2, не должны непосредственно отвечать требованию быть визуализированными яркостями для областей изображения, так как всегда может быть промежуточное преобразование, реализующее требования визуализации, такие, как характеристики устройства отображения и/или среды просмотра, но должно быть достаточно значений кодов для того, чтобы разумно характеризовать присутствующий объект. То есть, когда можно отвязать основанный на освещении «взгляд» на сцену, как он кодируется в изображении, от кодирования захваченных текстур объектов сцены. То есть, настоящее изобретение может идентифицировать, например, несколько областей освещенности (некоторые осветленные области, промежуточные области, темные области), однако при этом кодировать их так, как будто они все были прекрасно освещены (хотя они, возможно, не были таковыми во время видеосъемки), т.е. с оптимальным достаточным диапазоном/количеством значений кода. Затем позднее можно применить необходимый вид визуализации. Например, устройство отображения с низким динамическим диапазоном или дисплей может решить, хочет ли оно показать темную область яркости темных пикселей несколько осветленной, или как неразличимо черную. Например когда фильм будет отсканирован с помощью телекинопроектора, область недодержек на характеристической кривой и особенно ее нулевой участок могут содержать много информации. То есть, например, даже когда темная область содержит много шума, отсканированные темные области могут, например, после интеллектуального шумоподавления или применения общего алгоритма улучшения объекта (который может включать в себя сложные операции, такие как, например, спецэффект компьютерной графики для подрисовки математических текстур на темных объектах) кодировать эту темную область в финальной цифровой кодировке расширенного динамического диапазона с большим количеством значений кода для этой темной области. Или может быть определено оптимальное количество значений кода на основе ожиданий того, что еще может быть сделано пользователем или устройством отображения с такими темными областями, которые могут быть менее важными. Система с низким динамическим диапазоном может затем, например, осветлять эту область, пока она не попадет в середину ее диапазона кодов сигнала яркости, с гораздо меньшими артефактами, чем если бы оно было просто закодировано лишь несколькими из самых темных значений кода.

На Фиг. 7 в качестве примера вариантов осуществления настоящего изобретения схематически показано, как можно объединить три важные для кинопродюсера градации в одну структуру кодирования изображения с расширенным динамическим диапазоном (конечно же, подобные схемы могут быть построены, например, для телевизионных новостей или для создания игр). Предположим (хотя, конечно, фильм, возможно, был снят на классическую целлулоидную пленку), что исходный сигнал фильма снят на цифровую камеру, такую, как Аррифлекс или RED. Первая градация является мастер-градацией для кинотеатров (неважно, напечатана ли она на классической пленке или проектируется цифровым способом). Эту градацию можно рассматривать как градацию с расширенным динамическим диапазоном, так как, во-первых, создатель увидит ее как градацию высокого качества, и, во-вторых, кинотеатр имеет разумно хорошие характеристики визуализации. Визуализация может быть выполнена в темноте, но зрительная адаптация для этого должна быть сделана в значительной степени путем простых математических функций отображения. Хотя внутрикадровый контраст может быть уменьшен в связи с такими факторами, как проекционное оборудование (и, конечно, свет в кинотеатре, такой как от указателей аварийных выходов), межкадровые динамические контрасты могут быть хорошими, и обычно можно убедительным образом визуализировать как среду фильмов ужасов, так и солнечную среду на открытом воздухе. Кодирование обычно учитывает, например, поведение значений серого в целлулоидных фильмах. Так что в этой мастер-градации можно хотеть с хорошей точностью кодировать все, от черных объектов в темной среде (которые можно различить после адаптации к темноте, но что наиболее важно, это не столько действительная яркость или любое ее кодовое представление, а скорее психологическое воздействие, то есть то, что черная область никогда не выглядит совсем уж темной при яркой визуализации, как она выглядит в темном) до ярких огней, таких, как вспышка, направленная к наблюдателю (которые в кинотеатре будут в значительной степени психологически интерпретированы как весьма яркие, но на некоторых устройствах отображения с расширенным динамическим диапазоном можно действительно создать очень яркие области). Вторая градация может быть градацией с расширенным динамическим диапазоном для электронного отображения в домашних условиях (которая будет называться «домашней градацией» расширенного динамического диапазона), такой, которая может быть предложена через платный канал телевидения с расширенным динамическим диапазоном. Она может в значительной степени совпадать с мастер-градацией (так как они обычно могут быть связаны простой функций отображения для приблизительного сохранения внешнего вида в различных средах визуализации), но она может, например, содержать меньше темных кодов и больше ярких кодов. Заметим, что любая тонкая настройка некоторых областей может быть закодирована с помощью функций преобразования метаданных, но, в частности, также перекодированием пиксельных значений, причем в этом случае при использовании настоящего изобретения может иметь место двойное кодирование в сигнале с расширенным динамическим диапазоном, скажем, некоторых областей ярких пикселей. Например, диапазон пиксельных значений яркости лампы, чьи сигналы яркости, возможно, были смягчены в мастер-градации, могут быть закодированы в диапазоне CMAP_H2_CIN для кино-градации и снова в диапазоне CMAP_H2_DISPL другим образом, что может быть сделано, например, способом чередующихся пикселей (т.е. в шахматном порядке, что может быть отфильтровано перед визуализацией).

Однако обычно первая категория ламп будет попадать в диапазон, выделенный для ярких областей мастер-градации для кинотеатров, а именно CMAP_H2_CIN, а другие очень яркие лампы могут быть закодированы в другом, расширенном диапазоне, выделенном в конечном сигнале с расширенным динамическим диапазоном для домашней градации расширенного динамического диапазона. Типичная реализация может, например, кодировать эти очень яркие области (в любом предполагающем сцену представлении, например, в промежуточном пространстве цветов линейной яркости в градуировочном устройстве, также создающем представление конечного сигнала с расширенным динамическим диапазоном) исключительно в поддиапазоне CMAP_H2_DISPL для домашней градации расширенного динамического диапазона. Электронный кинопроектор в театре будет применять финальное преобразование визуализации, изменяя этот код на используемое значение, что на самом деле сводится к тому же самому, как если бы область изображения была закодирована в верхних частях CMAP_H2_IN. Этот диапазон CMAP_H2_DISPL может быть определен так, чтобы, например, иметь очень крутой наклон, допускающий области очень яркого света, но с меньшими деталями. Это означает, например, что может быть закодирована даже сверхновая звезда, что, в действительности, не может быть точно визуализировано на любом из устройств отображения в ближайшем будущем, но впоследствии устройство отображения может использовать эти различные значения кода объекта, чтобы преобразовать их в подходящие значения в пространстве визуализации устройства отображения.

Также даны два примера кодировки темной области, CMAP_H1 и, соответственно, CMAP_H2. Первый из них, например, может соответствовать менее темным областям, которые желательно визуализировать на домашних электронных устройствах отображения (как правило, в яркой среде просмотра). Их необязательно включать в типичный низкий динамический диапазон освещения, но можно закодировать их в нижнем поддиапазоне, так как на самом деле они действительно не являются более принадлежащими к низкому динамическому диапазону. Но тогда традиционная система отображения с низким динамическим диапазоном будет вести себя разумно, если она вырежет часть с низким динамическим диапазоном (в этом случае эти значения визуализируются как наиболее черный цвет), в то время как более интеллектуальная система с низким динамическим диапазоном (по меньшей мере с возможностью отображения с низким динамическим диапазоном) может, например, построить новый ведущий сигнал с низким динамическим диапазоном, локально отображая значения менее темного кода на более яркие, отображаемые ведущие значения (как правило, с помощью алгоритма балансировки различаемости вариаций текстуры в сравнении с темнотой, необходимой для общего вида изображения). Область CMAP_H2 может тогда содержать даже более темные области, которые в основном представляют интерес для демонстрации в кино. Следовательно, видно, что эта система позволяет очень легко использовать сигналы как на стороне отображения/декодирования, так и на стороне создания/кодирования. На стороне декодирования, до тех пор, пока третья градация, которая является градацией отображения с низким динамическим диапазоном (например, то, что обычно делают сейчас для создания DVD или BD), находится в CMAP_L части, система с низким динамическим диапазоном может легко извлечь ее, хочет ли она сделать что-то еще с остальной информацией, имеющейся в сигнале с расширенным динамическим диапазоном, или игнорировать ее (т.е. рассматривать все более низкие значения, как, например, 0). Домашнее устройство отображения с расширенным динамическим диапазоном может интерпретировать и использовать все, кроме области CMAP_H2. Кроме того, создатель контента извлек бы весьма большую выгоду от этой системы, заключающуюся в упрощении рабочего процесса, а также в возможности координировать и сохранять все вместе (хотя система, конечно, также позволяет транскодирование в более позднее время, но тогда, в особенности, если дополнительные метаданные для выбора и преобразования совместно закодированы системой, по меньшей мере вся экспертиза градации уже находится в сигнале для более поздней оптимизации). Например, он может использовать любую стратегию для того, чтобы прийти к части с низким динамическим диапазоном. В зависимости от его критерия качества он может просто, например, фиксировать некоторую стратегию отображения части с низким динамическим диапазоном и одновременно смотреть на некоторое отображение с низким динамическим диапазоном, оценивая, выглядит ли градация с низким динамическим диапазоном разумной (или комментировать ее, например, как «хорошая мастер-градация, необходимо позже оптимизировать в улучшенную домашнюю градацию с низким динамическим диапазоном»; настоящая система может затем создать второй отдельный сигнал с расширенным динамическим диапазоном для сохранения на BD, но может также просто точно настроить оригинальную мастер-градацию так, чтобы все три градации приемлемо содержались в одной кодировке с расширенным динамическим диапазоном, т.е. путем определения критерия качества для минимизации искажений (извлекаемых) градаций, как они закодированы в одном изображении с расширенным динамическим диапазоном). Коллега может взглянуть в проекционной комнате, как выглядит мастер-градация, а цветокорректировщик, который также проверяет градацию с низким динамическим диапазоном, может одновременно смотреть на контрольный монитор с расширенным динамическим диапазоном, такой как, например, SIM2. Обладание полным и комплексным контролем над всеми подобластями, их определением и вложениями позволяет хорошо кодировать все эти три градации вместе, применяются ли ослабленные или строгие критерии качества. Например, часть с низким динамическим диапазоном может быть определена интеллектуально как «нормально освещенная среда» (R_Norml_Lit_Env), и цветокорректировщик может выбрать, от чего нужно отказаться по сравнению с качеством расширенного динамического диапазона, в зависимости от того, что может быть отображено на низкий динамический диапазон. Но следует отметить, что отображение (которое будет совместно закодированным) может быть достаточно сложным. Так что дело не просто в том, что основные моменты должны быть обрезаны в низком динамическом поддиапазоне, что может привести к появлению артефактов при восстановлении сигнала с расширенным динамическим диапазоном. Поскольку они в любом случае должны быть уменьшены в яркости для визуализации с низким динамическим диапазоном, это может быть выполнено таким отображением, что декодирование этих яркостей в расширенном динамическом диапазоне все еще восстановимо в правильные яркости, в частности, после преобразования, аккуратно координирующего с объектом в расширенном динамическом диапазоне, закодированным в, например, вышеупомянутом диапазоне CMAP_H2_CIN. Таким образом цветокорректировщик имеет большую свободу для выбора основной истории низкого динамического диапазона, закодированной в его поддиапазоне. То есть он может, например, выбрать отображение CMPA_L исключительно на информационно-теоретических принципах, таких как количество кодов для точной визуализации, скажем, лиц при неоптимизированном освещении, или более простое последующее использование этого сигнала (путем явного исключения некоторых объектов как обрезанных, например, темной области, которая является совместно закодированным семантическим утверждением), и т.д. Можно, например, подсчитать, сколько значений кода желательно для определенной подобласти сцены (например, если она является темной и имеется не так уж много очень сложных пространственных текстур объекта), а затем разумно распределить некоторую область, например, [0-255]. Длина кодового слова, т.е. количество бит, которые нужно выделить в памяти в любом определении сигнала, а также смысл (яркости в любом «представлении сцены», например, стандартное пространство устройства отображения {16bit-defintion_gamma_1,0.1-5000nit}) теперь являются оптимально развязанными и управляемыми.

Алгоритмические компоненты, раскрытые в настоящем документе, могут быть (полностью или частично) реализованы на практике в виде аппаратных средств (например, частей интегральной схемы, специфических для приложения) или как программное обеспечение, работающее на специальном сигнальном цифровом процессоре, или на процессоре общего назначения и т.д. Они могут быть полуавтоматическими в том смысле, что по меньшей мере может или мог бы присутствовать некоторый ввод пользователя (например, на заводе, или ввод потребителя или другие человеческие вводы).

Из нашего раскрытия специалисту в данной области техники должно быть понятно, какие компоненты могут быть дополнительным улучшением и могут быть реализованы в комбинации с другими компонентами и как (дополнительные) стадии способов соответствуют подходящим аппаратным средствам, и наоборот. Тот факт, что некоторые компоненты настоящего изобретения раскрыты в определенном отношении друг к другу (например, на одном чертеже в определенной конфигурации), не означает, что другие конфигурации невозможны в качестве вариантов осуществления той же самой мысли изобретения, которая раскрыта в формуле изобретения настоящей заявки. Кроме того, тот факт, что по прагматическим причинам был описан только ограниченный спектр примеров, не означает, что другие варианты не могут подпадать под область охвата формулы изобретения. На самом деле, компоненты настоящего изобретения могут быть осуществлены в различных вариантах вдоль любой цепочки использования, например все варианты устройств на стороне создания, таких как кодер, могут быть подобными или же соответствовать соответствующим устройствам на потребительской стороне разобранной системы, например, декодеру, и наоборот. Некоторые компоненты вариантов осуществления могут быть закодированы как конкретный сигнал данных в сигнале для передачи, например, в применении, таком как техническая координации работы между различными компонентами изобретения, присутствующими в общей производственной цепочке, в любой технологии передачи между кодером и декодером, и т.д. Термин «устройство» в данной заявке используется в самом широком смысле, а именно как группа средств, позволяющих реализацию конкретной цели, и, следовательно, может, например, быть (небольшой частью) интегральной схемы, или специализированным устройством (например, устройством с устройством отображения), или частью сетевой системы и т.д. Термин «компоновка» или «система» также предназначен для использования в широком смысле, так что он может представлять собой, в частности, одно физическое приобретаемое устройство, часть устройства, коллекцию (части) взаимодействующих устройств и т.д.

Обозначение компьютерного программного продукта следует понимать как охватывающее любую физическую реализацию набора команд, позволяющего процессору общего или специального назначения после ряда шагов загрузки команд в процессор (которые могут включать в себя промежуточные стадии преобразования, например, перевод на промежуточный язык, а также на окончательный язык команд процессора) выполнять любые характерные функции изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, таком как, например, диск или лента, как данные, присутствующие в памяти, как данные, проходящие через сетевое подключение проводной или беспроводной связи, или как программный код на бумаге. Помимо программного кода, характеристические данные, необходимые для программы, также могут быть воплощены в виде компьютерного программного продукта. Такие данные могут (частично) поставляться любым образом.

Любой вариант осуществления настоящего изобретения, или любые данные, используемые в соответствии с любой философией настоящих вариантов осуществления, такие как видеоданные, также могут быть реализованы в виде сигналов на носителях данных, которые могут быть съемной памятью, такой как оптические диски, флэш-память, съемные жесткие диски, переносные устройства, записываемые через беспроводные средства связи, и т.д.

Некоторые из шагов, необходимых для работы любого представленного способа, могут уже присутствовать в функциональности процессора или любых вариантов осуществления устройства по настоящему изобретению вместо того, чтобы быть описанными в компьютерном программном продукте или любом блоке, устройстве или способе, описанном в настоящем документе (со спецификой вариантов осуществления настоящего изобретения), например, шаги ввода и вывода данных, широкоизвестные обычно включаемые этапы обработки, такие как управление стандартным устройством отображения, и т.д. Также желательно иметь защиту результирующих продуктов и аналогичных результатов, таких как, например, специфические новые сигналы, используемые на любой стадии способов или в любой подчасти устройств, а также любые новые способы использования таких сигналов, или любые связанные с этим способы.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Там, где специалист в данной области техники может легко обнаружить связь приведенных примеров с другими областями, охватываемыми формулой изобретения, для краткости все эти варианты не упоминаются углубленно. Помимо комбинаций элементов настоящего изобретения, перечисленных в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть воплощена в одном специализированном элементе.

Любое ссылочное обозначение в скобках в формуле изобретения не предназначено для ограничения формулы изобретения, равно как и любой конкретный символ на чертежах. Термин «включающий в себя» не исключает наличия элементов или аспектов, не указанных в формуле изобретения. Указание элемента в единственном числе не исключает наличия множества таких элементов.

Изобретение относится к технологиям кодирования/декодирования изображений расширенного динамического диапазона (HDR). Техническим результатом является повышение эффективности кодирования/декодирования изображений с расширенным динамическим диапазоном, за счет представления LDR изображения внутри HDR изображения в одном кадре. Предложен блок кодирования изображений, выполненный с возможностью кодирования изображения расширенного динамического диапазона. Блок кодирования изображений содержит селектор LDR, селектор HDR, блок кодового отображения. Селектор LDR осуществляет идентификацию низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона. HDR селектор осуществляет выбор по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя, главным образом, яркости, не охватываемые яркостями низкого динамического диапазона (R_Norml_LDR). 6 н. и 9 з.п. ф-лы, 7 ил.

1. Блок (301) кодирования изображений, выполненный с возможностью кодирования изображения расширенного динамического диапазона (IM_HDR_in), содержащий:
- селектор (311) LDR для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона, причем низкий динамический диапазон яркостей (R_Norml_LDR) или соответствующий диапазон значений кодов сигнала яркости (R_LDR) является настолько большим, что информация изображения, кодированная в нем, применима для визуализации LDR;
- селектор (313) HDR для выбора по меньшей мере одного дополняющего диапазона (R_above) внутри полного диапазона яркостей (Range_HDR), содержащего главным образом яркости, не охватываемые низким динамическим диапазоном яркостей (R_Norml_LDR);
- блок (315) кодового отображения, выполненный с возможностью кодирования в первом изображении (Im_1*), имеющем по меньшей мере компоненту сигнала яркости, содержащую N-битовые кодовые слова, яркости пикселей изображения расширенного динамического диапазона (IM_HDR_in), попадающие в низкий динамический диапазон яркостей (R_Norml_LDR), в значения кодов сигнала яркости (Y_out) в соответствии с первым отображением (CMAP_L), а яркости пикселей изображения расширенного динамического диапазона (IM_HDR_in), попадающие в упомянутый по меньшей мере один дополняющий диапазон (R_above), в значения кодов сигнала яркости (Y_out) в соответствии со вторым отображением (CMAP_H), в котором первое и второе отображения отображаются на разъединенные поддиапазоны диапазона (RcTot_Im1) значений кодов сигнала яркости первого изображения.

2. Блок кодирования изображений по п. 1, содержащий блок (312) преобразования, выполненный с возможностью применения колориметрического преобразования к цветам пикселей изображения расширенного динамического диапазона (IM_HDR_in), имеющего яркости, попадающие в низкий динамический диапазон яркостей (R_Norml_LDR), для получения модифицированных яркостей пикселей (L*) для этих цветов пикселей.

3. Блок кодирования изображений по любому из предшествующих пунктов, в котором селектор (311) LDR содержит блок (340) идентификации для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) полного диапазона яркостей (Range_HDR) на основе LDR-градуированного входного изображения (GRD_LDR_in) и/или метаданных, характеризующих это LDR-градуированное изображение (TM_G1(gl,gh)).

4. Блок кодирования изображений по п. 3, в котором блок (315) кодового отображения выполнен с возможностью отображения яркостей пикселей изображения расширенного динамического диапазона (IM_HDR_in), попадающих в низкий динамический диапазон яркостей (R_Norml_LDR) в соответствии со значениями цвета пикселей, кодированными в LDR-градуированном изображении (GRD_LDR_in).

5. Блок кодирования изображений по любому из пп. 1 или 2, содержащий средство (320) форматирования сигнала изображения, выполненное с возможностью вывода в дополнение к первому изображению (Im_1*) по меньшей мере одного из характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4).

6. Способ кодирования изображений расширенного динамического диапазона (IM_HDR_in), содержащий:
- выбор низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) внутри полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона, причем низкий динамический диапазон яркостей (R_Norml_LDR) или соответствующий диапазон значений кодов сигнала яркости (R_LDR) является настолько большим, что информация изображения, кодированная в нем, применима для визуализации LDR;
- выбор по меньшей мере одного дополняющего диапазона (R_above) внутри полного диапазона яркостей (Range_HDR), содержащего главным образом яркости, не охватываемые низким динамическим диапазоном яркостей (R_Norml_LDR);
- отображение на коды сигнала яркости первого изображения (Im_1*), имеющего по меньшей мере компоненту сигнала яркости, содержащую N-битовые кодовые слова, яркостей пикселей изображения расширенного динамического диапазона (IM_HDR_in), попадающих в низкий динамический диапазон яркостей (R_Norml_LDR) в значения кодов сигнала яркости (Y_out) в соответствии с первым отображением (CMAP_L), и яркостей пикселей изображения расширенного динамического диапазона (IM_HDR_in), попадающих в упомянутый по меньшей мере один дополняющий диапазон (R_above) в значения кодов сигнала яркости (Y_out) в соответствии со вторым отображением (CMAP_H), в котором первое и второе отображения отображаются на разъединенные поддиапазоны диапазона значений кодов сигнала яркости первого изображения (RcTot_Im1).

7. Способ кодирования изображений расширенного динамического диапазона (IM_HDR-in) по п. 6, содержащий выполнение градации цвета для пикселей, имеющих яркости в низком динамическом диапазоне яркостей (R_Norml_LDR).

8. Блок (651) декодирования изображений, выполненный с возможностью получения изображения расширенного динамического диапазона (IM_HDR_out) из кодировки изображения расширенного динамического диапазона (Im_1*), содержащий:
- блок (656) восстановления LDR, выполненный с возможностью определения низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) внутри полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона, причем низкий динамический диапазон яркостей (R_Norml_LDR) или соответствующий диапазон значений кодов сигнала яркости (R_LDR) является настолько большим, что информация изображения, кодированная в нем, применима для визуализации LDR, и выполненный с возможностью получения изображения низкого динамического диапазона (Im_LDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*);
- блок (655) восстановления HDR, выполненный с возможностью определения по меньшей мере одного дополняющего диапазона (R_above) внутри полного диапазона яркостей (Range_HDR), содержащего главным образом яркости, не охватываемые низким динамическим диапазоном яркостей (R_Norml_LDR), и выполненный с возможностью определения по меньшей мере одного субизображения расширенного динамического диапазона (ImP_HDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*), соответствующего по меньшей мере одному дополняющему диапазону (R_above);
- блок (657) составления изображения, выполненный с возможностью составления изображения расширенного динамического диапазона (IM_HDR_out) из изображения низкого динамического диапазона (Im_LDR_o) и упомянутого по меньшей мере одного субизображения расширенного динамического диапазона (ImP_HDR_o), в результате чего изображение низкого динамического диапазона (Im_LDR_o) и упомянутое по меньшей мере одно субизображение расширенного динамического диапазона (ImP_HDR_o) в значительной степени покрывают неперекрывающиеся поддиапазоны яркости изображения расширенного динамического диапазона (IM_HDR_out).

9. Блок (651) декодирования изображений по п. 8, содержащий блок (661) идентификации характеристического значения серого, выполненный с возможностью извлечения из входных метаданных (MET) по меньшей мере одного из характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4).

10. Блок (651) декодирования изображений по п. 9, в котором блок (656) восстановления LDR выполнен с возможностью определения низкого динамического диапазона яркостей (R_Norml_LDR) на основе характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4).

11. Блок (651) декодирования изображений по п.9, содержащий блок (658) отображения тона, выполненный с возможностью преобразования цветов пикселей, по меньшей мере когда их яркости или сигналы яркости попадают в поддиапазон яркостей или сигналов яркости изображения расширенного динамического диапазона (IM_HDR_out), как определено характеристическим уровнем яркости (gt4) или характеристическим значением кода сигнала яркости (gC4), соответственно.

12. Блок (651) декодирования изображений по п. 11, в котором блок (658) отображения тона выполнен с возможностью применения преобразования осветления по меньшей мере цветов пикселей, имеющих яркости или сигналы яркости ниже некоторого порогового значения, предпочтительно в зависимости от измерения окружающего освещения (Surr_IL) светочувствительным датчиком (688).

13. Способ декодирования изображений для получения изображения расширенного динамического диапазона (IM_HDR_out) из кодировки изображения расширенного динамического диапазона (Im_1*), содержащий:
- определение низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кода сигнала яркости (R_LDR) внутри полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона, причем низкий динамический диапазон яркостей (R_Norml_LDR) или соответствующий диапазон значений кодов сигнала яркости (R_LDR) является настолько большим, что информация изображения, кодированная в нем, применима для визуализации LDR, и получение изображения низкого динамического диапазона (Im_LDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*);
- определение по меньшей мере одного дополняющего диапазона (R_above) внутри полного диапазона яркостей (Range_HDR), содержащего главным образом яркости, не охватываемые низким динамическим диапазоном яркостей (R_Norml_LDR), и определение по меньшей мере одного субизображения расширенного динамического диапазона (ImP_HDR_o) из кодировки изображения расширенного динамического диапазона (Im_1*), соответствующего по меньшей мере одному дополняющему диапазону (R_above);
- составление изображения расширенного динамического диапазона (IM_HDR_out) из изображения низкого динамического диапазона (Im_LDR_o) и упомянутого по меньшей мере одного субизображения расширенного динамического диапазона (ImP_HDR_o), в результате чего изображение низкого динамического диапазона (Im_LDR_o) и упомянутое по меньшей мере одно субизображение расширенного динамического диапазона (ImP_HDR_o) в значительной степени покрывают неперекрывающиеся поддиапазоны яркости изображения расширенного динамического диапазона (IM_HDR_out).

14. Носитель данных, включающий в себя компьютерный программный продукт, содержащий программно-кодированный способ по п. 6, позволяющий процессору реализовать его.

15. Носитель данных, включающий в себя компьютерный программный продукт, содержащий программно-кодированный способ по п. 13, позволяющий процессору реализовать его.