ОПТИМИЗАЦИЯ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ ДЛЯ ОПРЕДЕЛЕННЫХ ДИСПЛЕЕВ Российский патент 2019 года по МПК H04N9/68 G06T5/00 

Изобретение относится к способам и устройствам для оптимизации цветов пикселов и, в частности, их яркостей, при входном кодировании изображения сцены с расширенным динамическим диапазоном (HDR), в частности, видео, содержащего определенное число последовательных HDR-изображений, для получения корректного художественного визуального представления для дисплея с конкретной пиковой яркостью дисплея по желанию цветокорректировщика, создающего контент изображений, причем визуальное представление соответствует опорному визуальному HDR-представлению HDR-изображения, градуированного для опорного дисплея, например, настроечного эталонного дисплея с высокой пиковой яркостью (PB), когда оптимизированное изображение визуализируется на любом фактическом дисплее с пиковой яркостью (PB_D), не равной пиковой яркости опорного дисплея, согласно которому проведена градуировка HDR-изображения. Читатели должны понимать, что соответствующее визуальное представление не обязательно означает визуальное представление, которое является совершенно идентичным для зрителя, поскольку дисплеи с более низкой пиковой яркостью (или динамическим диапазоном) никогда не могут точно фактически выполнять визуализацию всех визуальных представлений изображения для визуализации на дисплее с более высокой пиковой яркостью, а вместо этого возникает некоторый компромисс в цветах по меньшей мере некоторых пикселов объектов в отношении того, по каким настройкам цвета приведенная ниже технология позволяет проводить градуировку. При этом кодированное целевое изображение и фактически визуализированное изображение должны выглядеть в достаточной степени аналогичными. Описываются способы и устройства на стороне кодирования, которые указывают такое визуальное представление, а также устройства на приемной стороне, такие как, например, дисплей или телевизионный приемник, выполненные с возможностью вычислять и визуализировать оптимизированное визуальное представление, а также способы и технологии, чтобы передавать информацию, используемую для управления оптимизацией посредством выполнения цветового преобразования.

УРОВЕНЬ ТЕХНИКИ

Недавно несколько компаний начали исследование и публикацию (WO2007082562, способ с двумя изображениями с остаточным слоем, WO2005104035, в определенной степени аналогичный способ, в котором можно сформировать изображение на основе коэффициента для повышения яркости повторной градуировки с узким динамическим диапазоном (LDR) HDR-сцены) в отношении того, как они могут кодировать по меньшей мере одно неподвижное изображение или видео из нескольких, так называемых изображений с расширенным динамическим диапазоном, причем эти HDR-изображения отличаются тем, что они обычно кодируют или могут кодировать яркости по меньшей мере некоторых объектов по меньшей мере в 1000 нит, а также и маленькие яркости, например, ниже 0,1 нит, и имеют достаточное качество, чтобы визуализироваться на так называемых HDR-дисплеях, которые имеют пиковые яркости (представляющие собой яркость белого цвета дисплея, т.е. самого яркого цвета для визуализации) типично выше 800 нит или даже 1000 нит и потенциально, например, в 2000 или 5000 или даже 10000 нит. Конечно, эти изображения, скажем, фильма могут и также должны показываться на LDR-дисплее с пиковой яркостью типично около 100 нит, например, когда зритель хочет продолжать просмотр кино на своем портативном дисплее, и типично яркости и/или цвета нескольких различных объектов необходимы при кодировании LDR- в сравнении с HDR-изображениями (например, относительная яркость в диапазоне [0,1] объекта в HDR-градуировке, возможно, должна быть гораздо ниже чем в LDR-градуированном изображении, поскольку оно должно отображаться с гораздо более яркой задней подсветкой). Также, разумеется, что кодирование видео может иметь дополнительные требования по сравнению с кодированием неподвижных изображений, например, чтобы обеспечивать возможность дешевой обработки в режиме реального времени и т.д.

Таким образом, типично создатель контента создает версию или визуальное представление HDR-изображения, которая типично представляет собой эталонную градуировку (начальную точку, из которой могут создаваться дополнительные градуировки, которые представляют собой визуальные представления на идентичной сцене, когда следует визуализировать на дисплеях с различными характеристиками пиковой яркости, и которая типично проводится посредством предоставления различных объектов в изображении прямо из хороших художественных цветов камеры, чтобы передавать, например, некоторое настроение). Иными словами, под "градуировкой" указывается то, что изображение индивидуально адаптировано человеком-цветокорректировщиком так, что цвета объектов выглядят художественно корректными для корректировщика (например, он может создавать темный подвал, в котором объекты в тенях являются едва видимыми, при этом также имеется одна лампа на потолке, которая ярко светится, и эти различные визуализированные яркости, возможно, должны интеллектуально координироваться, чтобы предоставлять зрителю оптимальное восприятие) для данного намеченного сценария визуализации, и ниже изучаются технические компоненты для обеспечения такого процесса градуировки, дающего в результате градуированное изображение, также называемого "градуировкой", с учетом ограничений HDR-кодирования. Кроме того, затем корректировщик типично также создает традиционное LDR-изображение (также называемое "стандартным SDR-изображением"), которое может использоваться для того, чтобы обслуживать традиционные LDR-дисплеи, которые по-прежнему могут эксплуатироваться в течение длительного времени. Они могут передаваться альтернативно в качестве отдельных передач изображений, например, по сети видеосвязи, такой как Интернет или DVB-T-канал. Альтернативно, WO2007082562 и WO2005104035 изучают способы масштабируемого кодирования, в которых HDR-изображение является восстанавливаемым на приемной стороне из LDR-изображения с некоторой тональной компрессии для него и остаточного HDR-изображения, чтобы достаточно приближаться к HDR-оригиналу. Такой масштабируемое кодирование затем может совместно сохраняться на изделии памяти, таком как, например, полупроводниковая карта памяти, и устройство на приемной стороне, например, телевизионный приемник или абонентская приставка (STB), после этого может определять то, что представляет собой наиболее подходящую версию для ее соединенного телевизионного приемника.

Иными словами, в одном секторе памяти сохраняются базовые LDR-изображения, а в другом секторе - HDR-изображения или корректирующие изображения, такие как изображение для повышения яркости, из которого можно, начиная с соответствующих LDR-изображений в течение одинаковых моментов времени, вычислять HDR-изображения. Например, для по телевизионных приемников вплоть до 700 нит любой модуль, который проводит вычисление конечного изображения, которое должно визуализироваться на телевизионном приемнике, может использовать LDR- градуированное изображение, а выше 700 нит он может использовать HDR-изображение (например, посредством опрашивания того, какой дисплей с какой PB соединен, или знания того, если дисплей непосредственно выполняет наилучший выбор изображения).

Хотя это позволяет создавать две художественно идеальных опорных градуировок HDR-сцены для двух конкретных сценариев визуализации, например, для телевизионного приемника на 5000 нит и для LDR (этот стандарт имеет PB в 100 нит), немного исследований проведено и опубликовано относительно того, как можно обрабатывать промежуточные телевизионные приемники с пиковой яркостью между пиковыми яркостями, соответствующими двум изображениям художественной градуировки, которые могут извлекаться или определяться на приемной стороне данных изображений (причем соответствующая пиковая яркость кодирования задается как подлежащая визуализации яркость на опорном дисплее, когда вводится максимальный код, например, 1023 для 10 битов, например, 5000 нит для градуированного визуального представления на 5000 нит), которые несомненно скоро также появятся на рынке, например, телевизионный приемник на 1800 нит. Заявитель провел эксперименты, которые показывают, что для того, чтобы иметь реально хорошее убедительное художественное визуальное представление для любого промежуточного или внедиапазонного дисплея (например, получать визуальное представление на 50 нит, которое является ниже наименьшей градуировки, которая типично может составлять 100 нит), ни HDR, ни LDR-изображение не являются реально хорошими для этого дисплея с промежуточной пиковой яркостью (который ниже называется "дисплеем со средним динамическим диапазоном (MDR)"). Кроме того, можно считать, что потребитель имеет фактический телевизионный приемник или другой дисплей, присутствующий в гостиной, которой ярче пиковой яркости опорного дисплея, в качестве оптимального намеченного дисплея для градуировки принимаемого HDR-изображения, т.е., например, 10000 нит в сравнении с 5000 нит, и в таком случае также может быть желательным иметь улучшенную градуировку для этих дисплеев с более высокой яркостью, несмотря на тот факт, что создатель контента считает, что необходимо указывать его визуальное представление только в HDR-сцене для дисплеев с PB вплоть до 5000 нит. Например, заявитель обнаружил, что в критических сценах, например, лицо пользователя в темноте может становиться слишком темным при использовании HDR-изображения вследствие неуместно высокой контрастности этого HDR-изображения для визуализации дисплея с более низкой пиковой яркостью, при этом LDR-изображение является слишком ярким во многих местах, радикально изменяя настроение, например, ночной сцены. Фиг. 14 показывает пример типичной обработки изображений HDR-сцены, которую хочется иметь возможность достигать. 1401 показывает исходную сцену или по меньшей мере то, как она аппроксимирована в эталонной HDR-градуировке (поскольку типично солнце должно кодироваться для визуализации не на дисплее при исходной яркости в 1 миллиард нит, а вместо этого, в качестве, например, пикселов на 5000 нит). Предусмотрена сцена, которая имеет некоторые объекты внутри помещения, которые являются относительно более темными, но типично не являются реально темными, например, между 1 и 200 нит и некоторые солнечные уличные объекты, видимые через окно, такие как дом, которые на практике могут иметь яркости в несколько тысяч нит, но которые для ночного просмотра телевизора внутри помещения лучше визуализируются около, например, 1000 нит. В первой градуировке, которая называется "HDR-градуировкой с пиковой яркостью первого изображения", в этом простом примере, PB_IM1, соответствующей пиковой HDR-яркости PB_H, например, в 5000 нит, выявлено, что полезно позиционировать объекты внутри помещения относительно низко на оси относительной яркости (так что на оси абсолютной яркости, они должны визуализироваться при яркостях около в 30 нит), а внешние объекты должны находиться примерно в районе или выше середины диапазона яркости, в зависимости от предпочтений корректировщика для этого снимка, например, в фильме или широковещательной программе и т.д. (в случае широковещательной передачи вживую, градуировка может заключаться просто в настройке только очень небольшого числа параметров перед выходом в эфир, например, с использованием в основном фиксированного картирования между визуальным HDR- и LDR-представлением, но добавления, например, одного параметра gpm для обеспечения настройки дисплея). То, какие фактические коды соответствуют требуемым яркостям, зависит не только от PB кодирования, но также и от формы используемой функции выделения кода, которая также иногда называется "функцией оптоэлектронного преобразования или перехода (OECF; OETF)" и которая для HDR-кодирования типично имеет крутую форму, более крутую, чем гамма 1/2,2-функции LDR (специалисты в данной области техники должны понимать, что можно формулировать технологии в любом представлении, так что если для простоты ниже поясняются принципы в представлениях яркости по меньшей мере некоторые этапы могут быть с необходимыми изменениями применяться в сигналах яркости, т.е., например, в 10-битовых кодированиях яркостей).

Требуется соответствующее визуальное LDR-представление (в этом простом примере называемое "IM_GRAD_LXDR"), для которого, конечно, все различные объекты с большим динамическим диапазоном яркости должны быть сжаты до меньшего динамического диапазона, соответствующего PB в 100 нит. Корректировщик должен задавать стратегии цветового преобразования, типично простые функции для того, чтобы поддерживать простыми по меньшей мере в течение ближайших лет интегральные схемы видеосвязи, которые задают то, как повторно позиционировать яркости всех объектов (например, как можно видеть, следует позиционировать дом близко к максимуму диапазона яркости и соответствующего диапазона кода, чтобы поддерживать его выглядящим достаточно ярким по сравнению с обстановкой внутри помещения, что в конкретных вариантах осуществления может осуществляться, например, с помощью тональной компрессии с мягким отсечением). Именно это указывается на стороне создания контента, на устройстве 1402 градуировки, а устройство использования контента, возможно, должно определять, на основе информации градированных визуальных представлений (S_im), которые оно принимает по некоторому носителю (1403) передачи изображений, то, какие оптимальные яркости различные объекты должны иметь для фактического дисплея, имеющего пиковую яркость, которая не равна пиковой яркости, соответствующей любой из типично двух принимаемых артистических градуировок (или по меньшей мере данным этих изображений). В этом примере, это может предусматривать различные стратегии. Например, темные объекты внутри помещения могут хорошо визуализироваться на дисплеях с любой PB, даже в 100 нит, в силу чего оптимизация цветов позволяет поддерживать их равными или примерно равными 30 нит для любого намеченного PB. Дом, возможно, должен получать некоторую подлежащую визуализации яркость между яркостью LDR- и HDR-градуировок, а солнцу можно придавать самый яркий возможный цвет (т.е. PB) на любом соединенном или подлежащем соединению дисплее.

Далее все равно следует подчеркнуть, как должно становиться очевидным ниже, то, что разработана стратегия, которая позволяет удивительно кодировать HDR-сцену (именно поэтому вводится формулировка "сцена"), фактически в качестве LDR-изображения (+ метаданных цветового преобразования), так что хотя для простоты понимания, различные принципы и технические метаструктуры могут быть пояснены в сценарии, в котором Im_1, изображение, которое должно передаваться в приемную сторону, представляет собой HDR-изображение, которое должно повторно градуироваться в LDR-изображение, идентичные принципы также являются применимыми и должны использоваться в других важных рыночных сценариях, в случае если Im_1 фактически представляет собой LDR-градуировку (которая может на приемной стороне повторно градуироваться в HDR-изображение или в любое изображение со средним динамическим диапазоном (MDR), или в любое изображение за пределами диапазона передаваемых LDR- и HDR-градуировок).

Заявитель обобщенно изучил принцип формирования различных дополнительных градуировок на основе доступных градуированных изображений из документа WO2012127401, который излагает основные принципы, необходимые в настройке дисплея, требуемой для всех или по меньшей мере большего класса фактических вариантов осуществления. Тем не менее, по-прежнему представляет собой проблему то, как придумывать простые разновидности кодирования, которые соответствуют практическим ограничениям, например, по сложности IC, работоспособности корректировщика и т.д., что авторы изобретения могут осуществлять после фиксации некоторых общих базовых принципов для такой практической обработки HDR-изображений. Другой документ предшествующего уровня техники, который является только вскользь релевантным, представляет собой WO2013/046095, который просто изучает то, что может быть предусмотрено несколько различных видов входящего HDR-кодирования (т.е. с различными значениями PB_H, например, разновидность на 5000 нит или только на 2000 нит исходной HDR-сцены, которая захвачена камерой) и различных выходных дисплеев, которые должны обслуживаться с различными значениями пиковой яркости (PB_D) дисплея, но он также просто изучает необходимую техническую инфраструктуру без углубления в подробности, изложенные ниже. Соответственно, по-прежнему имеется проблема того, как включать совпадающую простую технологию для предоставления возможности создателю контента регулировать художественно оптимизированную градуировку по меньшей мере до одного фактического текущего дисплея на приемной стороне.

Презентация заявителя, выполненная в PowerPoint, для конференции по стандартизации DVB в апреле 2014 года "Leon van de Kerkhof: High dynamic range, introducing Philips' solution" дает обзор хорошего уровня относительно технологии обработки HDR заявителя и необходимости иметь возможность настройки дисплея с тем, чтобы иметь визуализацию наилучшего качества любого HDR-изображения для любых конкретных характеристик яркости дисплея, которые может иметь дисплей какого-либо зрителя, тем не менее, без предоставления подробностей относительно того, как должна далее выполняться такая настройка дисплея.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В частности, разработана очень полезная технология преобразования яркости (по меньшей мере преобразование яркости, при котором игнорируется цветовая размерность красноты и синевы в настоящий момент), которая основана на умножении. Если обрабатываются линейные цветовые RGB-сигналы, можно повышать их яркость (посредством умножения компонентов на один результирующий множитель gt) аналогично тому, как можно повышать яркости этих цветов. Иными словами, создатель контента затем может указывать свои пожелания для стратегии преобразования яркости, которая может формироваться из различных стратегий преобразования, например, общего повышения яркости, функции (CC) подстройки произвольной формы и т.д. Разумеется и безусловно для настоящих технологий, что требуется только одна такая функциональная спецификация, в некоторых вариантах осуществления даже для всех возможных яркостей входного изображения, и если она называется "CC", она также может представлять собой некоторую другую функцию.

Поскольку это не является общеизвестным, принцип поясняется на фиг. 16. Предположим, что имеется сигмоидальная функция для того, чтобы преобразовывать любую возможную входную яркость Y_in (которая соответствует коду сигнала яркости принимаемого и подлежащего обработке входного изображения Im_in, например, 950) в значение выходной яркости, которое для простоты также предполагается нормализованным значением между 0,0 и 1,0. В таком случае можно записывать эту функцию в качестве умножения, которое может извлекаться по сравнению с унитарным преобразованием (т.е. диагональю). Если необходимо преобразовывать, например, HDR Im_in в себя, то должно применяться унитарное преобразование. Если желательно преобразовывать относительные HDR-яркости в относительные LDR-яркости (или яркости вкратце), можно применять сигмоидальную функцию. При этом можно эквивалентно умножать это значение Y_in на коэффициент g правой кривой. Такая стратегия умножения относительно упрощает HDR-технологию, например, с каскадированием различных требуемых преобразований, но также, что является предметом этой заявки, сценарии настройки дисплея, чтобы добиваться оптимально выглядящего изображения, соответствующего большей частью эталонному визуальному HDR-представлению, для любого фактически соединенного дисплея.

Таким образом, в качестве практического способа кодирования HDR-изображений (и фактически одновременно LDR-градуированного визуального представления, применимого для прямого отображения на унаследованных LDR-дисплеях) заявитель изобрел систему, которая сохраняет (или передает) только одно из HDR- и LDR-изображения в качестве основного изображения, которое фактически кодируется согласно классическим технологиям сжатия, т.е. содержит текстуру пиксельного цвета захваченных объектов HDR-сцены, т.е. оно содержит геометрическую композицию всех форм объектов и некоторую кодификацию текстур в них и предоставляет возможность любой требуемой визуализации или соответствующей настройки цвета для того, чтобы восстанавливать этот геометрический аспект изображений. Кроме того, дополнительно, кодификация изображений HDR-сцены содержит по меньшей мере одну (и типично с учетом градуировки затрат зачастую ровно одну) другую градуировку, которая типично кодируется не в качестве второго изображения, а в качестве (типично ограниченного, поскольку IC декодирования должны понимать и реализовывать все цветовые преобразования) набора функциональных преобразований для пиксельных цветов основного изображения. Таким образом, если основное изображение (Im_in) представляет собой HDR-изображение (например, опорное для пиковой яркости 5000 нит), функции (или алгоритмы) цветового преобразования должны обеспечивать вычисление из него LDR-изображения (типично в качестве стандартизированного SDR на 100 нит). Кроме того, специалисты в данной области техники должны знать, как можно легко кодифицировать такое преобразование с максимально желательным небольшим числом битов, например, функция с линейной первой частью, и затем изгибающаяся часть к (1,0, 1,0) может кодироваться посредством действительнозначного или другого параметра, обеспечивающего наклон (черный наклон) и точку остановки линейной части и независимо от параметров, требуемых для того, чтобы задавать форму верхней части.

Фиг. 1 предоставляет типичный, но при этом неограничивающий иллюстративный возможный вариант осуществления такого цветового преобразования и соответствующего кодирования на основе преобразования (по меньшей мере одной) дополнительной градуировки, который, как должны понимать специалисты в данной области техники, не является единственной системой, с которой можно использовать приведенные ниже варианты осуществления.

В этом примере, предполагается, что HDR-изображение кодировано как изображение текстуры (и принимается в качестве Im_in), а LDR-градуировка может составляться из него на любой приемной стороне видео посредством применения цветовых преобразований к пиксельным цветам. Тем не менее, идентичное техническое обоснование применяется, например, при восстановлении HDR-изображения на основе основного изображения, которое представляет собой LDR-изображение, т.е. подходящее для прямой визуализации на LDR-дисплее, т.е. при визуализации на LDR-дисплее, показывающем надлежащие яркости и контрастности для различных объектов в изображении с учетом ограничения пиковой яркости LDR-дисплея. В этом случае, цветовое преобразование должно задавать HDR-изображение из LDR-изображение. Следует отметить, что в некоторых вариантах осуществления (хотя не обязательно) порядок модулей обработки может быть изменен на противоположный в кодере и декодере, например, когда кодер снижает динамический диапазон и кодирует основное изображение в качестве LDR-изображения, в таком случае порядок обработки яркости (или сигналов яркости) может быть изменен на противоположный при восстановлении на стороне декодера HDR- градуировки из соответствующего основного LDR-изображения, т.е. применении сначала пользовательской кривой, а затем регулировании экспозиции модуля 110, применяемом в обратном направлении, и т.д.

Для целей пояснения теперь предположим, что устройство 201 цветового преобразования является частью любого приемного устройства (которое может представлять собой телевизионный приемник, компьютер, мобильный телефон, внутренний сервер цифрового кинотеатра, кабину для просмотра в диспетчерской системы безопасности и т.д.), но на стороне кодирования в любом устройстве кодирования или транскодирования могут присутствовать идентичные технологические компоненты, чтобы проверять то, что является осуществимым и может кодироваться для передачи. Сигнал изображения или, более типично, видеосигнал S_im принимается через ввод 103, соединяемый с различными источниками изображений, такими как, например, считывающее BD-устройство, антенна, Интернет-соединение и т.д. Видеосигнал S_im содержит, с одной стороны, изображение (или видео из нескольких изображений для различных моментов времени) пикселов Im_in с входными цветами и с другой стороны метаданными MET, которые могут содержать различные данные, но в числе прочего данные для уникального составления на приемной стороне функций цветового преобразования, возможно некоторые описательные данные, связанные, например, с тем, до какой пиковой яркости градуируется входное изображение, и независимо от того, что требуется для того, чтобы обеспечивать различные приведенные ниже варианты осуществления. Кодирование видеоизображений типично может выполняться в стратегии MPEG-кодирования, например, существующего HEVC MPEG, т.е. кодирования на основе DCT пиксельных YCbCr-цветов, поскольку кодирование визуального представления на основе динамического диапазона посредством технологии повторной градуировки на основе цветового преобразования является практически независимым от фактически используемой стратегии сжатия в части сжатия, которая отслеживает подходящее форматирование изображений для хранения или передачи. Таким образом, хотя различные варианты осуществления изобретения могут продолжать работать для различных других определений входных цветов, таких как, например, преимущественно Yuv, в этом примере, первый цветовой преобразователь 104 выполненный с возможностью преобразовывать YCbCr-представление в линейное RGB-представление. Второй цветовой преобразователь 105 может выполнять преобразование из первого RGB-представления во второе. Это обусловлено тем, что цветокорректировщик может выполнять градуировку и наблюдать то, что происходит в первом цветовом пространстве, скажем, например, Rec. 709, при этом данные изображений кодируются согласно второму цветовому пространству. Например, можно использовать основные цвета из Набора P3-инициатив по работе цифровых кинотеатров: красный цвет=(0,68, 0,32), зеленый цвет=(0,265, 0,69), синий цвет=(0,15, 0,06), белый цвет=(0,314, 0,351). Альтернативно, можно кодировать в недавнем цветовом формате Rec. 2020 и т.д. Например, изображение может передаваться в представлении цветов, заданном в цветовом пространстве Rec. 2020, но корректировщик выполняет свою цветокоррекцию в цветовом DCI-P3-пространстве, что означает то, что приемные устройства сначала выполняют преобразование в цветовое P3-пространство до проведения всех цветовых преобразований, например, с тем чтобы получать LDR-градуировку из HDR-изображения, или наоборот. Поскольку корректировщик повторно градуирует свое HDR-изображение в LDR-изображение (при условии, что все значения нормализованы в [0,1]) в его цветовом пространстве градуировки, которое, как описано, например, представляет собой Rec. 709, до того, как математические операции повторно вычисляют градуировку на приемной стороне, второй цветовой преобразователь 105 преобразует в это цветовое пространство Rec. 709 (специалисты в данной области техники знают, что могут применяться различные стратегии преобразования, например, в некоторых случаях может использоваться относительное колориметрическое преобразование, или возможно, использована некоторая стратегия сжатия насыщенности, которая может инвертироваться и т.д.). После этого типично метаданные применяют стратегию оптимизации цветов, которая, как предполагается в этом простом практическом варианте осуществления, выполняется посредством процессора 106 цветонасыщенности. Могут быть различные причины для корректировщика, чтобы применять конкретную стратегию насыщенности (например, уменьшать насыщенность ярких цветов конкретным способом, чтобы заставлять их соответствовать в положении более высокой яркости в RGB-палитре, или увеличивать насыщенность цвета цветов, которые стали более темными вследствие HDR-LDR-преобразования и т.д.). Например, корректировщик может обнаруживать, что темно-синие цвета, скажем, ночной сцены в небе немного уменьшаются по насыщенности, и в силу этого он может уже предварительно увеличивать их насыщенность в линейном HDR-изображении до выполнения преобразования оптимизации яркости, чтобы получать визуальное LDR-представление (это, в частности, интересно, поскольку типичные варианты осуществления выполняют преобразования яркости, которые оставляют цветность цвета без изменений, т.е. затрагивают чисто аспект яркости цвета). В упрощенном примерном варианте осуществления, предполагается, что насыщенность является простым масштабированием для цветов (т.е. идентичной безотносительно их оттенка, яркости или начальной насыщенности), со значением s, которое считывается из передаваемых и принимаемых метаданных MET. В более простых вариантах осуществления, внимание акцентируется только на аспектах яркости цветовых преобразований, оставляя обработку цветов в качестве этого одного этапа предварительной обработки, но специалисты в данной области техники понимают, что другие стратегии насыщенности являются возможными и могут интеллектуально координироваться с обработкой яркости. Цвета теперь имеют свои корректные значения (R, G, B) для выполнения чистой обработки в направлении яркости.

Ключевое свойство таких вариантов осуществления для цветового преобразования, как показано на фиг. 1, заключается в том, что можно выполнять чистое масштабирование цветов (т.е. изменение только свойства цвета, которое является коррелятом яркости, т.е. любого показателя, который измеряет длину цветового вектора цвета при одновременном поддержании отношении цветовых компонентов, которые определяют цветность цвета, при этом математические операции цветового преобразования, конечно, могут быть осуществлены другим способом, например, для линейных RGB-компонентов, как показано), причем это цветовое преобразование можно, как пояснено, переформулировать в качестве преобразования масштабирования на основе общего кратного (с действительным числом g, например, 0,753 или любой его кодификацией, которая может преобразовываться в действительное число, например, INT(1000*g)) аналогично для трех цветовых компонентов. Это задает HDR-LDR-преобразование (либо аналогично, LDR-HDR-преобразование или преобразование любого первого градуированного изображения первого динамического диапазона в существенно отличающийся второй динамический диапазон, причем они отличаются по связанной пиковой яркости своего связанного опорного дисплея, т.е. по яркости, соответствующей максимальному коду в N-битовой кодификации, типично, по меньшей мере с коэффициентом 4, т.е. 2 остановки, или по меньшей мере с коэффициентом 1,5 или 2 и возможно еще несколько остановок) по меньшей мере в отношении аспектов яркости объектов изображения, что представляет собой доминирующую проблему в преобразованиях динамического диапазона.

В примере пояснения по фиг. 1, обработка заключается в следующем. Модуль 107 вычисления максимумов вычисляет для каждого пиксельного цвета то, какой из RGB-компонентов является наибольшим, например, компонент красного цвета составляет 0,7 (который называется "Rmax"). Он представляет собой показатель длины цветового вектора, т.е. вариант осуществления коррелята яркости. Модуль 102 преобразования яркости применяет последовательность преобразований к этому максимальному компоненту, причем кодификация этих преобразований принимается в метаданных MET, которые, в конечном счете, составляют функциональное преобразование полной яркости. Это преобразование кодифицирует то, как яркости, нормализованные в 1 из HDR-изображения, должны изменяться для того, чтобы получать LDR-изображение, имеющее художественно корректное градуированное визуальное LDR-представление. Например, типично применяются следующие преобразования, которые корректировщик на стороне кодирования/создания контента указывает как обеспечивающие хорошее визуальное LDR-представление, посредством градуировки в своем программном обеспечении для градуировки и щелчка кнопки сохранения в случае удовлетворенности визуальным LDR-представлением. Во-первых, умножитель 108 усилений умножает максимальный компонент (скажем, Rmax) на принимаемый коэффициент (gai) усиления, что составляет Rmax_1, различное значение между 0 и 1 для каждого пиксела (например, в некоторых вариантах осуществления, корректировщик может задавать от 70%-го уровня HDR-яркостей до 100%-й уровня LDR-яркостей или некоторую другую требуемую градуировку). Следует отметить, что обработка фактически выполняется максимум для трех цветовых компонентов, а не, например, для яркости цвета, несмотря на тот факт, что поведение при преобразовании яркости, возможно, передано. Затем модуль 109 применения степенных функций возводит текущий результат Rmax_1 в степень gam, причем это число gam снова считывается из принимаемых метаданных, что дает результат Rmax_2. Затем модуль 110 регулирования экспозиции применяет глобальное преобразование с модификацией экспозиции, к примеру, посредством применения следующего уравнения:

Rmax_3=ln((lg-1)*Rmax_2+1)/ln(lg), где lg снова является принимаемым оптимизированным корректировщиком числом, и ln является неперовым логарифмом с основанием 2,71, что составляет Rmax_4. Затем пользовательская кривая применяется посредством модуля 111 преобразования яркости, составляет Rmax_4=CC(Rmax_3). Иными словами, эта кривая может передаваться, например, в качестве числа (скажем, 6) характеристических точек (пар координат входного сигнала яркости/выходного сигнала яркости), причем в промежутке промежуточные точки могут вычисляться на приемной стороне посредством некоторой передаваемой или предварительно согласованной стратегии интерполяции (например, линейной интерполяции), и затем применяется эта функция: например, если Rmax_3=0,7, конкретная передаваемая функция составляет для этого значения Rmax_4=0,78. В завершение, формирователь 112 преобразования отображения преобразует согласно используемой гамме типичного LDR-дисплея (этот последний формирователь преобразования отображения также может быть необязательным для дисплеев, которые получают ввод в линейных координатах), т.е. типично обратной гамме Rec. 709. Специалисты в данной области техники понимают то, как эти уравнения могут считаться равными посредством эквивалентных стратегий, например, посредством формирования одной LUT, которая должна применяться ко всем возможным входным значениям max(R, G, B) в [0,1]. Следует понимать, что некоторые модули могут пропускаться, например, усиление gai может задаваться равным 1,0, что фактически удаляет его, поскольку оно имеет тождественную обработку в качестве результата. Конечно, также могут использоваться другие функции преобразования, например применение только пользовательской кривой, но исследование выявляет, что пример, кажется, представляет собой прагматический способ для корректировщиков, чтобы эффективно добиваться хорошего визуального LDR-представления. Для приведенных ниже вариантов осуществления важным является то, что можно составлять любую стратегию обработки яркости требуемым образом, при этом описанная стратегия просто является очень хорошей на практике.

Затем в завершение, общий коэффициент g умножения вычисляется посредством деления результата всех этих преобразований, т.е., например, f(Rmax), на максимум самих входных RGB-компонентов, т.е., например, Rmax. Этот коэффициент g вычисляется для того, чтобы иметь возможность представлять преобразование яркости в качестве стратегии умножения. Наконец, чтобы относительно получать требуемый выходной цвет и его требуемую LDR-яркость, масштабный умножитель 114 умножает входные RGB-значения или в этом примере, значения, получающиеся в результате (необязательной) обработки насыщенности (процессор 106 цветонасыщенности), на общий коэффициент g умножения, чтобы давать в результате корректные цвета с отрегулированной яркостью для всех объектов изображения или фактически всех пикселов изображений в этих объектах. Иными словами, в этом примере, это составляет LDR-градуированное визуальное представление в качестве линейного RGB-изображения, начиная с HDR-изображения, введенного в S_im, пиксельные цвета (R2, G2, B2) которого выводятся в выводе 115 изображений. Конечно, специалисты в данной области техники понимают, что в случае корректного колориметрического визуального представления для LDR-изображения, его цвета в таком случае по-прежнему могут кодироваться согласно любому принципу для дальнейшего использования, как и само изображение (например, одно приложение отправляет сигнал в формирователь сигналов управления для жидкокристаллических клапанов по шине из вычислительной IC, но другое приложение может отправлять изображение по HDMI-соединению в телевизионный приемник для визуализации, непосредственно или с дополнительной конкретной для производителя дисплеев обработкой подстройки, посредством чего потенциально некоторые дополнительные метаданные включены в передаваемый видеосигнал для инструкций по подстройке).

Теперь читатели должны ясно понимать важный дополнительный принцип технологии HDR-кодирования и использования. Выше с помощью фиг. 1 пояснено только то, как можно кодировать два визуальных представления различного динамического диапазона (т.е. с яркостями всех объектов, соответственно, координированными) HDR-сцены, т.е. то, как кодировать два исходных изображения, градуированные создателем контента. Кроме того, почему это сделано? Все просто, если имеется только один LDR-дисплей (на 100 нит) и, в частности, только один вид HDR-дисплея (например, на 5000 нит) в мире в помещениях различных зрителей контента. LDR-дисплей в таком случае должен отображать LDR- градуировку, а HDR-дисплей, независимо от того, что это было, должен отображать "HDR-градуировку". Это хорошо работает для пиковых яркостей отображения, которые умеренно отклоняются от пиковой яркости изображения, которое она принимает для визуализации, но вероятно не дает хорошие результаты для больших отклонений. В частности, то, какое изображение должен отображать дисплей на 1000 нит, изображение на 100 нит или изображение на 5000 нит. Теперь можно очень хорошо градуировать по меньшей мере еще одно изображение с помощью абсолютно идентичной технологии, как показано на фиг. 1, например, определять функции цветового преобразования для фактического вычисления выглядящей лучше всего градуировки для дисплеев с PB_D около в 1000 нит. Визуальное представление в пределах 500 нит или 2500 нит по-прежнему должно быть несоответствующим для по меньшей мере некоторых критических HDR-сцен (например, монстр в темноте может становиться слишком темным, чтобы его по-прежнему было видно, или с другой стороны, он может становиться нереалистично ярким, или контрастность другого монстра в сером тумане может становиться настолько низкой, что он становится невидимым, и т.д.). Во многих сценариях (и, в частности, в приложениях для широковещательной передачи в реальном времени), корректировщик может не отслеживать проведение третьей градуировки со вторыми функциями цветового преобразования в MET_TR2, и при этом он может даже не хотеть тратить много времени на детальное создание градуированного второго визуального представления (например, LDR из эталонного HDR). Следовательно, вводится такой принцип, что с одной стороны, известно очень много касательно фактической семантики HDR-сцены из просмотра двух градуировок, которые типично находятся на экстремальных концах, в отношении типичного предполагаемого использования, шкалы пиковых яркостей. Например, видно, что взрыв подвергается повышению яркости в HDR-сцене по сравнению с LDR-сценой, в которой нет многих доступных кодов выше кодов, требуемых для того, чтобы в достаточной степени визуализировать остальную часть сцены (или наоборот, видно, что взрыв подвергается снижению яркости в LDR по сравнению с его яркой впечатляющей версией в HDR-изображении). Это необязательно сообщает то, как следует повышать яркость взрыва для конкретной PB_D, например, то, должно повышение сразу начинаться активно или только для высококачественных HDR-дисплеев, например, выше PB в 2000 нит, но по меньшей мере известно, что для промежуточных градуировок (MDR) следует повышать яркость огненного шара взрыва. Теперь то, что требуется в зависимости от технологии, зависит от ситуации, такой как сложность типа HDR-сцены и критичность конкретного пользователя, сбалансированно с тем, что является стандартным в этой области применения, доступным временем и затратам и т.д. Принцип заключается в том, что приемная сторона, например, IC абонентской приставки или телевизионного приемника, может непосредственно извлекать другие необходимые градуировки (между принятыми двумя градуировками или даже за пределами этого диапазона), типично с некоторым дополнительными инструкциями со стороны создания, с метаданными, которые отличаются по своему характеру от цветовых преобразований, используемых для того, чтобы создавать фактическую вторую исходную градуировку, т.е. в качестве указываемого и готового исходного художественного материала, корректировщиком. Поскольку физико-технические требования для этой так называемой фазы настройки дисплея также должны отличаться. Следует отметить, что хотя описываются версии, в которых создатель фактически передает параметры, которые являются оптимальными для настоящей HDR-сцены, согласно своим конкретным желаниям, также выясняется то, что идентичные принципы могут применяться только на приемной стороне, например, когда приемное устройство выполняет анализ изображений, чтобы добиваться подходящего значения, например, gpr или gpm, параметра настройки дисплея. Для некоторых сцен, не настолько критически важно, сколько составляет конечная визуализированная яркость различных объектов изображения, например, свет в помещении на практике также может быть просто немного более ярким, и в силу этого свет внешнего мира, видимого через окно, может быть относительно более ярким или более тусклым. В таком случае, устройство или корректировщик может решать, с помощью очень простого технического инструментального средства, настраивать визуальное представление таким образом, что оно просто является немного более ярким (например, 3 унитарных шага для некоторого диапазона) по сравнению с тем, что должно получаться в результате опорного алгоритма для по меньшей мере некоторой части диапазона яркости. Для некоторых более критических сцен, корректировщик или изготовитель дисплеев, например, чтобы автоматически улучшать изображение или предоставлять пользователю более интеллектуальное влияющее на визуальное представление управление пользовательским интерфейсом, может хотеть более точное управление различными частями HDR-сцены (в конкретных различных диапазонах яркости, но в некоторых сценариях, например, может быть предусмотрена информация, обеспечивающая идентификацию конкретных объектов, и в этом случае может выполняться объектно-зависимая настройка дисплея), для различных поддиапазонов диапазона возможных пиковых яркостей дисплея, все, конечно, созвучно с типичными аппаратными ограничениями для этих видов технологии.

Поясненное ниже изобретение разрешает проблему, для такой общей обработки масштабного умножения, задающей колориметрический вид по меньшей мере двух градуированных изображений в том, что промежуточные градуировки ((полу)автоматически повторно градуированные визуальные представления со средним динамическим диапазоном (MDR)) для фактических дисплеев, которые должны соединяться и снабжаться оптимизированным изображением для визуализации, могут вычисляться на приемной стороне посредством устройства (201) цветового преобразования, чтобы вычислять результирующие цвета (R2, G2, B2) пикселов выходного изображения (IM_MDR) для дисплея с пиковой яркостью (PB_D) дисплея, начиная с входных цветов (R, G, B) пикселов входного изображения (Im_in), имеющих код сигнала максимальной яркости, соответствующий пиковой яркости (PB_IM1) первого изображения, которая отличается от пиковой яркости дисплея, отличающееся тем, что устройство цветового преобразования содержит:

- модуль (102) определения цветового преобразования, выполненный с возможностью определять цветовое преобразование (TMF; g) из данных (MET_1) спецификации обработки цветов, содержащих по меньшей мере одну функцию (CC) тональной компрессии для по меньшей мере диапазона пиксельных яркостей, принимаемых через ввод (116) метаданных, причем это цветовое преобразование указывает вычисление по меньшей мере некоторых пиксельных цветов изображения (IM_GRAD_LXDR), имеющего согласно своему коду сигнала максимальной яркости пиковую яркость (PB_IM2) второго изображения, которая отличается от пиковой яркости (PB_D) дисплея и пиковой яркости (PB_IM1) первого изображения, и посредством чего деление пиковой яркости первого изображения на пиковую яркость второго изображения составляет либо больше 2, либо меньше 1/2;

- модуль (200) определения коэффициентов масштабирования, выполненный с возможностью определять результирующий общий коэффициент (gt) умножения, содержащий:

- модуль (1303) определения показателей характеристик, выполненный с возможностью определять показатель для локализации положений пиковых яркостей дисплея между пиковой яркостью (PB_IM1) первого изображения и пиковой яркостью (PB_IM2) второго изображения и за пределами этого диапазона; и

- модуль (1310) определения результирующих множителей, выполненный с возможностью определять из пиковой яркости (PB_D) дисплея, показателя и цветового преобразования результирующий общий коэффициент (gt) умножения, и при этом устройство (201) цветового преобразования дополнительно содержит:

- масштабный умножитель (114), выполненный с возможностью умножать линейное представление RGB-цветов входных цветов на результирующий общий коэффициент (gt) умножения.

Примерный вариант осуществления вычисления результирующего общего коэффициента (gt) умножения, требуемого для вычисления результирующих цветов выходного изображения, содержит вычисление сначала отношения (gp): логарифма, во-первых, отношения пиковой яркости (PB_D) дисплея, в частности, соединенного дисплея, на котором можно визуализировать изображение(я), и опорной пиковой яркости (PB_IM1, например, PB_H), соответствующей входному изображению, деленного на логарифм отношения опорной пиковой яркости (PB_H) и пиковой яркости (PB_IM2, например, представляющей собой PB_L LDR-градуировки), соответствующей изображению (Im_LDR) с динамическим диапазоном яркости по меньшей мере на коэффициент 1,5 отличающимся от динамического диапазона яркости входного изображения, которое типично является второй принимаемой градуировкой HDR-сцены. После этого устройство цветового преобразования вычисляет результирующий общий коэффициент (gt) умножения в качестве начального общего коэффициента g умножения (который определен из совокупности всех частичных цветовых преобразований, используемых для того, чтобы выполнять преобразование между первой и второй градуировкой, которая типично может представлять собой изображение визуального HDR- и LDR-представления), возведенного в степень, представляющую собой отношение (gp).

Могут быть предусмотрены другие такие показатели, но показатель не может быть просто чем угодно: он должен в таком случае использоваться для того, чтобы находить, в какое место точно или приблизительно промежуточная пиковая яркость (PB_D) дисплея должна попадать между PB_H и PB_L, так что визуальное MDR-представление является удовлетворительным при визуализации на PB_D-дисплее (и, в частности, также полезно, если показатель дает хорошие результаты при экстраполяции визуальных представлений за пределами диапазона [PB_IM1, PB_IM2]).

Таким образом, устройство или способ сначала определяет то, какое цветовое преобразования выполняется между двумя кодированными/принимаемыми изображениями визуального представления (Im_in и IM_GRAD_LXDR, где IM_GRAD_LXDR может представлять собой HDR- или LDR-изображение, а другое изображение в таком случае имеет значительно отличающийся динамический диапазон), причем это цветовое преобразование в различных вариантах осуществления может быть фактически представлено и передано в модуль, проводящий вычисления, в качестве, например, функции (между нормализованной входной и выходной яркостью) либо одного или набора коэффициентов g умножения.

Во многих вариантах осуществления просто все цвета выходного MDR-изображения могут вычисляться посредством этого способа, но в других вариантах осуществления только некоторые пикселы повторно вычисляются. Например, способ может копировать часть пейзажа либо некоторые текстовые или графические элементы, скажем, из LDR-изображения и повышать яркость только пикселов, соответствующих огненному шару или окну, смотрящему на улицу, и т.д. В таком случае, функция также может задаваться только для части диапазона возможных яркостей и т.д.

В конечном счете, независимо от вычисления обработки цветов, требуемого для того, чтобы извлекать MDR-изображение, скажем, из HDR-изображения, устройство преобразует его в набор значений умножения для умножения на входные цвета, которые типично могут находиться в линейном представлении RGB-цветов (или аналогично можно, например, умножать L-компонент Lu'v'-представления, где u' и v' являются координатами цветности согласно CIE 1976, но эти подробности являются нерелевантными для понимания различных вариантов осуществления настройки дисплея).

Таким образом, устройству, во-первых, требуется модуль (1303) определения показателей характеристик, чтобы определять то, какой показатель требуется для того, чтобы находить значение PB_D между значениями PB_IM1 и PB_IM2. Этот показатель типично является нелинейным, и с некоторыми параметрами настройки устройство в некоторых преимущественных сценариях под управлением корректировщика контента дополнительно может оказывать влияние на форму нелинейности. Это в числе прочего обусловлено тем, что настройка дисплея представляет собой не просто адаптацию на основе физических свойств дисплея, даже во внешнем представлении нелинейного человеческого зрения, но поскольку, в частности, чтобы переходить от (в частности, очень высокого DR) HDR к LDR, возможно, необходимо выполнять сложную оптимизацию, чтобы сжимать яркости всех объектов вместе и по-прежнему получать хорошее координированное визуальное представление (все может упрощаться в случае, если второе изображение также представляет собой HDR-изображение или по меньшей мере MDR-изображение с достаточно высокой PB). Тем не менее, в идеале должны быть подходящими целесообразно простые варианты осуществления системы, с тем, чтобы с помощью нескольких параметров быстро получать по меньшей мере большую часть управления настройкой визуального представления, которое требуется для классов HDR-контента.

Модуль (1303) определения показателей характеристик может выполнять что-либо не сложнее простого использования предварительно фиксированного показателя (который, например, жестко кодируется в IC), либо в других вариантах осуществления он может определять необходимое визуальное представление из индикатора (COD_METR) типа показателя, который он принимает от создателя контента через принимаемый сигнал S_im в предварительно согласованном поле метаданных. Поскольку различные HDR-сцены могут обрабатываться по-разному, корректировщик может, например, передавать то, что для первой сцены в фильме солнечного акта на улице, показатель, который должен использоваться, представляет собой логарифмическое отношение (и возможно направление, вертикальное направление, ортогональное к оси входных яркостей, см. ниже), но затем, когда следующая сцена становится вечерней сценой, чтобы получать в некоторой степени более яркое визуальное представление, создатель контента может предписывать, что настройка дисплея должна проводиться с помощью показателя на основе OETF (и, например, в ортогональном к тождественному диагональному направлению или другими словами 135 градусов от оси входной яркости). Альтернативно, в зависимости от того, должен или нет контент повторно MDR-градуироваться в реальном времени (либо, например, обрабатываться для последующего зрителя и сохраняться на HDD в помещениях зрителя), устройство цветового преобразования, например, в STB может проводить некоторое вычисление, изучать статистику изображений и принимать во внимание то, что показатель должен изменяться незначительно, или PB_D должна изменяться, как если намеченный дисплей является просто немного более темным, что приводит к в определенной степени более яркому изображению или любому изменению влияющих на настройки дисплея параметров до тех пор, пока визуальное MDR-представление не определится как удовлетворительное, человеком или посредством алгоритма автоматического анализа качества изображений. Модуль определения показателей характеристик устройства на приемной стороне может составлять собственный показатель, например, из статистического анализа наборов изображений фильма, но типично он просто выбирает из набора предварительно запрограммированных вариантов.

Модуль (1310) определения результирующих множителей, в общем, как пояснено посредством приведенных ниже примеров, затем должен позиционировать показатель на карте преобразования яркости (или фактически осуществлять что-либо эквивалентное в своих вычислениях), определять то, куда попадает пиковая яркость отображения между кодированными изображениями (т.е. то, требуется более HDR-образное или более LDR-образное MDR-изображение для по меньшей мере некоторого поддиапазона пиксельных цветов или некоторого поднабора пикселов входного изображения Im_in), и затем посредством изучения формы функции преобразования полной яркости, определять для каждой возможной входной яркости то, какой результирующий общий коэффициент gt умножения требуется для того, чтобы вычислять соответствующую выходную яркость или, фактически, выходной цвет для соответствующего пиксела в MDR-изображении.

Таким образом, вместо использования начального общего коэффициента (g) умножения, который кодифицирует преобразование яркости для объектов изображения согласно любому художественному желанию корректировщика в отношении того, как он хочет, чтобы выглядели два визуальных представления на основе динамического диапазона, посредством использования преобразования технических параметров функции цветового преобразования из первого визуального представления на основе динамического диапазона захваченной сцены (например, HDR на 5000 нит в качестве основного изображения) во второе, например, LDR (для возбуждения унаследованных дисплеев на 100 нит), и который пояснен с помощью фиг. 1, который, как следствие, составляет просто вторую художественную опорную градуировку из изображений первой опорной градуировки, вычисляется новый результирующий общий коэффициент (gt) умножения, который характеризует версию после надлежащего масштабирования яркости или настройки дисплея повторной градуировкой, обеспечивающей MDR-изображение. Например, устройство или способ может выполнять понижающую градуировку из основного HDR-изображения (которое может, как описано, формулироваться в качестве одной мультипликативной операции для пиксельных RGB-цветов с общим множителем). Это составляет промежуточное градуированное изображение (MDR), которое имеет подходящее визуальное представление для соединяемого дисплея с промежуточной пиковой яркостью, например, в 1250 нит, т.е. все объекты HDR-сцены в захваченном изображении визуализируются на этом дисплее с целесообразной яркостью (что должно быть желательным для создателя контента и приятным для просмотра, будь то прохладные затененные зоны, неясные водоемы, ярко освещенное лицо преступника, допрашиваемого полицией и т.д.), и на любом данном дисплее и потенциально с учетом других факторов, таких как окружение просмотра и т.д. Кроме того, в вариантах осуществления, в дополнение к яркости пиксельных цветов объектов изображения, также насыщенность цвета пиксельных цветов может быть оптимизирована требуемым образом, посредством применения надлежащим образом масштабированной версии, например, необходимого уменьшения насыщенности, чтобы создавать яркие цветные объекты в LDR-градуировки. Главное требование для получения корректно градуированных изображений для дисплеев с существенно отличающейся различной пиковой яркостью заключается в том, что по меньшей мере яркости различных объектов корректно оптимизированы для каждого дисплея. В противном случае, зритель может видеть, например, некоторые части изображения, которые являются слишком темными и могут быть даже недостаточно различимыми. Альтернативно, некоторые объекты могут иметь неправильную контрастность, например, небольшую контрастность. При этом, поскольку обнаружен способ формулировать преобразования яркости в качестве умножения на коэффициент g, идентичные принципы также могут применяться к обработке цветонасыщенности. Кроме того, преобразование цветонасыщенности также представляет собой полезную обработку при необходимости преобразовываться между изображениями для дисплеев с существенно отличающимся динамическим диапазоном яркости, поскольку, например, корректировщик может хотеть увеличивать насыщенность цвета для самых темных частей сцены, которые визуализированы на дисплеях с низкой пиковой яркостью, например, между 100 и 600 нит.

Вычисление gt проводится на приемной стороне, но оно типично также может проводиться на стороне создания, чтобы верифицировать то, что должны выполнять приемные устройства. Даже в некоторых вариантах осуществления сторона создания может аннулировать все вычисления на приемной стороне значений gt и непосредственно указывать их, например, для одного или более снимков фильма, но в пояснении внимание акцентируется на более простых вариантах осуществления вычисления.

Можно проводить различие между "собственным" визуальным представлением, или более точно, семейством визуальных представлений для связанных дисплеев с различной пиковой яркостью (и/или динамическим диапазоном), и повторно отрегулированным визуальным представлением, который дополнительно настроен согласно некоторым принципам. Могут быть различные причины для перенастройки на приемной стороне, для которой параметры просмотра дисплея, окружения, адаптации к зрителю и т.д. в конечном счете определяют то, каким должно быть визуальное представление, но типично в цепочках обработки HDR-изображений или видео по меньшей мере пиковая яркость дисплея, на котором должно визуализироваться изображение(я), имеет наибольшую важность. С другой стороны, несколько сторон в цепочке от создания до потребления изображений могут распоряжаться тем, каким должно быть оптимальное визуальное представление (например, конечный потребитель может иметь особый взгляд на вопрос или необходимость). Можно предполагать, что некоторые системы (которые можно использовать для того, чтобы пояснять варианты осуществления) должны позволять создателю контента продолжать распоряжаться тем, каким в конечном счете должен быть оптимальное "собственное" визуальное представление на любом дисплее приемной стороны, на котором должен отображаться контент, если он так хочет. Простейшие варианты осуществления обеспечивают это, поскольку основная часть визуального представления уже кодирована в спецификациях цветового преобразования, которые передаются в первых метаданных MET_1, связанных с изображением (например, на идентичном оптическом диске или носителе хранения изображений либо через идентичное соединение для передачи изображений), и если затем оно просто регулируется до конкретной пиковой яркости приемного дисплея, то большая часть вида корректировщика на изображенную сцену по-прежнему присутствует и является воспринимаемой на конечном визуализированном визуальном представлении. Фактически, если устройство цветового преобразования применяет показатель просто как есть, т.е. без дополнительной подстройки параметров задания изменчивости визуального представления, таких как gpr, и затем определяет функции HDR-MDR-преобразования на основе принимаемого цветового преобразования (причем это TMF определяет преобразование, например, из HDR в LDR), то MDR определяется только посредством разности в градуировке, кодированной в функциях HDR-LDR-преобразования.

Тем не менее, другие стороны также могут распоряжаться визуальным представлением, и это может определяться с помощью совершенно идентичных технических компонентов различных вариантов осуществления, типично в качестве повторного определения собственного визуального представления. Например, изготовитель устройства, скажем, производитель телевизионных приемников, также может иметь существенные знания и/или предпочтительный взгляд на то, как должны выглядеть определенные типы визуализации HDR-сцен (или MDR-визуализации, соответствующей ему). Например, он может хотеть сделать темные подвалы немного более яркими или может быть еще более темными, поскольку он хочет подчеркнуть характеристики визуализации темного выше среднего своего дисплея. Альтернативно, он может хотеть более или, наоборот, менее насыщенное визуальное представление, чем в среднем. Альтернативно, он может выполнять обработку цветов для других особенностей аппаратных средств отображения или предпочтений производителя, таких как типичное для производителя визуальное представление цвета и т.д. В прошлом, это должно выполняться полностью вслепую для принимаемого изображения после анализа посредством телевизионного приемника или только с фиксированными функциями, которые всегда дают целесообразный результат, например, с увеличенной насыщенностью, независимо от представления создателя в отношении того, как визуальные представления на идентичной изображенной сцене должны варьироваться между различными сценариями визуализации (так что цвета могут становиться перенасыщенными вместо приятно пастельного), но при настоящем подходе, последующая обработка изготовителя устройства может координироваться с тем, что создатель художественного контента думает о сцене (кодированной в его цветовое преобразование, чтобы переходить от визуального представления, кодированного в передаваемом первом изображении визуального представления, скажем, HDR на 5000 нит, ко второму опорному визуальному представлению, скажем, унаследованному LDR на 100 нит). Кроме того, в частности, из этой функциональной повторной спецификации по меньшей мере еще одной градуировки динамического диапазона HDR-сцены, изготовитель устройства (например, производитель телевизоров) имеет гораздо более релевантную семантическую информацию, поскольку человек-корректировщик осуществляет выбор на основе интеллектуальных особенностей сцены и ее изображения(й), на основе чего приемное устройство может проводить более интеллектуальные оптимальные вычисления повторной градуировки. Обобщенно существует даже третья сторона, которой можно предлагать распоряжение конечным визуальным представлением изображения посредством новой технологии повторной градуировки визуального представления. Зритель может подстраивать визуальное представление, например, типично незначительно (может быть даже с большим шагом, скажем, с изменением вплоть до 3 остановок, но затем только на стороне диапазона яркости, например, 10% самых темных цветов), через свой пульт 1122 дистанционного управления, если он считает, например, что в данный момент изображение частично является слишком темным, поскольку его жена читает книгу рядом с ним.

Таким образом, устройство цветового преобразования базируется преимущественно на том, что корректировщик указывает в качестве своих функций цветового преобразования (в метаданных MET, более точно MET_1, связанных с передаваемыми изображениями Im_in), которые являются простыми в реализации в IC и которым может не требоваться дополнительное внимание к градуировке от корректировщика. Его единственное действие в некоторых вариантах осуществления заключается просто в том, что он (быстро) проверяет то, выглядит или нет такое MDR-видео после настройки дисплея, например, научно-фантастический фильм с опаленными солнцем потрясающими планетами или телешоу с различными световыми эффектами, хорошо на дисплее с промежуточной пиковой яркостью, выбранном корректировщиком, например, в 1000 нит, представляющем собой хороший промежуточный (MDR) дисплей для кодирования 5000HDR/100LDR, поскольку имеются около 2 остановок ниже 5000 и около 3 остановок выше LDR, и даже эта проверка может пропускаться, если корректировщик базируется просто на приемной стороне для дополнительной настройки собственного визуального представления (т.е. он просто указывает свои цветовые преобразования, чтобы градуировать только одно дополнительное опорное визуальное представление в дополнение к своему эталонному основному визуальному представлению, скажем, LDR 100 нит, и в таком случае все дополнительные повторные градуировки отслеживаются изготовителем устройства, например, посредством программного обеспечения для улучшения цветов, работающего на компьютере, и т.д.).

В случае если он проводит некоторую верификацию либо более или менее конкретное указание того, как повторная градуировка предпочтительно должна происходить на приемной стороне, корректировщик затем принимает дополнительный способ оптимизации градуировки, выбранный им в данный момент (или автоматическое предложение), который дает приятные MDR-изображения, например, посредством сохранения функций цветового преобразования и основного изображения на Blu-Ray-диске или промежуточном сервере для последующей поставки клиентам, вместе с любой информацией, требуемой для применения на приемной стороне способа оптимизации градуировки, настроенного на конкретный соединяемый дисплей (который в более простых вариантах осуществления должен представлять собой только функции для градуировки второго изображения из основного изображения, т.е. данные для вычисления общего коэффициента (g) умножения или функции TMF преобразования яркости, соответствующей ему, но в усовершенствованных вариантах осуществления должен представлять собой дополнительные параметры, указывающие более точные стратегии оптимизации). Приемная сторона затем может автономно определять третью градуировку, например, для пиковой яркости в 1250 нит, и, например, когда устройство цветового преобразования включено в профессиональный видео сервер предоставления через Интернет, сохранять это третье градуированное изображение(я) для случая, когда оно требуется посредством клиента либо группы или класса клиентов.

Устройство цветового преобразования получает значение пиковой яркости PB_D для дисплея, в который должны предоставляться оптимизированные MDR-изображения, например, если только один дисплей соединен (например, устройство включено в телевизионный приемник), PB_D может быть фиксированным числом, сохраненным в некоторой части памяти на IC. Если устройство представляет собой, например, STB, то оно может опрашивать PB_D из соединенного телевизора. Устройство цветового преобразования затем оценивает то, как эта PB_D связана с пиковыми яркостями, соответствующими двум градуированным HDR- и LDR-изображениям, т.е. PB соответствующих опорных дисплеев, для которых градуировки созданы с возможностью выглядеть оптимальными. Это отношение может, например, вычисляться как логарифмическое отношение gp или эквивалентно относительная разница. Это отношение используется для того, чтобы добиваться оптимальной стратегии хорошо выглядящей промежуточной (полу)автоматической повторной градуировки. Таким образом, принципы изобретения могут применяться только к тракту преобразования яркости или только к тракту обработки цветонасыщенности, или к обоим из них, посредством применения идентичного надлежащего принципа зависимого от дисплея регулирования дважды, но с различными спецификациями цветового преобразования, в зависимости от того, что требует ситуация или корректировщик для любого HDR-изображения или видео.

Преимущественно, устройство (201) цветового преобразования содержит ввод (117) отображаемых данных, выполненный с возможностью принимать пиковую яркость (PB_D) отображения из соединенного дисплея, так что он может определять корректную градуировку для любого доступного и/или соединенного дисплея на приемной стороне, потенциально посредством выполнения вычислений на лету при просмотре видео. Этот вариант осуществления также может содержаться непосредственно внутри дисплея, например, телевизионного приемника, так что этот дисплей может определять собственную оптимизированную градуировку из данных HDR-кодирования (например, PB_D, сохраненной в памяти). Таким способом технология HDR-кодирования фактически кодирует пакет визуальных представлений на HDR-сцене, что может быть приравнено, например, к тому, как многовидовая система может кодировать различные виды с различными углами на сцене, но теперь во многом по-другому возникают разности в цветовом пространстве. Отличающиеся варианты осуществления могут содержаться, например, в профессиональных видеосерверах, которые предварительно вычисляют определенное число градуировок для различных типов дисплея с пиковой яркостью около конкретных значений PB_D-класса, для последующей поставки клиенту или подстройки в отношении их визуального представления дополнительными цветокорректировщиками и т.д.

Варианты осуществления могут определять дополнительные переменные настройки дисплея, например, устройство (201) цветового преобразования дополнительно может содержать модуль (1304) определения направления, выполненный с возможностью определять направление (DIR) относительно оси яркости входных цветов, и иметь модуль (200) определения коэффициентов масштабирования содержит модуль (1312) направленной интерполяции, выполненный с возможностью определять яркость для пиксела выходного изображения (IM_MDR) из яркости пиксела входного изображения (Im_in) посредством позиционирования показателя вдоль направления (DIR). В качестве одного полезного примера, технология может интерполировать в горизонтальном направлении, т.е. определять на карте преобразования яркости то, какая выходная яркость соответствует входной яркости на оси X. Дальнейшее исследование показало то, что может быть полезным поворачивать направление интерполяции для определения того, где должен быть расположен промежуточный MDR, соответствующий PB_D, и как он должен подвергаться обработке цветов, поскольку различные преобразования яркости имеют различное определение и поведение, и такая отличающаяся настройка может создавать, например, более яркое визуальное представление по меньшей мере в некотором поддиапазоне яркостей (например, некоторые функции могут задаваться с узлами между сегментами, имеющими различное поведение при преобразовании яркости, к примеру, растягивание темно-серых цветов, с фиксированным положением входной яркости, и затем направленная интерполяция может изменять это). В частности, положение под 135 градусов от оси входной яркости считается интересным положением, поскольку в таком случае оно ортогонально настраивается по сравнению с тождественным преобразованием, и, например, экстраполяции затем могут первоначально задаваться как, в основном, симметрично зеркальные по сравнению с этой диагональю). Ниже показывается то, как, как в таком случае развертывать показатель вдоль этого направления DIR, и специалисты в данной области техники должны затем понимать, как можно извлекать математические уравнения из означенного, посредством выполнения геометрических расчетов.

Кроме того, это направление, например, может определяться посредством устройства на приемной стороне автономно, например, на основе его классификации типа HDR-изображения, либо оно может передаваться в качестве индикатора COD_DIR направления со стороны создания контента. Ниже показан преимущественный вариант осуществления, который может проводить вычисления посредством применения поворота карты, содержащей функцию преобразования яркости, выполняемую посредством модуля 1312 направленной интерполяции.

Модуль (1311) определения общих множителей затем преобразует требуемое цветовогоео преобразование, чтобы получать визуальное MDR-представление, в различные обязательные коэффициенты gt для умножения входных цветов.

Преимущественно, устройство (201) цветового преобразования имеет модуль (200) определения коэффициентов масштабирования, дополнительно выполненный с возможностью получать параметр (gpr; gpm) настройки из вторых данных (MET_2) спецификации обработки цветов, и выполненный с возможностью вычислять результирующий общий коэффициент (gt) умножения, соответствующий другому положению по показателю относительно положения для пиковой яркости (PB_D) отображения, причем это другое положение основано на значении параметра настройки. Как описано выше, показатель определяет то, что должно быть в основном целесообразным визуальным MDR-представлением, если он не принимает ничего более, например, от создателя контента или из дополнительного анализа изображений и общего конкретного для производителя HDR-ноу-хау, т.е. затем визуальное MDR-представление уже является, в основном, хорошим для многих видов HDR-сцены, точно поскольку оно уже оптимально определено на основе принимаемых функций цветового преобразования (например, пользовательской кривой CC), которые определяют то, как различные градуировки HDR-сцены должны изменяться по меньшей мере от первой конечной точки PB-диапазона (например, PB_H) до второй (PB_IM2 в таком случае представляет собой, например, PB_L). Тем не менее, возможно, требуется более быстрое, более активное изменение визуального LDR-представления для некоторых изображений или даже некоторых частей некоторых изображений, соответствующих некоторым областям или объектам, таким как темные подвалы, и менее активное, чем "среднее" (определенное посредством просто использования показателя и направления) изменение в зависимости от отклонения PB_D от PB_IM1 для других ситуаций. Это должно указываться корректировщиком максимально возможно просто. В простейших вариантах осуществления технологии, корректировщик может использовать всего один параметр (gpr), чтобы указывать, насколько подлежащая использованию точка M_PB_U, соответствующая точке MDR-вычисления, должна находиться ближе, например, к PB_H в показателе, чем при вычислении "вслепую" посредством устройства на приемной стороне посредством помещения PB_D в показатель.

Например, в некоторых вариантах осуществления, модуль (200) определения коэффициентов масштабирования выполненный с возможностью определять различное положение посредством применения монотонной функции, задающей вывода нормализованное положение по показателю в качестве функции по меньшей мере одного входного параметра (gpr), находящегося между минимумом, например, отрицательным mn_gpr для экстраполяции или 0 и максимумом (mx_gpr), и конечно, также зависимого от некоторого входного значения, коррелированного с ситуацией отображения, т.е. PB_D (gpr, например, может представлять собой показатель кривизны кривой, изгибающейся около линейной по фиг. 15 и т.д.). В случае прямого определения положения на показателе, входное значение может представлять собой непосредственно PB_D, либо оно может представлять собой некоторую функцию этой PB_D, например, показатель, который используется. Это значение gpr может задаваться корректировщиком, например, посредством кнопки 1510 или вычисляться посредством искусственного интеллектуального анализа изображений на приемной стороне. Поскольку можно формулировать изменение (для по меньшей мере интерполяции, и это, соответственно, может быть адаптировано, когда требуется экстраполяция), требуемое для того, чтобы получать визуальное MDR-представление, в качестве цветового преобразования, которое является тождественным, при теоретическом вычислении HDR-градуировки или в общем принимаемой основной градуировки, из себя и другого экстремального значения диапазона, т.е., например, визуальное LDR-представление на 100 нит может получаться посредством применения передаваемого преобразования яркости (т.е. "полностью"), можно рассматривать это в качестве применения мультипликативного изменения, между вообще без изменения, т.е. умножения посредством 1,0, или до в наиболее полной степени, т.е. умножения на g согласно принимаемым метаданным для вычисления визуального LDR-представления из принимаемого HDR-изображения. Из этого, для любого фактического значения умножения для различных входных яркостей, можно задавать непрерывную функцию, к примеру, как проиллюстрировано на фиг. 15, которая применяет цветовое преобразование в наиболее полной степени (m_MT_norm=1) либо вообще не применяет, либо что-либо промежуточное, в зависимости от ввода, характеризующего сценарий дисплея, и по меньшей мере одного значения gpr, характеризующего вид желательной повторной градуировки.

В случае если имеется вариант осуществления устройства (201) цветового преобразования, в котором модуль (200) определения коэффициентов масштабирования использует логарифмический показатель и вычисляет коэффициент gt посредством повышения значения g до этого вычисленного коэффициента градуировки, специалисты в данной области техники могут понимать, что может быть преимущественным корректировать этот коэффициент. Прагматично, это может осуществляться посредством получения параметра (gpm) настройки, например, из данных (MET) спецификации обработки цветов и последующего вычисления настроенного степенного значения (gpp), представляющего собой отношение (gp), возникающее в результате вычисления логарифмического показателя того, чему соответствует PB_D, возведенная в степень, представляющую собой параметр (gpm) настройки, и затем дополнительно вычисляется настроенная версия общего коэффициента (gtu) умножения, представляющего собой начальный общий коэффициент (g) умножения, возведенный в степень, равную настроенному степенному значению (gpp), причем этот gtu используется, как обычно, посредством масштабного умножителя (114), чтобы умножать линейные входные RGB-цвета. Должно быть само собой разумеющимся, но следует отметить, чтобы полностью прояснять для специалистов в данной области техники, что хотя это степенное значение gpm похоже на значение гамма, оно не имеет абсолютно ничего общего с гаммами, известными из дисплеев или из общего выделения яркостью изображений, поскольку оно теперь представляет собой управляющий параметр для активности необходимой настройки относительно другого градуированного визуального представления для некоторого необходимого цвета MDR-изображения, соответствующего некоторой PB_D, в зависимости от особенностей HDR-сцены и, например, типа художественной оптимизации, которая необходима для получения целесообразной LDR-градуировки. Факт заключается только в том, что степенная функция представляет собой прагматический способ для того, чтобы проектировать поведение такого типа, как пояснено на фиг. 15, и тот факт, что некоторые математические функции являются универсально развертываемыми, является простым математическим совпадением.

Предпочтительно, также предлагается техническое решение, обеспечивающее создателю контента еще одно дополнительное распоряжение относительно того, как должны выглядеть промежуточные градуировки. С одной стороны, для решения введено такое ограничение, что корректировщик не должен быть обеспокоен посредством слишком большой дополнительной градуировки, поскольку время градуировки дорого стоит, и, например, некоторые производства, возможно, уже выходят за рамки бюджета до постпроизводства, и корректировщик уже тратит некоторое время на создание эталонной HDR-градуировки (при этом, если практически никто не может наблюдать ее на своем фактическом дисплее, целесообразно не игнорировать полностью проблемы конечной визуализации), а затем визуального LDR-представления, связанного с ней (или визуального LDR-представления, например, из киноверсии и после этого соответствующего визуального HDR-представления для просмотра на HDR-телевизоре или других альтернатив потока обработки). С другой стороны, несмотря на уже выполненный перенос части сложности в градуировках на обе стороны диапазона требуемых промежуточных градуировок для различных значений PB_D (снова следует отметить, что это изобретение и его варианты осуществления не ограничены этим пояснением типичного сценария, поскольку технологии также могут работать с возможностью, например, градуировать вверх от эталонной градуировки на 5000 нит, например, до 20000 нит, начиная с идентичных функций для понижающей градуировки, и надлежащим образом изменять их или с дополнительными функциями для повышающей градуировки, передаваемой в метаданных и т.д.), т.е. при уже выполненной HDR- и LDR-градуировки, определение промежуточных градуировок может быть более простым. Тем не менее, на первый взгляд и, в общем, определение промежуточной градуировки по-прежнему может быть относительно сложным, в частности, если существует большее число остановок между пиковой яркостью MDR-градуировки и исходной градуировки на обоих концах, LDR и HDR. Таким образом, в идеале корректировщик должен создавать третью MDR-градуировку тщательно или по меньшей мере достаточно тщательно, что он может осуществлять с использованием усовершенствованных вариантов осуществления. Тем не менее, предлагается ряд простых решений, которые он может использовать вместо этого, исключительно или при необходимости с небольшой дополнительной подстройкой, например, части глобального преобразования яркости для формирования промежуточных градуированных изображений (или в качестве постградуировки для изображения, получающегося в результате вышеприведенного способа оптимизации с дополнительной функцией) или с локальной подстройкой некоторого объекта, который является критически важным и просто не получается в результате в качестве корректно градуированного посредством простых вариантов осуществления и т.д.

В этом варианте осуществления, корректировщик может быстро создавать промежуточные MDR посредством указания только одного дополнительного параметра gpm или gpr настройки, который также передается в метаданных MET и указывает то, насколько промежуточные градуировки являются похожими на LDR- или HDR-градуировку, либо другими словами, насколько быстро при прохождении через различные промежуточные пиковые яркости намеченного соединенного дисплея промежуточная MDR-градуировка изменяется от визуального HDR-представления до визуального LDR-представления или наоборот в другом направлении (например, насколько ярким остается конкретный темный объект, когда пиковая яркость дисплея продолжает увеличиваться).

Конечно, в дополнение к функции подстройки с 1 параметром (для более быстрого или медленного перехода к другой градуировке при удалении PB_D из начальной точки, например, PB_H), можно задавать дополнительные параметры, указывающие то, насколько точно должна происходить зависимая от сцены более или менее активная настройка дисплея, например, аналогично gptt по фиг. 15. В принципе, в технической инфраструктуре можно задавать произвольно сложные спецификации того, как визуальное представление должно перемещаться между визуальным HDR- и LDR-представлением для различного промежуточного PB_D-положения, в качестве отклонения от подхода чисто на основе показателей.

Преимущественно, дополнительный вариант осуществления устройства (201) цветового преобразования имеет модуль (200) определения коэффициентов масштабирования, дополнительно выполненный с возможностью получать по меньшей мере одно значение (Lt) яркости, разграничивающее первый диапазон яркостей пиксельных цветов (или соответствующих сигналов яркости) входного изображения от второго диапазона яркостей, при этом модуль (200) определения коэффициентов масштабирования выполненный с возможностью вычислять настроенный общий коэффициент (gtu) умножения (т.е. более конкретно, определенный вариант осуществления результирующего общего коэффициента gt умножения) для по меньшей мере одного из первого и второго диапазона яркостей. Когда говорят "сигнал яркости", имеют в виду любую кодификацию яркости или любого другого показателя пиксельной яркости (коррелированного с длиной цветового вектора), причем эти значения могут вычисляться эквивалентно друг другу. Например, в некоторых практических вариантах осуществления может быть преимущественным задавать это значение Lt в качестве разграничителя значений, где значение задается как max(R, G, B), т.е. как один из цветовых компонентов входного цвета, который является наибольшим. Иными словами, когда наибольший цветовой компонент, скажем, красный цветовой компонент превышает, например, 0,3, цвет классифицируется в первом режиме, в противном случае, во втором режиме.

При использовании этого варианта осуществления, корректировщик может выбирать конкретные интересные поддиапазоны диапазона яркости основного изображения (и в силу этого через цветовое преобразование, также извлекаемого изображения, например, LDR-изображения) и обрабатывать их по-разному. В вышеприведенном пояснении, внимание обращается главным образом на то, как быстро следует переходить от HDR-градуировки к LDR-градуировки (или наоборот, если основное изображение Im_in представляет собой LDR-изображение), и как это может технически достигаться в некоторых практических вариантах осуществления посредством даже всего одного управляющего параметра gpr или gpm. Эта адаптация затем должна типично выполняться таким способом для всех пиксельных цветов во входном изображении, т.е. безотносительно их исходной яркости предполагается, что они могут аналогично подвергаться настройке дисплея, поскольку разность в подходе уже в основном кодирована в форме преобразования яркости, чтобы градуировать между исходным визуальным HDR- и LDR-представлением корректировщика. Тем не менее, могут быть различные семантические части в HDR-сценах, например, красочные ткани в относительно более темных областях базара и яркий внешний мир, видимый через вход базара, и типично может выполняться различная оптимизация для того, чтобы преобразовывать различные части, например, в относительно небольшом диапазоне LDR-яркости, при одновременном создании художественно убедительного изображения. Альтернативно, темные области могут быть очень критически важными в ночной сцене, и корректировщик может хотеть поддерживать их достаточно яркими посредством поддержания этого поддиапазона яркостей близким к визуальному LDR-представлению до относительно высоких пиковых яркостей, таких как, например, 800 нит, при поддержании хорошей HDR-контрастности в верхних областях, например, в части зданий близко к осветительному столбу или в части пещеры, которая освещается посредством солнца, падающего через трещину в крыше, или в красочных коммерческих приставках с задней подсветкой и т.д. Таким образом, в усовершенствованном варианте осуществления, корректировщик может хотеть указывать настройку, в частности, насколько активно MDR-градуировка перемещается к градуировке второго изображения для последовательных PB_D-шагов, различными способами для различных частей сцены, в частности, частей изображений с различными пиксельными яркостями, и в силу этого по-прежнему преимущественно иметь механизм, позволяющий корректировщику дополнительно указывать желательное управление для этого аспекта.

Корректировщик типично указывает различное значение gpm для любой стороны по меньшей мере одной области, разграничивающей значение (Lt) сигнала яркости, и дополнительные значения, если дополнительные области указываются вдоль диапазона (например, темные, средние, яркие и гиперяркие области). Одна из двух областей может использовать значение по умолчанию, например, gpm=1, что означает с использование стратегии первого варианта осуществления, что означает то, что в некоторых вариантах осуществления корректировщик должен указывать только одно конкретное значение gpm для одной из двух областей с яркостями на обеих сторонах Lt. Но он также может указывать и передавать выделенное значение gpm для обеих сторон: gpm_1 и gpm_2.

Дополнительный вариант осуществления устройства (201) цветового преобразования имеет модуль (200) определения коэффициентов масштабирования, дополнительно выполненный с возможностью определять диапазон сглаживания сигналов яркости, расположенных около по меньшей мере одного значения (Lt) сигнала яркости, и выполненный с возможностью интерполировать настроенный общий коэффициент (gtu) умножения между его значением, определенным на обеих сторонах по меньшей мере одного значения (Lt) сигнала яркости. Чтобы гарантировать плавное переходное поведение, которое может не требоваться для каждой HDR-сцены и сценария MDR-вычисления, и отсутствие несоответствующих пиксельных яркостей для объектов промежуточных градуировок (что, в частности, может быть критически важным для определенных градиентов, например, в небе или подсвечиваемом сферическом объекте), этот вариант осуществления позволяет корректировщику указывать переходную область. Он может указывать интерполяцию в зависимости от того, насколько стратегия интерполяции Lt отличается на обеих сторонах, т.е. насколько gpm_1, например, для низких яркостей отличается от gpm_2 для высоких яркостей (типичные хорошие значения для любого из означенного могут находиться между 1,5 и 1/1,5), определять в числе прочего ширину области интерполяции в качестве дополнительного параметра I_W, и то, должна она или нет, например, находиться симметрично около Lt или асимметрично применяться только к яркостям выше Lt (альтернативно, приемное устройство может определять автономно стратегию интерполяции посредством использования деталей на результирующей кривой(ых), к примеру, что они должны представлять собой монотонно увеличивающиеся или желательные ограничения на производные для конкретного момента или за конкретный интервал, т.е. предлагается по меньшей мере одна стратегия до тех пор, пока ограничения не будут удовлетворяться, и т.д.). Кроме того, он может в некоторых вариантах осуществления указывать некоторую требуемую стратегию интерполяции посредством передачи функции(й), чтобы вычислять требуемое значение gpm для каждой возможной яркости в основном изображении в метаданных, но по умолчанию она представляет собой линейную интерполяцию между значениями gpp, передаваемыми для любой стороны области интерполяции.

Теперь, после приведения некоторых пояснительных вариантов осуществления устройства цветового преобразования, которое можно проектировать с использованием принципов изобретения, ниже описываются некоторые дополнительные разновидности устройства, в которых может содержаться это устройство вычисления основного цвета, в различных сценариях применения, например, устройства на стороне потребителя, на стороне создателя контента, на веб-узле компании передачи контента, например, на центральной станции кабельного телевидения, либо на спутнике, либо посредством Интернет-услуги для повторной градуировки видео, например, потребителей, например, свадьбы или видео праздника и т.д.

На стороне кодера варианты осуществления могут использоваться в системе:

- для создания кодирования изображения (Im_src) с расширенным динамическим диапазоном, содержащей:

- ввод для приема изображения (Im_src) с расширенным динамическим диапазоном;

- преобразователь (303) изображений, выполненный с возможностью преобразовывать изображение (Im_src) с расширенным динамическим диапазоном в эталонную градуировку (M_XDR) изображения (Im_src) с расширенным динамическим диапазоном;

- устройство (201) цветового преобразования по любому из вышеприведенных пунктов на устройство цветового преобразования, выполненное с возможностью вычислять, начиная с входных цветов пикселов входного изображения (Im_in), представляющего собой эталонную градуировку (M_XDR), результирующие цвета пикселов второго градуированного изображения (M_X2DR) посредством применения цветового преобразования (TMF; g);

- причем устройство цветового преобразования выполнено с возможностью получать по меньшей мере один параметр (gpm) и вычислять с использованием параметра и цветового преобразования второе изображение (IM_MDR), соответствующее пиковой яркости, которая отличается от пиковой яркости, соответствующей эталонной градуировке (M_XDR), и пиковой яркости, соответствующей второму градуированному изображению (M_X2DR);

- модуль (310) форматирования сигналов, выполненный с возможностью преобразовывать второе градуированное изображение (M_X2DR) вместе с эталонной градуировкой (M_XDR) в отформатированное изображение (SF_X2DR) с расширенным динамическим диапазоном, подходящее для хранения и/или передачи изображений, и содержащий пиксельные цветовые данные эталонной градуировки (M_XDR), метаданные, кодирующие цветовое преобразование, и упомянутый по меньшей мере один параметр (gpm); и

- вывод (320) изображений для вывода отформатированного изображения (SF_X2DR) с расширенным динамическим диапазоном.

Типично, компоненты зеркально отражают компоненты на приемной стороне, но теперь человек-корректировщик (или искусственная интеллектуальная система автоматической повторной градуировки) имеет дополнительные технические компоненты, чтобы определять то, что приемное устройство должно выполнять для того, чтобы создавать наиболее идеальные промежуточные градуировки согласно желанию корректировщика.

Здесь корректировщик типично начинает с исходного HDR-материала (Im_src), скажем, прямо из HDR-камеры, такой как RED-камера или даже система из двух по-разному экспонируемых камер, с подачей идентичного изображения сцены через расщепитель луча. Корректировщик типично хочет проводить эталонную HDR-градуировку означенного, как пояснено с помощью примера по фиг. 14, он хочет позиционировать яркости различных объектов изображения и их соответствующие коды сигнала яркости на оси яркости в 5000 нит слева на фиг. 14. Он также хочет проводить LDR-градуировку, соответствующую идентичному эталонному визуальному представлению HDR-изображения. Если продолжать конкретный пример основного изображения (Im_in), которое фактически передается как типично DCT-сжатое или распакованное, представляющее собой HDR-изображение, в этом сценарии, градуированное изображение M_XDR, выводимое из первой градуировки, должно представлять собой HDR-изображение, и затем это HDR-изображение должно добавляться в сигнал изображения вместе с метаданными функции обработки цветов и записываться, например, на BD или в другую физическую память (321) либо в любое другое средство передачи изображений. В этом сценарии, корректировщик из эталонной HDR-градуировки должен создавать по меньшей мере одну функцию преобразования яркости (скажем, например, CC) с тем, чтобы получать M_X2DR, в этом случае представляющее собой LDR-изображение, т.е. изображение, для которого коды преобразуются в PB_L в 100 нит.

Тем не менее, также предусмотрена версия и соответствующие варианты осуществления по настройке дисплея, что называется режимом 2, в котором "HDR-изображение" HDR-сцены фактически кодируется в качестве LDR-изображения на 100 нит. В этом случае M_XDR, возникающий в результате начальной градуировки, определяющей основное изображение, может представлять собой LDR-изображение. Кроме того, в этом режиме, функции, которые указывает корректировщик (CC и т.д.), должны преобразовывать это LDR-изображение в HDR-изображение, которое типично является очень близкой, практически идентичной аппроксимацией требуемого изображения эталонного визуального HDR-представления. В этом режиме 2, Im_in, сохраняемое в изображении или видеосигнале S_im, должно представлять собой LDR-изображение, и функции преобразования яркости (и преобразования насыщенности) должны представлять собой функции повышающей градуировки, чтобы извлекать на приемной стороне HDR-изображение, и также M_X2DR должно представлять собой HDR-изображение. В любом случае, корректировщик типично должен проверять визуальное представление трех изображений, своих исходных LDR- и HDR-изображений визуального представления и MDR-изображения, на трех типичных дисплеях, с надлежащим образом выбранными пиковыми яркостями отображения, соответствующими пиковым яркостям изображений.

Таким образом, отформатированное изображение SF_X2DR с расширенным динамическим диапазоном согласно HDR-технологии фактически кодирует визуальное HDR-представление в сцене, независимо от того, содержит оно или нет фактически основное LDR- или HDR-изображение.

Эта система типично также должна выводить по меньшей мере один параметр (gpm) настройки.

Одна из различных итераций может быть предусмотрена, в зависимости от того, хочет корректировщик тратить большее или меньшее количество времени. Для передач в реальном времени, корректировщик может, например, просматривать только то, имеют или нет визуальные представления (для которых HDR- и LDR-градуировка затем типично также должна предусматривать небольшое число операций, например, одну конфигурацию логарифмического или S-образного преобразования на основе характеристик сцены непосредственно перед началом показа, чтобы формировать эталонную градуировку, и вторую, чтобы получать вторую, зависимую градуировку, например, LDR из эталонной HDR-градуировки) достаточно целесообразное качество на трех опорных дисплеях, и иногда он может приблизительно настраивать простой набор, который, например, изменяет параметр gpm. При этом когда предусмотрена оффлайновая повторная выверка по эталону, корректировщик может инвестировать значительное количество времени, чтобы добиваться кодирования нескольких градуировок, например, 2 дополнительных MDR-градуировок между HDR и LDR и градуировки на каждой стороне (ультра-HDR UHDR и под-LDR SLDR) и т.д., либо некоторых из них посредством вариантов осуществления по настройке дисплея, либо некоторых из них посредством исходных вариантов осуществления совместного кодирования изображений визуального представления на основе динамического диапазона, посредством полных цветовых преобразований в метаданных, и затем настройки дисплея поверх промежуточных PB_D-положений между более чем двумя исходными передаваемыми градуировками. В частности, для некоторых более популярных программ, в компаниях, промежуточных в цепочке передачи изображений, например, в компаниях, которые имеют бизнес по дополнительной продаже, передаче, оптимизации и т.д. существующего контента, в действии повторной выверки по эталону для различных категорий приемных устройств, может быть предусмотрен бюджет на дополнительную градуировку для человека-корректировщика, чтобы инвестировать больше времени в создание нескольких усовершенствованных сценариев повторной градуировки и математических параметров этих различных цветовых преобразований.

Также применимым является способ вычисления результирующих цветов пикселов, начиная с входных цветов пикселов входного изображения (Im_in), отличающийся тем, что, способ содержит:

- определение начального общего коэффициента (g) умножения на основе данных (MET) спецификации обработки цветов, принимаемых через ввод (116) метаданных,

- определение результирующего общего коэффициента (gt) умножения, посредством вычисления сначала отношения (gp) логарифмов, во-первых, отношения пиковой яркости (PB_D) дисплея и опорной пиковой яркости (PB_H), соответствующей входному изображению, и во-вторых, отношения опорной пиковой яркости (PB_H) и пиковой яркости (PB_L), полученной из данных (MET) спецификации обработки цветов и соответствующего изображения (Im_LDR), которое получается в результате при применении данных спецификации обработки цветов к пиксельным цветам входного изображения, и затем вычисление результирующего общего коэффициента (gt) умножения в качестве начального общего коэффициента (g) умножения, возведенного в степень, представляющую собой отношение (gp), и

- умножение линейного представления RGB-цветов входных цветов на коэффициент умножения, представляющий собой результирующий общий коэффициент (gt) умножения.

Также применимым является способ вычисления результирующих цветов пикселов по п. 7, содержащий этап приема пиковой яркости (PB_D) дисплея из соединенного дисплея.

Также применимым является способ вычисления результирующих цветов пикселов, содержащий получение параметра (gpm) настройки из данных (MET) спецификации обработки цветов, вычисление настроенного степенного значения (gpp), представляющего собой отношение (gp), возведенное в степень, представляющую собой параметр (gpm) настройки, определение настроенного общего коэффициента (gtu) умножения, представляющего собой начальный общий коэффициент (g) умножения, возведенный в степень, равную настроенному степенному значению (gpp), и умножение линейного представления RGB-цветов входных цветов на коэффициент умножения, представляющий собой настроенный общий коэффициент (gtu) умножения.

Также применимым является способ вычисления результирующих цветов пикселов, содержащий получение по меньшей мере одного значения (Lt) сигнала яркости, разграничивающего первый диапазон сигналов яркости пиксельных цветов входного изображения относительно второго диапазона сигналов яркости и вычисление настроенного общего коэффициента (gtu) умножения для по меньшей мере одного из первого и второго диапазона сигналов яркости. Другой поддиапазон затем может, например, использовать параметр gt по умолчанию, определенный из отношения логарифмов, указывающего взаимосвязь яркостей PB_D, PB_H и PB_L, упомянутых выше для самых широких вариантов осуществления. Некоторые варианты осуществления способа или устройства могут использовать либо варианты осуществления, предварительно фиксированные, либо любые из них, выбираемые, в зависимости от текущей ситуации, которые типично должны кодироваться с дополнительными характеристическими кодами в метаданных.

Также применимым является способ вычисления результирующих цветов пикселов, содержащий определение переходного диапазона сигналов яркости, расположенных около по меньшей мере одного значения (Lt) сигнала яркости, и интерполяцию настроенного общего коэффициента (gtu) умножения между его значением, определенным на обеих сторонах по меньшей мере одного значения (Lt) сигнала яркости.

Специалисты в данной области техники должны осознавать, что все варианты осуществления могут быть реализованы в качестве множества других разновидностей, способов, сигналов независимо от того, передаются они по сетевым соединениям или сохраняются в некотором изделии памяти, в компьютерных программах и в различных комбинациях и модификациях и т.д.

Например, в некоторых вариантах осуществления, сторона создания контента может управлять тем, как любой дисплей на приемной стороне должен визуализировать (промежуточные) визуальные представления, на основе того, что корректировщик определяет относительно того, как должны выглядеть различные градуировки динамического диапазона, посредством передачи означенного в качестве кодированного сигнала (S_im) изображения с расширенным динамическим диапазоном, содержащего:

- пиксельные цветовые данные, кодирующие основное изображение, представляющее собой эталонную градуировку (M_XDR);

- метаданные (MET), содержащие параметры, указывающие цветовые преобразования, чтобы вычислять второе градуированное изображение (M_X2DR) из эталонной градуировки (M_XDR), отличающийся тем, что кодированный сигнал (S_im) изображения с расширенным динамическим диапазоном дополнительно содержит параметр (gpm) настройки, используемый для вычисления результирующих цветов пикселов, начиная с входных цветов пикселов эталонной градуировки (M_XDR), посредством:

- определения начального общего коэффициента (g) умножения на основе цветовых преобразований;

- вычисления отношения (gp) логарифмов, во-первых, отношения пиковой яркости (PB_D) дисплея и опорной пиковой яркости (PB_H), соответствующей входному изображению, и во-вторых, отношения опорной пиковой яркости (PB_H) и пиковой яркости (PB_L), полученного из метаданных (MET) и соответствующего изображению (Im_LDR), которое получается в результате при применении данных спецификации обработки цветов к пиксельным цветам входного изображения;

- вычисления настроенного степенного значения (gpp), представляющего собой отношение (gp), возведенное в степень, представляющую собой параметр (gpm) настройки;

- определения настроенного общего коэффициента (gtu) умножения, представляющего собой начальный общий коэффициент (g) умножения, возведенный в степень, равную настроенному степенному значению (gpp); и

- умножения линейного представления RGB-цветов входных цветов эталонной градуировки (M_XDR) на коэффициент умножения, представляющий собой настроенный общий коэффициент (gtu) умножения. Этот сигнал может содержать дополнительное указание метаданных, чтобы позволять любому устройству на приемной стороне применять любой из вариантов осуществления, таких как, например, один или более разграничителей Lt яркости и т.д.

Также применимой является система для создания кодирования изображения с расширенным динамическим диапазоном, содержащая пользовательский интерфейс (330), позволяющий человеку-корректировщику указывать упомянутый по меньшей мере один параметр (gpm), и вывод (311) изображений для соединения дисплея (313), имеющего пиковую яркость (PB_D) дисплея.

Также применимой является система (1130) для определения цветов, которые должны визуализироваться, содержащая устройство (201) цветового преобразования и пользовательский интерфейс (1120) для ввода по меньшей мере одного указываемого пользователем параметра, который изменяет по меньшей мере одно из показателя, параметра (gpr; gpm) настройки или пиковой яркости (PB_D) дисплея для использования посредством устройства цветового преобразования.

Также применимым является способ вычисления результирующих цветов (R2, G2, B2) пикселов выходного изображения (IM_MDR) для дисплея с пиковой яркостью (PB_D) дисплея, начиная с линейного трехкомпонентного входного цвета (R, G, B) пикселов входного изображения (Im_in), имеющего код сигнала максимальной яркости, соответствующий пиковой яркости (PB_IM1) первого изображения, которая отличается от пиковой яркости дисплея, содержащий:

- определение цветового преобразования (TMF; g) из данных (MET_1) спецификации обработки цветов, которые содержат по меньшей мере одну функцию (CC) тональной компрессии для по меньшей мере диапазона пиксельных яркостей, причем это цветовое преобразование указывает вычисление по меньшей мере некоторых пиксельных цветов изображения (IM_GRAD_LXDR), имеющего согласно своему коду сигнала максимальной яркости пиковую яркость (PB_IM2) второго изображения, которая отличается от пиковой яркости (PB_D) дисплея и пиковой яркости (PB_IM1) первого изображения, и посредством чего деление пиковой яркости первого изображения на пиковую яркость второго изображения составляет либо больше 2, либо меньше 1/2;

- определение результирующего общего коэффициента (gt) умножения, посредством выполнения:

- определения показателя для локализации положений пиковых яркостей дисплея между пиковой яркостью (PB_IM1) первого изображения и пиковой яркостью (PB_IM2) второго изображения и за пределами этого диапазона; и

- определения, из пиковой яркости (PB_D) дисплея, показателя и цветового преобразования, результирующего общего коэффициента (gt) умножения; и

- причем способ дополнительно содержит умножение линейного трехкомпонентного входного цвета (R, G, B) на результирующий общий коэффициент (gt) умножения, чтобы получать результирующие цвета (R2, G2, B2).

Также применимым является способ, дополнительно содержащий определение направления (DIR) относительно оси яркости входных цветов (R, G, B), при этом определение результирующего общего коэффициента (gt) умножения содержит определение яркости для пиксела выходного изображения (IM_MDR) из яркости пиксела входного изображения (Im_in) посредством позиционирования показателя вдоль направления (DIR).

Также применимым является способ, дополнительно содержащий получение параметра (gpr; gpm) настройки из вторых данных (MET_2) спецификации обработки цветов и вычисление результирующего общего коэффициента (gt) умножения, соответствующего другому положению по показателю относительно положения для пиковой яркости (PB_D) дисплея, причем это другое положение основано на значении параметра настройки.

Также применимым является способ, содержащий получение по меньшей мере одного значения (Lt, Ltr1) яркости, разграничивающего первый диапазон яркостей пиксельных цветов входного изображения от второго диапазона яркостей, и вычисление результирующего общего коэффициента (gt) умножения для по меньшей мере одного из первого и второго диапазона яркостей.

Чтобы иметь возможность передавать требуемую информацию со стороны создания, на которой формируются художественно надлежащие визуальные представления, в любой узел использования этих изображений, целесообразно иметь технические требования сигнала (S_im) изображения с расширенным динамическим диапазоном, содержащего:

- пиксельные цветовые данные, кодирующие основное изображение, представляющее собой эталонную градуировку (M_XDR) сцены с расширенным динамическим диапазоном;

- метаданные (MET), содержащие параметры, указывающие цветовое преобразование, чтобы вычислять второе градуированное изображение (M_X2DR) из эталонной градуировки (M_XDR); отличающийся тем, что кодированный сигнал (S_im) изображения с расширенным динамическим диапазоном дополнительно содержит параметр (gpm) настройки, используемый для вычисления результирующих цветов пикселов, начиная с входных цветов пикселов эталонной градуировки (M_XDR), посредством определения результирующего общего коэффициента (gt) умножения, который определяется на основе цветового преобразования и параметра настройки и пиковой яркости (PB_D) дисплея для дисплея, в который должно предоставляться изображение, содержащее пикселы, имеющие результирующие цвета.

Этот сигнал может перемещаться согласно любой технологии обмена сигналами или постоянно размещаться в любом изделии памяти, содержащем пиксельные цветовые данные, метаданные (MET) и параметр (gpm) настройки.

Тогда как некоторые варианты осуществления обеспечивают корректировщику больший или меньший уровень управления любыми повторными градуировками для любой ситуации визуализации, предусматривающей типично по меньшей мере конкретную пиковую яркость дисплея, неравную пиковой яркости опорного дисплея, связанного с передаваемым изображением(ями), другие варианты осуществления (независимо от того, хочет или нет корректировщик передавать какие-либо спецификации повторной градуировки, т.е. что-либо в дополнение к своим цветовым преобразованиям, чтобы повторно градуировать передаваемые изображения в одно дополнительное визуальное представление на основе динамического диапазона, передаваемое только параметрически, например, LDR из HDR) позволяют приемному устройству отдельно дополнительно повторно градуировать визуальное представление для намеченной характеристики визуализации, такой как MDR-дисплей 1500 нит, в частности, посредством варианта осуществления устройства (201) цветового преобразования, содержащего модуль (1110) анализа изображений, выполненный с возможностью анализировать цвета объектов во входном изображении (Im_in) и из них определять значение для по меньшей мере одного из параметров (gpm или gpr и т.д.) настройки или пиковой яркости (PB_D) дисплея для использования при вычислении результирующего общего коэффициента (gt) умножения, либо показателя или направления, или любого параметра, или комбинации параметров согласно любому из вариантов осуществления, обеспечивающих спецификацию конечного параметра g_fin умножения, с тем чтобы получать цвета конечного повторно градуированного изображения (R, G, B)_radj.

В частности, также может быть полезным, если устройство имеет средство позволять конечному зрителю (например, телезрителю дома) оказывать влияние на визуальное представление, например, посредством самостоятельного повторного указания параметра gpr, например, посредством предоставления ему небольшого смещения в любом направлении, например, gpr_v=gpr+k*0,1, причем k выбирается из {-3,-2,..., 3}, или в общем gpr+k*N, где N является небольшим размером шага. Это позволяет в определенной степени изменять визуальное представление, но координированно с тем, что корректировщик контента указывает как релевантное для этой сцены при ее повторной градуировки, т.е. в соответствии с функциями HDR-LDR-цветовое преобразование, которые он передает в метаданных, соответствующих (видео)изображению(ям).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению должны становиться очевидными и поясняются со ссылкой на реализации и варианты осуществления, описанные далее в данном документе, и со ссылкой на прилагаемые чертежи, которые, как понимают читатели, служат просто в качестве неограничивающих конкретных примерных иллюстраций, показывающих наиболее общие принципы, которые могут быть реализованы другими способами, и на которых пунктиры используются для того, чтобы указывать то, что компонент является необязательным, при этом непунктирные компоненты необязательно являются важными. Тире также могут использоваться для указания того, что элементы, которые поясняются как важные, скрываются во внутренней части объекта, или для нематериальных вещей, таких как, например, выборы объектов/областей (и как они могут быть показаны на дисплее). Специалистам в данной области техники должно быть очевидным, что с учетом сложности вопроса и различных альтернативных реализаций, которые можно осуществлять, для краткости идей некоторые компоненты показаны только в некоторых изображениях, но что эти компоненты также могут с необходимыми изменениями добавляться в различные другие варианты осуществления. Также должно быть очевидным, что некоторые чертежи описывают аспекты вариантов осуществления на любом более высоком уровне абстрактности, например, на уровне технической инфраструктуры.

На чертежах:

Фиг. 1 схематично иллюстрирует примерное устройство для создания вторичной (исходного визуального представления от создателя, указывающего то, как сцена должна выглядеть в случае визуализации на опорном дисплее, соответствующем определенным конкретным характеристикам, таким как конкретная пиковая яркость) градуировки различного динамического диапазона из входной эталонной градуировки (которая для простоты понимания может, например, представлять собой эталонную HDR- градуировку), в которую заявитель хочет вносить улучшения с помощью дополнительных технических компонентов в этой заявке, для обеспечения возможности простого создания дополнительных градуировок, т.е. корректных визуальных представлений для других динамических диапазонов;

Фиг. 2 схематично иллюстрирует примерную базовую часть вычисления, обеспечивающую создание по меньшей мере одной дополнительной градуировки (которая называется "MDR-градуировкой"), из информации, указывающей две начальные градуировки, которые могут приниматься через некоторое средство передачи изображений со стороны создания контента или создаются на идентичной стороне, причем по меньшей мере одна из них представляет собой HDR-градуировку;

Фиг. 3 схематично иллюстрирует такую систему вычисления для вычисления дополнительной градуировки, при осуществлении в примерной системе для пояснения некоторых аспектов изобретения, причем эта система позволяет корректировщику указывать такие по меньшей мере три градуировки и кодировать информацию для них, обеспечивающую восстановление трех градуировок на приемной стороне, например, посредством потребительской телевизионной или компьютерной системы;

Фиг. 4 схематично иллюстрирует результаты использования простого варианта осуществления для создания трех примерных промежуточных градуировок (между исходной LDR- и HDR-градуировкой, созданной цветокорректировщиком создателя контента), представленных в качестве (относительных, т.е. нормализованных в 1,0) кривых преобразования яркости для преобразования входной яркости Y_HDR HDR-градуировки в выходную яркость Y_L для требуемой третьей MDR-градуировки, на основе кривой преобразования яркости для формирования второй градуировки из эталонной градуировке, причем вторая градуировка в этом примере представляет собой LDR- градуировку для дисплея на 100 нит;

Фиг. 5 схематично иллюстрирует усовершенствованный вариант осуществления, обеспечивающий дополнительную настройку форм кривых промежуточной градуировки, в частности, то, соответствуют они по характеристике распределения яркости вдоль оси возможных яркостей для визуализации более HDR-градуировки или более LDR-градуировки;

Фиг. 6 схематично иллюстрирует еще более сложный вариант осуществления, обеспечивающий более точную спецификацию кривых по меньшей мере в двух подобластях яркости, т.е. позволяющий указывать поведение повторной градуировки по-разному в зависимости от яркости объектов, для которых должно вычисляться оптимальное изображение визуального MDR-представления;

Фиг. 7 схематично иллюстрирует то, как варианты осуществления могут проводить третью градуировку для любого намеченного, например, соединяемого дисплея с визуальным представлением с конкретной пиковой яркостью, больше похожим на HDR- или более похожим на LDR-градуировку по меньшей мере в некотором поддиапазоне яркостей;

Фиг. 8 схематично иллюстрирует то, как варианты осуществления также могут находить надлежащую промежуточную цветонасыщенность пиксельных цветов MDR-градуировки для дисплея с промежуточной пиковой яркостью, начиная с входного градуированного изображения (в дополнение к яркости пиксельных цветов, можно поддерживать цветности совершенно идентичными для всех визуальных представлений, но в некоторых вариантах осуществления, можно также хотеть настраивать по меньшей мере цветонасыщенность, типично оставляя оттенки без изменений);

Фиг. 9 схематично иллюстрирует другой пример применения вариантов осуществления к конкретной взаимосвязи визуальных представлений в качестве тональной компрессии между HDR и LDR, как указано корректировщиком;

Фиг. 10 схематично иллюстрирует другой пример, возможный с помощью вариантов осуществления конкретной повторной градуировки для определенного числа дисплеев с промежуточной пиковой яркостью, которая комбинирует быстрое перемещение к визуальному LDR-представлению для первой области пикселов с яркостями в первом поддиапазоне яркости и более плавное изменение второй области пикселов с яркостями во втором поддиапазоне яркости;

Фиг. 11 схематично иллюстрирует, просто в качестве примера пояснения некоторых возможных вариантов применения настоящих технологий, некоторые возможные варианты осуществления приемных устройств, которые могут определять собственные требуемые спецификации повторной градуировки согласно принципам (и, в частности, этот чертеж также примерно иллюстрирует то, как в некоторых из этих устройств пользователь на приемной стороне может оказывать влияние на вид по меньшей мере одного MDR-изображения для по меньшей мере одного предусматриваемого сценария визуализации);

Фиг. 12 схематично иллюстрирует примерную обработку, чтобы быстро настраивать приблизительные контрастности повторно градуированного визуального представления;

Фиг. 13 схематично иллюстрирует на уровне высокоуровневых компонентов то, что должно содержать типичное устройство настройки дисплея, которое извлекает MDR-изображение;

Фиг. 14 показывает пример возможной HDR-сцены, скажем, фильма, чтобы пояснять для читателей некоторые необходимые базовые принципы технической HDR-цепочки и решение проблем;

Фиг. 15 показывает один возможный вариант осуществления того, как можно дополнительно оказывать влияние на визуальное представление вычисленных MDR-изображений, например, человеком-цветокорректировщиком со стороны создания контента, т.е. типично за некоторое время до того, как изображение(я) фактически просматриваются;

Фиг. 16 поясняет посредством примера то, как можно в инфраструктуре рассматривать требуемую обработку цветов в качестве мультипликативной математической формулировки;

Фиг. 17 показывает пояснение возможностей (например, желаний по созданию цветокорректировщиком художественно градуированного контента для изображения(й) HDR-сцены), которые могут поддерживаться, чтобы создавать MDR-изображения после повторной градуировки или настройки дисплея различными способами, например, согласно особенностям HDR-сцены;

Фиг. 18 показывает идентичный пример, но теперь просматриваемый в математической системе координат, соответствующей LDR-градуировки принимаемых визуальных представлений HDR- и LDR-изображения на HDR-сцене и в этом примере показывающей возможное определение направленной функции преобразования MDR-яркости;

Фиг. 19 показывает, соответственно, то, как такие конкретные варианты осуществления извлечения MDR могут формулироваться на повернутой шкале, и поясняет вытекающие технические последствия и решения, определенные автором изобретения;

Фиг. 20 поясняет то, как можно видеть смысл одного возможного показателя, который можно использовать с настоящим изобретением;

Фиг. 21 поясняет то, как можно учитывать в процессе MDR-формирования параметры функций HDR-LDR- или LDR-HDR-обработки цветов, которые задаются параметрически, и то, как можно (вслепую или направленно) варьировать эти параметры при необходимости, например, положений конкретных точек разграничителя яркости, и как после этого выполняется вычисление MDR-цветов в таком техническом формулировании;

Фиг. 22 показывает другую возможность указывать колориметрическое поведение для формирования визуального MDR-представления, например, цветокорректировщиком, который может передавать эту информацию в один или несколько приемных узлов; и

Фиг. 23 является графиком, показывающим то, как можно масштабироваться между нормализованными представлениями, которые привязывают относительную яркость в 1,0 к различным значениям абсолютной яркости (типично PB_D дисплея, для которого можно вычислять повторную градуировку),

Подробное описание чертежей

Фиг. 2 показывает примерное пояснение возможного варианта осуществления новых устройств цветового преобразования, которые, как предполагается на данный момент, содержатся в некотором устройстве на приемной стороне (например, в телевизионном приемнике или компьютере и т.д.). Предполагается, что часть преобразования яркости является идентичной части преобразования на фиг. 1, за исключением того, что здесь также раскрывается потенциальная разновидность варианта осуществления выполнения различных пространственно локализованных преобразований. Могут передаваться и приниматься дополнительные метаданные, которые позволяют модулю сегментации 222 отличать пикселы первого типа от пикселов второго типа. Например, часть неба, видимого через небольшое боковое окно, может получать в определенной степени отличное преобразование яркости от идентичного неба, видимого через большое главное окно. Иными словами, в или около пространственного положения (x, y) _1, пикселы с цветами (Y_sky, u'_sky, v'_sky), т.е., в частности, с яркостями, имеющими значения Y_sky в пределах диапазона, например, ярче пороговой яркости, где x и y являются пространственными пиксельными координатами, а Y является яркостью и uv-координатами u' и v' согласно CIE 1976 пикселов голубого неба, получают другое преобразование в другое Y_sky_out_2 по сравнению с пикселами, имеющими даже идентичные входные (Y_sky, u_sky, v_sky) цвета, но постоянно размещающимися в других пространственных положений (x, y) _2. Если модуль сегментации просто классифицирует пикселы и загружает различные параметры преобразования для достижения начального общего коэффициента усиления в зависимости от того, классифицируются или нет пикселы первой по сравнению со второй идентифицированной областью, остальная обработка может быть идентичной тому, что поясняется с помощью фиг. 1 (например, два параллельных тракта вычисления могут использоваться с предварительно вычисленными LUT и т.д.). Читатели должны понимать, что обработка для получения второго исходного градуированного изображения (например, LDR) из передаваемого изображения (скажем, HDR) не должна обязательно быть идентичной локальной обработке для определения MDR-изображения после настройки дисплея, под чем подразумевается не просто то, что, конечно, точные значения функций и параметров могут отличаться, но также и объяснения, приводящие к высокоуровневым формам преобразования во влияниях, могут отличаться, но по меньшей мере если принята информация в метаданных, которая обеспечивают сегментацию конкретных наборов пикселов, типично в семантически специальных объектах изображения, можно также проводить настройку дисплея, отдельно адаптированную к этим областям или объектам, например, повышать яркость огненного шара быстрее в направлении визуального HDR-представления, в случае если PB_D дисплея уже обеспечивает некоторую визуализацию HDR-эффектов, т.е. быстрее остальной части сцены, которая может настраиваться более постепенно по для различных возможных промежуточных PB_D-значений. Кроме того, различные параметры gai, cc и т.д. считываются из метаданных и отправляются в различные модули для проведения вычислений цветов (в частности, вычислений изменения яркости), но теперь, например, вторая область получает собственную кривую cc_2 преобразования яркости общей формы, тогда как основная область (большая часть неба, видимого через окно, и, например, все пикселы внутренней части помещения) преобразуется с помощью кривой cc. PB_H и PB_L преимущественно сохраняются в качестве метаданных, указывающих эти две градуировки (в частности, что коды градуировки означают точно, или другими словами, для каких условий опорной визуализации выполнены эти градуировки), и также считываются из метаданных и отправляются в модуль 200 определения коэффициентов масштабирования, который выполненный с возможностью вычислять результирующий общий коэффициент (gt) умножения на основе значений PB_L и PB_H и PB_D во всех случаях, в которых получается это значение PB_D (например, типично, соединенный дисплей передает свою пиковую яркость через ввод 117 данных).

Усовершенствованные варианты осуществления позволяют создателю контента указывать и передавать дополнительный параметр, определяющий оптимизацию градуировки, а именно, параметр (gpm) настройки, который типично является действительным числом, например, 1,253 (или его кодификацией, например, умножением на 1000 и округлением до ближайшего целого числа и т.д.). Типично, значения вверх до 1,5 и вниз до 0,6 являются достаточными для вариантов осуществления, которые работают для модификации логарифмического показателя посредством изменения степени, которая определяет значение gt, как показано ниже, но, в общем, программное обеспечение цветокорректировщика должно иметь целесообразные пределы, за рамками которых поведение повторной градуировки также становится экстремальным значением (не ожидается то, что для дисплея на 300 нит, следует сразу реализовывать визуальное представление, т.е. возбуждать его с нормализованными сигналами яркости этого визуального представления, высококачественного HDR-изображения, поскольку такой дисплей не может точно визуализировать то, что корректировщик видит в качестве, например, областей, которые являются слишком темными, в силу чего независимо от пределов, на практике, он не захочет выбирать настолько высокие значения в любом случае).

Фиг. 4 предоставляет пример очень простого варианта осуществления оптимизации отображения HDR-изображения. Предполагается, что следует преобразовывать входные яркости Y_HDR HDR-изображения (т.е. основное изображение является градуировкой 1600 нит) в качестве ввода в выходные яркости (называемые "Y_L" на этом графике) для любой желательной градуировки. Например, кривая 405 предоставляет общую стратегию (которая соответствует всем модулям по фиг. 1, выполняющим преобразование яркости, т.е. результирующие яркости начинаются с входных яркостей в начале цепочки; примечание: причина наличия такой цепочки состоит в том, что она, согласно исследованиям, является полезной на практике для обработки HDR-изображений с тем, чтобы иметь различное компонентное преобразование, которое можно воспроизводить, и также при настройке дисплея можно конкретно применять любую такую конкретную частичную информацию повторной градуировки, в любом из различных вариантов осуществления для различных сценариев) для преобразования яркости для создания отличного изображения для дисплея на 100 нит.

В этом примере, предусмотрена одна типичная из возможных стратегий, в который меньшие яркости повышаются (относительно, на нормализованной шкале!), так что обеспечивается достаточная видимость этих областей на темном дисплее на 100 нит, поскольку эти области градуированы как ультратемные в основной HDR-градуировке, поскольку они градуированы для ярких дисплеев, например, на 1600 нит. Оставшиеся большие яркости затем распределяются по верхнему диапазону, который по-прежнему доступен (в этом примере выше 50% визуализированной выходной пиковой яркости, которая, как можно отметить, вследствие нелинейной природы человеческого зрения не является слишком уж большой, но это представляет собой просто пояснение), в этом примере линейно, но конечно корректировщик может использовать, например, S-кривую или кривую мягкого отсечения для более высоких входных яркостей, чтобы создавать, например, большую контрастность в некоторых областях изображений и т.д. HDR-изображение, при преобразовании в себя (которое не обязательно следует фактически выполнять, но является теоретической конечной точкой всех фактических преобразований цветов в изображения, не имеющие пиковую яркость PB_H), является эквивалентным тождественному преобразованию с наклоном 45 градусов, так что на карте это нарисовано как позволяющее показывать градуировки, которые остаются близкими к визуальному HDR-представлению. Общие коэффициенты умножения для каждой входной яркости Y_HDR могут считываться из кривых, например, повышение b(0,2) преобразует в качестве множителя g значение Y_HDR=0,2 в требуемое Y_LDR=0,6, которое соответствует общему коэффициенту g умножения 3 для этой входной яркости. Теперь, если желательно получать оптимальную градуировку для монитора с пиковой яркостью на 800 нит (кривая 402), поскольку он по психовизуальным свойствам является относительно близким к монитору на 1600 нит (для которого принимаемая HDR-градуировка в этом примере выглядит оптимальной), и при этом может показывать контент относительно расширенного динамического диапазона, следует вычислять повторную градуировку на 800 нит (MDR_800), которая является относительно близкой к тождественному преобразованию, т.е. результирующий общий коэффициент gt умножения, здесь равный b800(0,2), должен иметь значение около 1 и аналогично для всех других входных яркостей. Оптимальные повторные градуировки для пиковой яркости PB_D намеченного или соединенного дисплея в 400 нит (кривая 403) и в 200 нит (кривая 404) должны иметь кривые и общие коэффициенты умножения, которые постепенно приближаются к LDR-преобразованию (кривой 405).

Уравнения, которые использует вариант осуществления для того, чтобы извлекать любую промежуточную градуировку, следующие:

gp=LOG (PB_H/PB_D; 2.71)/LOG (PB_H/PB_L; 2.71)

gt=POWER(g, gp) [уравнение 1]

Специалисты в данной области техники могут верифицировать, что это позволяет вычислять требуемое выходное Y_L для любого входного Y_HDR, поскольку результирующий общий коэффициент умножения может определяться, с одной стороны, на основе на приемной стороне или изображении с использованием вспомогательного фиксированного отношения gp (зависимого от дисплея, на котором следует выполнять визуализацию, который предположительно в данный момент типично должен быть один в помещениях потребителя), и с другой стороны, на основе начального g, которое может вычисляться из входного Y_HDR и метаданных для функций цветового преобразования, т.е. на основе визуального LDR-представления в сравнении с визуальным HDR-представлением, когда они приняты. Как может быть верифицировано посредством заполнения значений, gp варьируется между log(1)=0, если PB_D=PB_H, и 1, если PB_D=PB_L, т.е. оно использует полное значение g, если PB_D=PB_L, и выполняет тождественное преобразование посредством умножения RGB-значений на 1, если PB_D=PB_H.

Здесь, например, можно остановиться, так что читатели уже предполагают и понимают из этого первого простого варианта осуществления, что типично происходит, и не путаются в вещах, которые, по сути, не являются идентичными. С одной стороны, имеется поведение, которое (мультипликативно) преобразует входные яркости пикселов в выходные яркости. Кроме того, это поведение принято от создателя контента, в частности, его цветокорректировщика, поскольку типично любое приемное устройство должно принимать всю требуемую информацию для определения двух скорректированных изображений (типично визуального HDR- и LDR-представления на идентичной HDR-сцене). Кроме того, следовательно, приемное устройство может знать преобразования между этими изображениями, в любой форме, но, в частности, в форме умножения входной яркости при поддержании постоянной цветности цвета (фактически, он типично уже получает эти функции, так что их использование в любом приемном устройстве для дальнейшего применения должно быть простым). С другой стороны, поскольку градуировки не могут быть по меньшей мере полностью оптимальными для визуализации на дисплеях, которые не имеют пиковой яркости, идентичной PB, связанным с двумя градуировками, приемное устройство, возможно, помимо этого должно вычислять новую оптимальную промежуточную повторную MDR-градуировку из всей этой информации. Это также может предусматривать показатели, для которых могут определяться коэффициенты умножения, и функции преобразования яркости, которые могут аналогично преобразовываться в мультипликативные значения gt и т.д., но эти два коэффициента кодирования исходных градуировок по сравнению с вычислением MDR-изображения после настройки дисплея, хотя типично связаны, иногда в меньшей степени, по сути, не являются идентичными, в силу чего существенно отличающиеся технические принципы проектирования могут приводить к существенно отличающимся решениям (даже если некоторые компоненты имеют идентичное название, такое как, например, значение гамма в некоторых вариантах осуществления). Можно рассматривать настройку дисплея в качестве некоторой подстройки градуированной пары, хотя то, насколько точной и простой повторная должна быть градуировка, зависит от ситуации, но один из конструктивных взглядов на это заключается в том, что не следует беспокоить корректировщика фактическим созданием бесконечного количества исходных градуировок для идентичной HDR-сцены (т.е. можно хотеть, чтобы создатель контента присутствовал в каждом различном телевизоре потребителя для создания "на лету" наиболее художественно красивых специализированных изображений, но в максимально возможной степени автоматизированно с минимально возможной дополнительной работой, требуемой для корректировщика, также в зависимости от сценария и его желаний, т.е., тем не менее, с помощью различных вариантов осуществления по меньшей мере предлагающих часть необходимого управления, чтобы добиваться корректного визуального представления, в том, что является очень сложной областью техники обработки изображений и высоконелинейной системой зрения потребителей этих изображений).

На практике, конечно, эти значения gp и gt не должны вычисляться все время, а типично, поскольку градуировки могут изменяться, например, в расчете на снимок N изображений, LUT могут составляться непосредственно перед тем, как они требуются для повторной градуировки входящих изображений, которые применяют требуемую функцию преобразования, как показано на фиг. 4, например, для соединенного дисплея на 400 нит (и метаданные принимаются по меньшей мере как раз вовремя, например, за 5 изображений до этого).

В этом случае, модуль 200 должен искать требуемый результирующий общий коэффициент gt умножения, т.е., например, b800(0,75).

В случае если основное изображение представляет собой LDR-изображение, которое должно повышающее градуироваться, например, в HDR на 6000 нит, либо любое повторно градуированное изображение для промежуточной пиковой яркости, немного отличающиеся аналогичные уравнения используются в варианте осуществления:

gp=LOG(PB_D/PB_L;2.71)/LOG(PB_H/PB_L;2.71)

gt=POWER(g, gp) [уравнение 2]

Масштабный умножитель 114 теперь работает аналогично тому, как показано на фиг. 1, но умножает три компонента RGB-цвета на gt вместо g, что составляет требуемое визуальное представление цвета.

Тем не менее, можно считать, что корректировщик хочет для сложной сцены или снимка видеоизображений другую стратегию повторной градуировки, например, стратегию, которая дольше остается (т.е. для дополнительных пиковых яркостей дисплея выше LDR в 100 нит) близкой к функциональной LDR-форме. Он должен указывать это очень простым способом, так чтобы использовать не слишком много дорогого времени градуировки, в идеале, он определяет, например, только 1 один параметр, а именно, параметр gpm настройки.

Следовательно, усовершенствованный вариант осуществления модуля 200 определения коэффициентов масштабирования применяет следующие уравнения:

gpp=POWER(gp, gpm)

gtu=POWER(g, gpp) [уравнение 3]

Если gpm ниже 1, то повторные градуировки с более низкой пиковой яркостью ведут себя более LDR-образно по визуальному представлению (и кривой преобразования), и наоборот, они ведут себя более HDR-образно для gpm выше 1, и тем больше, чем более высокое gpm выбирается создателем контента или корректировщиком.

Это поведение проиллюстрировано на фиг. 5. Кроме того, следует отметить, что gpm не работает в (классическом) направлении считывания степени вдоль оси X (поскольку форма кривых, которые представляют градуировку, т.е. взаимосвязь между яркостями всех объектов для сцены, не должна значительно изменяться, тем не менее, с психовизуально разрешенными небольшими изменениями, такими как небольшое увеличение некоторой части, поскольку они соответствуют главным требуемым модификациям визуального представления яркости/контрастности, при этом остальная часть небольших преобразований принимается посредством адаптации визуальной интерпретации в мозгу), но работает в расчете на значение Y_HDR, т.е., так сказать, в направлении оси Y_L. Фактически, то, что делает gpm, представляет собой растягивание или сжатие семейства кривых к функции LDR-градуировки или, наоборот, к функции единичного преобразования HDR, т.е. определяет "активность требуемых изменений визуального представления при повторной градуировки".

На фиг. 5, выбрано значение gpm, равное 1,3, и наблюдается то, что результирующая кривая (503) преобразования яркости или общих коэффициентов умножения (теперь называемых "настроенными общими коэффициентами gtu умножения") становится более похожей на кривую тождественного HDR-преобразования. Аналогично, для коэффициента, например, в 0,8, результирующая кривая должна находиться выше кривой 403, т.е. ближе к кривой 405 визуального LDR-представления. Это может быть полезным, например, если существуют важные темные объекты в этой сцене, например, лица, для которых обосновано сохранять их достаточно яркими в течение длительного времени, т.е. до того, когда указывается то, что выполняющий визуализацию дисплей является достаточно ярким, например, выше 800 нит.

Тем не менее, это по-прежнему представляет собой глобальную настройку (в том смысле, что все яркости Y_HDR обрабатываются просто связанным способом, определенным только посредством формы функции HDR-LDR-преобразования яркости и параметра gpm). Большее влияние стратегий может возникать в результате вариантов осуществления, которые обеспечивают различную настройку для различных подобластей входной яркости (и в силу этого посредством преобразования также выходных яркостей). Например, если кривая 403 настраивается таким образом, что она становится более яркой (более LDR-образной) для меньших яркостей, при необходимости она также становится более яркой для больших яркостей (поскольку, чтобы сохранять визуальное представление, они должны для любой повторной градуировки иметь выходные яркости выше выходных яркостей темных областей изображений), и это может быть неуместно ярким. Например, яркие внешние области могут терять слишком много контрастности, и корректировщик может воспринимать их в качестве раздражающе бледных для некоторых критических сцен. Иными словами, он хочет делать более темные части сцены более яркими и в силу этого контрастными и видимыми, при одновременном поддержании верхних областей, например, близко к визуальному HDR-представлению.

Требуемое поведение показано другим способом с помощью фиг. 7. Здесь показано то, как большая часть LDR-градуированного изображения способствует визуальному представлению любой промежуточной MDR-градуировки, соответствующей любой пиковой яркости намеченного дисплея между PB_L и PB_H. Поведение по умолчанию уравнений 1 представляет собой график 701. Видно, что можно присваивать больший весовой коэффициент любой градуировки вдоль тракта изменения различных промежуточных пиковых яркостей в MDR-градуировке. Например, кривая 702 показывает ситуацию, когда MDR-градуировка остается близкой к LDR-градуировке вплоть до относительных ярких промежуточных пиковых яркостей PB_D и только для самых ярких дисплеев начинает показывать визуальное HDR-представление (в приведенном ниже пояснении на основе используемого показателя, это соответствует тому, куда попадают метки тегов для различных значений PB_D, т.е. тому, попадают или нет, например, все значения до (PB_H+PB_L)/2 близко друг к другу, т.е. близко к положению PB_L LDR-градуировке). То, выбирается или нет и в какой степени выбирается такая кривая, должно зависеть от взаимосвязи между HDR- и LDR-градуировками, т.е. функциями, чтобы выполнять цветовое преобразование между ними. Корректировщик, возможно, выполняет различные вещи, такие как, например, выделение яркостью более темных частей в LDR-градуировке, мягкое отсечение более ярких частей, увеличение контрастности некоторой промежуточной части, проведение некоторой конкретной обработки насыщенности на красочном витраже и т.д., но, например, если существуют, например, критические темные области, кривая, такая как 702 может выбираться корректировщиком, и ее значение gpm может передаваться в различные приемные устройства, в/ связываемые с S_im. Кривая 703, с другой стороны, представляет собой кривую, которая быстро вводит значительную пропорцию визуального HDR-представления, даже для относительно темных соединенных дисплеев.

В примере по фиг. 6, корректировщик указывает режим оптимизации, разграничивающий значение (Lt) (сигнала яркости или) яркости в примере, равное 0,43. Ниже этого значения Lt, он указывает первое значение gpm, например, gpm_1=0,3, т.е. для всех входных цветов с яркостью Y_HDR<=Lt, результирующая кривая вычисляется так, как пояснено с помощью фиг. 5, для этого значения gpm_1. Выше Lt, корректировщик хочет переходить в новый режим повторной градуировке, и в этом примере для более ярких цветов он хочет иметь визуальное HDR-представление. Он определяет большее единицы значение, в примере gpm_2=2,0, что приводит к тому, что более яркие пикселы получают достаточно строгое HDR-образное визуальное представление, более строгое, чем обычно требуется, но согласно этому примеру. В примере, вместо немедленного использования gpm_2=2,0 для значений Y_HDR выше Lt, он указывает интерполяцию, чтобы создавать плавную переходную область. Это может указываться различными способами, в примере пояснения, простым способом посредством указания верхней яркости переходного режима, Lt2=0,72. Выше 0,72, настроенный общий коэффициент gtu умножения, используемый для того, чтобы, например, создавать LUT кривой, определяется посредством использования gpm_2=2,0 или gpp_R=0,25 в этом примере. В переходной области, используется стратегия интерполяции, осуществленная, например, посредством вычисления сначала степенных значений на обеих сторонах перехода, которые должны позднее служить для определения общего коэффициента gtu умножения для темных, соответственно, ярких входных яркостей, и затем их интерполяции в переходных областях посредством вычисления, например, следующим образом:

gpp_L=POWER(gp, gpm_1)

gpp_R=POWER(gp, gpm_2)

gpp_i=gpp_L+(Y_HDR-Lt)*(gpp_R-gpp_L)/(Lt2-Lt) [уравнение 4]

Конечно, могут использоваться другие стратегии интерполяции, если корректировщик хочет.

Это значение gpp_i затем используется для определения, аналогичного определению, поясненному с помощью фиг. 3, значение gtu для каждой входной яркости в переходном диапазоне (т.е. gtu=POWER(g, gpp_i)), хотя на обеих сторонах переходного процесса, на котором соответствующее значение gpp_L или gpp_R используется в степенной функции g, и с этим формулированием результирующая кривая, такая как, например, 603 может вычисляться из кривой 403, которая должна получаться в результате способа, поясненного с помощью фиг. 4, либо на практике результирующая кривая вычисляется непосредственно. Согласно дисплею на 800 нит, эквивалент более простой кривой 402 теперь должен представлять собой кривую 602, которая, как фактически можно отметить, ведет себя гораздо более аналогично LDR для более темных пикселов, при этом во многом аналогично HDR для более ярких пикселов. Должно быть очевидным, что для такого варианта осуществления, модуль 200 должен давать в результате эквивалент gtu для gt, и иначе все может быть аналогичным для различных возможностей варианта осуществления. В этом примере, интерполированы значения gtu, которые должны использоваться для общего умножения, посредством фактической интерполяции значений gpp, задающих их, но альтернативные варианты осуществления также могут интерполировать значения gtu, получающиеся в результате на любой стороне переходного процесса. Типично, кодер должен указывать то, какой способ используется. Например, он может указывать то, что декодер должен вычислять значения gtu на обеих сторонах интервала [lt1, Lt2], затем линейно интерполировать эту кривую в пропущенных точках в интервале и сохранять ее в качестве конечной LUT для обработки яркости текущего снимка изображений.

Следовательно, с помощью этих вариантов осуществления корректировщик может просто задавать усовершенствованную стратегию повторной градуировке визуального представления различных возможных дисплеев, эксплуатируемых для еще более сложного кодирования HDR-сцены. В простых случаях, он должен кодировать только одно значение gpm, поскольку, например, по умолчанию верхнее значение gpm_2 может пониматься посредством любого приемного устройства для такого сценария как фиксированно равное 1,0. Альтернативно, без беспокойства корректировщика, но для уверенности в том, что имеющее меньшую совместимость приемное устройство не понимает неправильно намерение корректировщика, в случае если корректировщик задает только, например, нижнее значение gpm_1 и пороговое значение Lt, то кодер по умолчанию заполняет gpm_2=1,0. В случае если корректировщик указывает только степенное значение gpm_2 для яркостей выше Lt, кодер заполняет 1,0 по умолчанию для gpm_1. Типично, кодер также может автоматически определять стратегию интерполяции, которая, как он считает, должна выглядеть хорошо (давать в результате по меньшей мере монотонно возрастающие кривые MDR-градуировки), и корректировщик может принимать кодирование этой стратегии в метаданных (например, в качестве значения Lt2), ничего не делая, или вместо этого повторно указывать более превосходно выглядящую стратегию интерполяции (при необходимости, корректировщик также может подстраивать значения gpm на обеих сторонах Lt). В общем, согласно новым принципам, каждый общий коэффициент g умножения, кодифицирующий разность градуировки между HDR и LDR-градуировкой, может использоваться для определения оптимизированной повторной градуировки посредством задания подходящего степенного значения GP для каждого входного Y_HDR, причем это степенное значение GP может указываться посредством любой кривой, кодифицированной в качестве метаданных любым способом, например, кривой с тремя точками Lt для интересных режимов яркости на текущем снимке изображений и вместо, например, фиксированных значений gpm или gpp на каждой стороне, например, линейной или параболической динамики в поддиапазоне входных яркостей между Lt2 и Lt3 и т.д., и затем повторно градуированное изображение вычисляется посредством использования gtu=POWER(g, GT) для любого Y_HDR в качестве ввода и применения этого gtu к любому линейному цветовому кодированию текущего обрабатываемого пиксельного цвета.

Таким образом, как пояснено с помощью фиг. 2, любое приемное устройство, получающее различные метаданные, может реализовывать требуемый вариант осуществления оптимизации после настройки дисплея, как указано посредством стороны создания контента. Если обобщать по меньшей мере одно градуированное изображение с пиксельными цветами необходимо в качестве фактически кодированного и передаваемого изображения и в качестве начальной точки, например, градуировки на 2000 нит (то, что фактически передано и принято, например, типично MPEG-сжато, называется "основным изображением"). Далее приводится определение функций, чтобы определять по меньшей мере одну дополнительную градуировку (например, LDR, если основное изображение представляет собой, например, HDR в 2000 или 5000 нит), настолько точную, насколько корректировщик задает ее посредством использования различных возможных глобальных или локальных функций (пояснен главным образом аспект обработки яркости, который является главным аспектом повторной градуировки динамического диапазона яркости (т.е. определение другого визуального представления на сцене для дисплея с различными характеристиками динамического диапазона, которые содержат по меньшей мере пиковую яркость) но типично также могут быть предусмотрены цветовые преобразования, такие как обработка насыщенности по меньшей мере некоторых объектов изображения и потенциально даже изменений оттенка). Это преобразование может передаваться, например, по меньшей мере через произвольное Y_HDR-Y_L-преобразование, заданное в качестве пользовательской кривой cc, например, задающей то, как преобразовывать градуировку на 2000 нит в градуировку, которая является теоретически оптимальной для (опорного или целевого) дисплея с пиковой яркостью на 500 или 10000 нит или значений около этого. Затем, если преобразование для принимаемого HDR-изображения требуется, например, поскольку дисплей с в определенной степенью другой пиковой яркостью присутствует на приемной стороне, или, например, поскольку пользователь использует свой пульт дистанционного управления для того, чтобы управлять максимальной яркостью ниже теоретического максимума 10000 нит (аналогично созданию вида нового дисплея), может быть предусмотрено несколько вариантов осуществления изощренности относительно того, как создавать новую повторную градуировку, например, для 8000 нит. Более простые версии могут быть в основном автоматическими и до определенной степени игнорировать колориметрические и семантические подробности снимка изображений HDR-сцены, а более точно, то, что корректировщик сообщает или должен сообщать об этом, т.е. то, как он хочет видеть, что изменения, например, меньшей яркости происходят в распределении относительной яркости различных объектов вдоль оси яркости вплоть до доступной пиковой яркости. Это распределение различных яркостей объектов изображения должно определять так называемое визуальное представление сцены (например, то, является она неяркой в основном темной ночной сценой, при этом передает достаточное мелькание форм зданий), в числе прочего вследствие эффекта межобъектных контрастностей (например, витраж является красочным, но при этом гораздо более ярким по сравнению с внутренним убранством церкви), и типично предусмотрена некоторая требуемая оптимизация, поскольку даже если существует достаточный динамический диапазон на дисплее для визуализации конкретной изображенной сцены, типично приходится иметь дело с художественным определением семейства визуальных представлений, вместо точного распределения яркостей объектов вдоль оси яркости, по сути, как в исходной захваченной сцене (т.е., например, корректировщик может выбирать задавать солнечную внешнюю область только на несколько остановок ярче внутренней области, чтобы иметь достаточное моделирование уличного эффекта, вместо, например, 5 остановок). Также следует отметить, что искусство заключается в создании надлежащих внешних представлений, и человеческое зрение является чрезвычайно сложным, так что желательно иметь технологию, которая одновременно является достаточно простой (иначе она не приспосабливается), но при этом достаточно мощной по возможностям обрабатывать по меньшей мере большинство сценариев в достаточной степени (иначе создатели контента не могут удовлетворительно использовать ее), и это именно то, чем должны заниматься авторы изобретения. Как изучено выше, корректировщик может использовать различные параметры, чтобы изучать то, как повторные градуировки должны зависеть от градуировки по меньшей мере на одной стороне интервала, в котором находится пиковая яркость намеченного дисплея, т.е. то, как кривые градуировки преобразуются друг в друга. При использовании одного или более параметров, корректировщик имеет быстрое, но мощное управление относительно того, как приемные устройства должны вычислять различные потенциально необходимые повторные градуировки. Приемные устройства должны просто применять математические операции к входным цветам основного изображения. Хотя изучен прагматично простой вариант осуществления, работающий для линейных пиксельных RGB-цветов, специалисты в данной области техники понимают, что принципы также могут эквивалентно применяться, например, к Yu'v'-представлениям цветов, в которых, например, поддерживаются постоянными ультрафиолетовые компоненты, и Y преобразуется при необходимости или посредством использования Y-коррелятов, таких как значение V=max(R, G, B), оба из которых представляют собой линейные комбинации линейных цветовых коэффициентов, которые могут аналогично мультипликативно масштабироваться и т.д. Также следует отметить, что пояснены основы вариантов осуществления на основе PB_D намеченного дисплея, в случае если, например, телевизионный производитель имеет взгляд на более сложную обработку для повышения поразительности HDR-эффектов, такую как, например, повышения локальной контрастности и т.д., он может координировать эту обработку в результирующей настройке дисплея с необходимыми изменениями с информацией от создателя контента, например, локальными градиентами функций преобразования яркости, информацией сегментов объектов и т.д.

Фиг. 3 показывает пример технологии, применяемой на стороне создания и кодирования изображений или видео, например, в центре постпроизводства ТВ-программ киностудии или в центре производства ТВ-программ для вещателя, или даже в простейшей форме в студии на колесах для производства передаваемых вживую ТВ-программ и т.д. Сервер 301 данных имеет устройство хранения для предоставления начального изображения Im_src (которое типично представляет собой HDR-изображение, т.е. по меньшей мере с объектами с высокой яркостью, например, выше подлежащей визуализации яркости на 1000 нит и зачастую также с темными объектами, хотя в некоторых вариантах осуществления оригинал может представлять собой изображение с некоторым более узким динамическим диапазоном, в котором корректировщик по-прежнему должен создавать HDR-эффекты посредством вычисления, например, огненного шара с помощью математических операций компьютерной графики, причем этот огненный шар может представляться как одно или более небольших изображений), или видеопоследовательность через ввод 302. Без ограничения можно допускать, она представляет собой, например, необработанную видеозапись камеры. Преобразователь 303 изображений выполненный с возможностью преобразовывать эти необработанные данные, например, в основное HDR-изображение на 5000 нит, для которого отношение между яркостями для визуализации и цветовыми кодами (содержащими сигналы яркости и два других компонента, кодифицирующие цветовые аспекты цвета) определяется посредством заранее выбранной, типично фиксированной, но потенциально варьирующейся электрооптической передаточной функции (EOTF). Типично, создатель контента может задавать изображение связанным с дисплеем способом, т.е. задавать то, как оно должно отображаться на опорном дисплее на 5000 нит, и преобразование из яркостей сцены из камеры или эквивалентных цветовых координат типично предусматривает художественную градуировку, которая называется "эталонной градуировкой M_XDR" (например, лампы 20000 нит могут быть кодированы как коды для визуализации в 5000 нит после применения EOTF, и такие факторы, как настройки относительной экспозиции камеры, в таком случае также более не являются обязательно важными). Кроме того, преобразователь 303 изображений содержит модуль 304 преобразования цветов, выполненный с возможностью выполнять любой набор преобразований цветов, который требуется, чтобы проводить хорошую эталонную градуировку. Параметры для этих преобразований не должны обязательно сохраняться, поскольку система с этого момента и далее, т.е. также при декодировании на приемной стороне, может начинать просто с этой эталонной градуировки (которая типично должна сохраняться в сигнале S_im изображения, который может форматироваться, например, согласно традиционным технологиям кодирования видео, таким как MPEG_HEVC, т.е. при этом эталонная градуировка, представляющая собой основное изображение, сохраняется в качестве DCT-преобразованного набора компонентных YCbCr-изображений и метаданных, например, в качестве SEI-сообщений), но некоторые варианты осуществления также могут сохранять некоторые метаданные из этой эталонной градуировки. Во-вторых, согласно изобретению, корректировщик также должен градуировать визуальное представление IM_GRAD_LDR со вторым динамическим диапазоном, например, LDR для дисплеев на 100 нит, поскольку эта информация требуется для последующей оптимизации фактического дисплея. Функции для этого преобразования обязательно должны сохраняться, т.е. модуль 304 цветового преобразования должен записывать соответствующие параметры (например, gai, cc) в метаданные S_im. Требуемый ввод от корректировщика может вводиться через ввод 331 данных, соединенный с пользовательским интерфейсным средством 330 спецификации цветов, таким как, например, клавиатура, которая может представлять собой выделенную консоль для цветокоррекции, и т.д. В примерном варианте осуществления, предполагается, что эталонная HDR-градуировка M_XDR сохраняется или передается в качестве основного изображения наряду с функциями понижающей градуировки, позволяющими, на приемной стороне, вычислять LDR-градуировку, но альтернативно можно также сохранять/передавать вторичную градуированную LDR-градуировку в качестве основного изображения, наряду с функциями повышающей градуировки для восстановления по меньшей мере достаточно близкой аппроксимации эталонной HDR- градуировки на приемной стороне, либо промежуточная градуировка может использоваться в качестве основного изображения, с функциями для того, чтобы получать LDR- и HDR-градуировки, созданные на стороне кодирования, и т.д.

Обработка основного изображения в модулях 104, 105, 106, 102 и т.д. также является аналогичной обработке, которая пояснена с помощью фиг. 2, поскольку кодер должен моделировать для корректировщика то, что фактически должно происходить на стороне декодирования. Тем не менее, теперь типично значения параметров (gai, cc и т.д.) различных модулей обработки цветов вводятся посредством надлежащей настройки человеком-корректировщиком, хотя другие варианты осуществления также могут считывать их из метаданных, аналогичных тому, как это происходит на фиг. 1, например, если некоторый корректировщик выполняет понижающую градуировку с помощью другого модуля цветового преобразования, возможно в другое время. Например, он может использовать программу цветового преобразования с другими математическими преобразованиями, задающими вторую градуировку, и модуль промежуточного преобразования может преобразовывать эту обработку цветов в обработки результатов с приблизительно равным визуальным представлением с помощью любого из субмодулей комбинированной обработки цветов по любому из вариантов осуществления, чтобы выполнять HDR-LDR-преобразование или другое преобразование динамического диапазона. Модуль 200 определения коэффициентов масштабирования типично может первоначально предварительно загружаться с одним gpm, равным 1. В этом случае, моделирование применяет уравнения 1 или 2, чтобы создавать MDR-градуировку. Корректировщик может, например, смотреть параллельно (или последовательно адаптировать свое зрение по-другому и т.д.) на три дисплея посредством вывода связанных изображений по отображаемому выводу 311, а именно, на HDR-дисплей 312, показывающий HDR-градуировку, которая в этом случае представляет собой основное изображение, также называемую "эталонной градуировки", на LDR-дисплей 314, показывающий градуировку LDR на 100 нит и типично представляющий собой опорный монитор на 100 нит, и на надлежащим образом выбранный MDR-дисплей 313 для показа повторно градуированной оптимальной промежуточной градуировки согласно любому выбранному одному из вариантов осуществления. Этот MDR-дисплей 313 может, например, выбираться логарифмически около середины типичных двух доступных LDR- и HDR-градуировкой. Если корректировщик, например, работает в формате, который типично стандартно использует пиковую яркость в 2000 нит для HDR-градуировки, он может выбирать MDR-дисплей, который имеет пиковую яркость в 400 нит (4×100 и приблизительно 2000/4). Поскольку оптимизация аппроксимируется в качестве регулирования визуального представления второго порядка, некритично то, проведена проверка, например, на MDR-дисплее на 500 или 600 нит. Кроме того, корректировщик может выбирать использовать, например, популярный дисплей во время создания контента. Если большинство эксплуатируемых дисплеев имеют пиковую яркость около в 800 нит, корректировщик может выбирать такой MDR-дисплей на 800 нит (даже если он может корректировать эталоны на 5000 нит для будущего, в котором ожидаются лучшие дисплеи, но конечно он также хочет, чтобы его фильмы выглядели хорошо на текущих дисплеях на 800 нит сегодня). Обычно преимущественно находиться примерно около средней точки для MDR-дисплея, поскольку именно здесь предположительно необходимо наибольшее количество повторных градуировок. Но корректировщик может, например, также выбирать второй LDR-дисплей для проверки критичности любого LDR-образного визуального представления, также на дисплеях, которые могут предоставлять немного более контрастные визуальные представления, так что в этом случае MDR-дисплей может, например, находиться только в одной или 1,5 остановках выше 100 нит. В случае если корректировщик доволен визуальным представлением, он может нажимать кнопку "Завершить". В примере, он может, например, сохранять сигнал S_im (т.е. основное изображение и метаданные для понижающей градуировки), и в предыдущем примере значение gpm 1,0, но в усовершенствованных вариантах осуществления, усовершенствованные данные оптимизации MDR-градуировки на изделии 321 памяти, таком как, например, Blu-Ray-диск (BD), через вывод 320 изображений. Специалисты в данной области техники должны понимать, что аналогично данные, например, могут сохраняться на сервере, для последующей поставки например, по Интернету либо передаваться в широковещательном режиме в реальном времени и т.д. В усовершенствованных вариантах осуществления, корректировщик может использовать вычисление MDR-градуировки, применяя, например, функцию 503 в качестве начальной точки. Он затем может дополнительно градуировоть таким образом, чтобы получать точное третье визуальное представление, с улучшением согласно этому простому принципу повторной градуировки (т.е. он снова использует по меньшей мере некоторые инструментальные средства технологии кодирования исходных градуировкок, но может начинать с повторной MDR-градуировки после настройки дисплея вместо эталонной градуировки, добиваться третьей исходной градуировки и набора функций цветового преобразования, которые должны передаваться в некоторое приемное устройство). Например, он может определять область изображений снимка и применять дополнительную пользовательскую кривую к нему, чтобы конкретно обрабатывать эти подобласти/объекты. Это может использоваться, например, если лицо в темноте является критически важным, простые функции повторной градуировки обеспечивают его удовлетворительность, так что все, к примеру, глаза и выражение лица может хорошо восприниматься, но и сейчас достаточно критичный корректировщик по-прежнему не удовлетворен (во всех отраслях деятельности, некоторые люди могут быть менее критичными по сравнению с другими, гораздо более критичными). Выбранная простая функция повторной градуировки может приводить к хорошей MDR-градуировки, например, для 500 нит, в отношении окружения (например, темной улицы), поскольку оно не наблюдается настолько критически, но корректировщик может хотеть сделать лицо более здоровым и применять некоторую дополнительную функцию. Метаданные для этой третьей (частичной) градуировки затем могут также сохраняться в качестве одной или более функций на Blu-Ray-диске или передаваться в качестве дополнительных метаданных и т.д. Один или более модулей 310 форматирования сигналов могут быть предусмотрены с целью форматировать все данные в требуемом формате. Например, для возбуждения дисплея, другое кодирование может использоваться согласно ограниченной полосе пропускания соединения дисплея, чем для сохранения, например, на BD, причем в этом случае отформатированное изображение SF_X2DR с расширенным динамическим диапазоном может кодироваться согласно любой схеме HDR-кодирования, но предпочтительно согласно схеме, в которой основное изображение дополняется посредством метаданных, кодифицирующих цветовые преобразования для вычисления изображения со вторым динамическим диапазоном из основного изображения, причем два изображения предназначены для дисплеев с существенно отличающимся динамическим диапазоном, т.е. типично по меньшей мере коэффициент 2. В примере, уже предполагается то, что конвейер обработки яркости (осуществленный как 102) содержит преобразование в типичный LDR-формат (к примеру, обратное 709, выполняемое посредством модуля 112), но MDR-дисплей может иметь другой исходный формат и т.д., который может отслеживать модуль 310 форматирования. Это не является доминирующей частью новых идей, должно быть очевидным для специалистов в данной области техники и не представляется подробнее.

Фиг. 8 описывает то, как принцип оптимизации может работать с возможностью получать корректную цветонасыщенность пиксельных цветов для возбуждения MDR-дисплеев с промежуточной пиковой яркостью, аналогично вышеописанной обработке яркости. В некоторых вариантах осуществления, можно предпочитать выполнять оптимизированное масштабирование как яркости, так и насыщенности, хотя другие варианты осуществления могут использовать только масштабирование яркости. Входные цвета имеют входную насыщенность или, более точно, сигнал C_in цветности, который упоминается как нулевое значение, представляющее собой белый цвет. Имеется несколько определений насыщенности, например, насыщенности, нормализованные в [0,1], к примеру, в HVC, или другие насыщенности, к примеру, в uv согласно CIE 1976, но они все имеют такое свойство, что насыщенность цвета задается посредством вектора, начинающегося в предварительно определенном белом цвете, к примеру, D65, и идущего на определенное расстояние. Предположим, что во входном HDR-изображении имеется пиксел, который имеет насыщенность Cs и который должен увеличиваться до значения Cf. Это может задаваться посредством коэффициента s умножения, который представляет собой коэффициент, аналогичный вышеописанному начальному общему коэффициенту g умножения. Если LDR- является более насыщенным, чем HDR-изображение (что, например, может быть обусловлено тем, что каждое снижение яркости областей визуализированного изображения вследствие характеристик меньшей пиковой яркости дисплея соответствует снижению насыщенности цвета, которая должна градуироваться посредством указываемой корректировщиком обработки насыщенности), целесообразно также увеличивать насыщенность MDR-градуировок, но в меньшей степени, а именно, для коэффициента st, который является вариантом осуществления gt. Устройства, которые имеют характеристики обработки насыщенности, типично должны иметь процессор 106 цветонасыщенности, который не является простым процессором с использованием фиксированного множителя s насыщенности, а вместо этого выполненный с возможностью предоставлять надлежащим образом масштабированную насыщенность. Обработка насыщенности может быть фиксированной по всем яркостям, что может достигаться с помощью одного мультипликативного значения s, но по-прежнему требуется оптимизация отображения до оптимального значения для каждого соединенного MDR-дисплея, но типично для преобразования динамического диапазона можно хотеть более сложную обработку насыщенности. Например, насыщенность может варьироваться в зависимости от яркости или значения минус яркость и/или входной насыщенности и т.д. Тем не менее, важно то, что требуемая повторная градуировки насыщенности (т.е. между HDR- и LDR-изображением) для каждого входного пиксела указывается корректировщиком и передается в метаданных MET, она может определяться в приемном устройстве и затем надлежащим образом масштабироваться. Типично, процессор 106 цветонасыщенности должен иметь некоторый механизм на основе таблиц поиска для того, чтобы определять s. Например, если входной цвет (Ri, Gi, Bi)=(0,2, 0,3, 0,7), LUT составляет, например, s=1,1, либо в случае уменьшения насыщенности, например, s=0,5 и для другого входного цвета может быть идентичным или другим значением s. Процессор 106 цветонасыщенности затем содержит модуль для вычисления результирующего коэффициента (st) умножения насыщенности, представляющего собой вариант осуществления результирующего общего коэффициента gt умножения, который является аналогичным модулю 200, и вычисляет: st=POWER(s, sp). Отношение sp может быть предназначено для насыщенности, в определенной степени отличающейся от обработки яркости, но типично оно по-прежнему должно зависеть от взаимосвязи между PB_D, PB_H и PB_L и зачастую нет необходимости задавать его отличающимся от того, как вычисляется gp (но, конечно, можно использовать различные значения gpm для обработки насыщенности и яркости, что заставляет яркости визуального MDR-представления больше походить на визуальное LDR-представление, например, при этом заставляет насыщенности больше походить на насыщенности HDR-изображения и т.д.). Как видно на фиг. 8, также может быть целесообразным использовать различные режимы насыщенности, заданные посредством, например, разграничителей Lts насыщенности (которые фактически могут быть любой информацией разграничения, позволяющей классифицировать пиксельные цвета в двух или более различных классах для различной обработки насыщенности), например, для указания области уменьшения насыщенности для обработки высоких яркостей в повторных градуировках низкой пиковой яркости и области для повышения насыщенности цвета для более темных цветов и т.д.

Преимущественно, типично обработка насыщенности выполняется следующим образом:

Ro=st*(Rin-Y)+Y

Go=st*(Gin-Y)+Y

Bo=st*(Bin-Y)+Y [уравнение 5],

где Ri, Gi, Bi являются линейными входными цветовыми компонентами, и Ro, Go, Bo являются результирующими выходными цветовыми компонентами после обработки насыщенности, и Y является линейной яркостью, т.е. линейной комбинацией a*Ri+b*Gi+c*Bi, с предварительно определенными константами a, b и c, хотя могут использоваться другие эквивалентные обработки.

Фиг. 9 предоставляет дополнительный пример относительно того, как можно уже придерживаться иногда сложных оптимизированных в зависимости от сцены особенностей желания корректировщика, даже с простейшими из вариантов осуществления, которые постоянно размещаются только в простом вычислении повторной градуировки в приемном устройстве и относительно которых корректировщик, например, не более не хочет выполнять дальнейшую проверку. В этом примере, используется зависимое от пиковой яркости дисплея на основе логарифмической намеченной визуализации масштабирование согласно уравнению. 1. Наблюдается то, что этот способ уже может очень хорошо задавать необходимые яркости и контрастности, когда они необходимы в сцене. Например, в этом примере, областям с в некоторой степени выше 60% (линейно) от максимума (т.е. белого цвета), который, как предполагается, задан в HDR-изображении, возможно, типично требуется некоторое выделение яркостью в этой визуализации. С другой стороны, в этом примере также имеется критическая область изображения около 50%, которая, например, может представлять собой лицо актера в части сцены, которая подсвечивается относительно ярко. С другой стороны, в более темных областях изображения в этом примере, кажется, нет слишком большого количества объектов с высоким интересом, поскольку визуальное LDR-представление может позволять себе строго мягко отсекать эти более темные области. Она может представлять собой сцену, в которой например, многое происходит снаружи, например, в освещенной солнцем среде, а часть внутри, которую можно художественно решать затемнять в определенной степени, скажем, может представлять собой сарай или убранство храма, которое видно через небольшую дверь, и в силу этого в любом случае не слишком релевантно то, что там (вследствие небольшого размера области, даже в HDR-визуализации на HDR-дисплее, зрительная система может быстро отбрасывать это в качестве "неинтересного черного цвета", и в силу этого с идентичной философией градуировки, корректировщик может решать проводить означенное также в LDR приблизительно то, что видится в качестве черного цвета (следует отметить, что способы должны иметь возможность работать в более точных, а также менее критических разновидностях градуировки и типично с более простыми и более сложными HDR-сценами, причем первая представляет собой, например, две пространственные области изображения, точная средняя яркость которых является не очень важной в MDR-визуализации, а вторая имеет, например, очень точные требования по визуализации, такие, как, например, монстр, частично скрытый в тумане). Важное свойство заключается в том, что даже с помощью простейших вариантов осуществления, можно отлично приблизительно получать внешние представления с хорошей яркостью и все соответствующие определимые контрастности (т.е. между яркостью выбранного интересного пиксела 1 и 2 или средней яркостью интересной области 1 и 2, например, темного угла и части внешнего мира, видимого через окно помещения), для всех промежуточных динамических диапазонов (MDR). На этом фиг. 9, кривая 909 представляет собой преобразование яркости, которое должно применяться, чтобы преобразовывать визуальное HDR-представление на 5000 нит в визуальное LDR-представление на 100 нит, HDR, преобразованный в себя неизменным, конечно, должен соответствовать диагонали, и другие кривые представляют собой преобразования, требуемые для того, чтобы повторно градуироваться в различные MDR-градуировки для дисплеев с различными пиковыми яркостями между 5000 и 100 нит, в которые должны предоставляться оптимизированные изображения визуального представления.

Фиг. 10 показывает другой усовершенствованный пример, разрешенный посредством вариантов осуществления (независимо от того, управляется он (частично) человеком-корректировщиком на стороне создания контента или посредством автоматической повторной градуировки, проведенной посредством конкретного приемного устройства, например, телевизионного HDR-приемника). Этот пример показывает то, как можно интеллектуально повторно градуироваться, если имеется дополнительная семантическая информация относительно различных областей изображения, определенная простым способом (например, корректировщиком и передаваемая либо посредством модуля анализа изображений, постоянно размещающегося исключительно в приемном устройстве), в качестве одного разграничителя Lrc яркости (или сигнала яркости). В этом примере, более яркая область может быть очень критичной, и более темную область может быть затруднительно оптимизировать одновременно (т.е. поддерживать, например, достаточную контрастность для всего темного диапазона возможных пиксельных яркостей на снимке изображений при одновременной необходимости достаточно большой части диапазона яркости для нижних MDR-изображений, чтобы визуализировать с достаточным визуальным качеством более яркую область изображения), т.е. можно быстро решать соглашаться на уменьшение качества конкретным способом. Быстро означает, что даже для пиковых MDR-яркостей (PB), которые находятся близко к PB HDR, например, если PB_H=2800 нит, PB_MDR составляет 2500 нит, более узкий диапазон полностью или большей частью преобразуется согласно стратегии, которая имитирует визуальное LDR-представление на 100 нит. Тем не менее, более яркая область может более постепенно настраиваться к визуальному LDR-представлению по различным MDR PB между 2800 и 100 нит. Эта стратегия может быть определена корректировщиком по меньшей мере частично или в качестве начальной направляющей стратегии, но также и определена (например, посредством аннулирования независимо от того, что корректировщик указывает, например, он, возможно, указывает плавную повторную градуировку к визуальному LDR-представлению и для более темных и для более ярких областей изображений снимка) посредством самого приемного устройства.

Вышеприведенные примеры пояснены со сценарием варианта осуществления, в котором предусмотрен человек-корректировщик, т.е. разрешено распоряжение конечной визуализацией своих изображений посредством этих вариантов осуществления системы передачи HDR-изображений, альтернативно, также компьютерный алгоритм может использоваться в качестве автоматического корректировщика. Это может происходить на стороне создания, на которой алгоритм может выполнять высокоинтеллектуальный анализ изображений не в реальном времени, например, идентифицировать области, конкретные виды текстур или даже идентифицировать классы объектов, таких как люди, определенные животные, автомобили на солнце с зеркальными отражениями на их металле и т.д., и на основе статистической информации в отношении того, как корректировщик типично хочет корректировать эти виды сцен и их объекты. Тем не менее, модуль автоматической градуировки также может постоянно размещаться в приемном устройстве и применять обработку улучшения изображений, кодифицирующую сведения по качеству изображений, разрабатываемые, скажем, производителем телевизионных приемников в течение десятилетий (и может составлять его визуальное представление подписи). Новое решение состоит в том, чтобы теперь включать их в настоящую технологию повторной HDR-градуировки. Фиг. 11 поясняет это с помощью примерного варианта осуществления модуля 1130 цветового преобразования приемного устройства, скажем, например, включенного в телевизионный приемник или абонентскую приставку, или компьютер, соединенный с коммерческим дисплеем в супермаркете или на мероприятии вне помещения и т.д.

Изображения видео и метаданные, чтобы выполнять собственную повторную цветокоррекцию (например, из HDR на 5000 нит в качестве входных изображений Im_in, в LDR на 100 нит, посредством логарифмической шкалы, поясненной с помощью фиг. 1, с параметром lg, выбранным в качестве оптимального для этой сцены человеком-корректировщиком на стороне создания, а также с параметрами P_CC, задающими, например, полилинейную форму пользовательской кривой тональной компрессии), принимаются через сеть 1101 передачи изображений в этом примере (скажем, например, видеосервер, соединенный через Интернет, либо услугу телевизионного вещания, широковещательно передаваемую или многоадресно передаваемую по мобильной телефонной сети и т.д.). Модуль 1102 определения коэффициентов масштабирования затем применяет спецификацию тональной компрессии, указываемую в качестве оптимальной для того, чтобы преобразовывать визуальное представление на одном конце намеченного диапазона (хотя идентичные принципы могут в принципе также использоваться для того, чтобы в определенной степени выходить за пределы границ диапазона), скажем, HDR, в опорное визуальное представление на другом конце диапазона, скажем, LDR на 100 нит, и в силу этого определяет начальный коэффициент g_nat масштабирования, чтобы проводить линейное (или потенциально даже нелинейное) RGB-масштабирование. Второй модуль 1103 определения коэффициентов масштабирования определяет конечный коэффициент g_fin масштабирования, который следует использовать в текущей ситуации, но теперь в этом варианте осуществления, этот коэффициент может определяться посредством сведений по улучшению изображений приемного устройства. Кроме того, содержится модуль 1110 анализа изображений, который может содержать различные модули анализа изображений (которые типично могут представлять собой, например, различные программные компоненты анализа изображений или их аппаратные реализации). В этом простом примере пояснения, описываются модуль 1112 анализа гистограмм и модуль 1112 распознавания объектов. Модуль 1112 анализа гистограмм может быть выполненный с возможностью анализировать распределение яркости изображения(й) и определять то, что существует, например, много темных пикселов, либо может быть, семантически важные пикселы являются темными (поскольку модули могут взаимодействовать). После этого он может определять, например, разграничитель темной области и намеченную стратегию выделения яркостью. Модуль 1112 распознавания объектов может содержать, например, детектор лиц, который может обнаруживать лица, имеющие различную яркость, поскольку актеры стоят в различных по-разному освещенных частях сцены. Из всех этих сведений, модуль 1113 определения параметров стратегии определяет соответствующие параметры, согласно которым из различных вариантов осуществления, которые раскрыты, постоянно размещается во втором модуле 1103 определения коэффициентов масштабирования (следует отметить, что часть этой функциональности может постоянно размещаться в других компонентах в некоторых устройствах или системах, но она описывается функционально). Например, логический способ модуля 1113 определения параметров стратегии, чтобы передавать то, что он хочет, например, выделять яркостью сцену, и, в частности, более темные цвета больше собственного способа корректировщика (который может заключаться просто в применении уравнения 1 без конкретной информации повторной градуировки от человека-корректировщика или усовершенствованной стратегии, которой можно частично придерживаться или главным образом аннулировать) могут задаваться посредством указания нового значения gpm (конечно, некоторые варианты осуществления, устройство также может задавать новые значения для функций, задающих преобразование между исходными HDR- и LDR-градуировками, например, наклон нижней части, но некоторые варианты осуществления могут рассматривать предназначенную для конкретной цели информацию от поставщика контента, которая также не должна модифицироваться, поскольку их выделенное визуальное представление может достигаться в качестве постобработки; если требуется адаптация функциональной формы, то по меньшей мере она может реализовываться только для части MDR-вычисления, например, вместо чистого мультипликативного масштабирования, описанного на фиг. 19, телевизионный приемник может применять изгиб к результирующей функции преобразования MDR-яркости для самых темных значений либо любое альтернативное функциональное переопределение, например, умножение на значения градуировки конкретной фиксированной или зависимой от изображений функции, определенной посредством телевизора). Если модуль 1110 анализа изображений определяет, например, с помощью анализа гистограмм и идентификации актера в этой самой темной области, то, что согласно изготовителю приемных устройств, самые темные части исходно являются слишком темными для визуализации, например, на соединенном дисплее на 1100 нит, gpm может незначительно повышаться к визуальному LDR-представлению (поскольку перемещение к LDR типично может иметь поведение, которое приблизительно и теперь зависимо от сцены соответствует выделению яркостью). Разграничитель Ltr1 яркости может передаваться, чтобы осуществлять эту стратегию только для самого темного поддиапазона HDR-яркостей. Предусмотрены другие способы, которыми модуль 1110 анализа изображений может передавать свое желание необходимой повторной градуировки, в качестве вторых метаданных MET_2. Например, он может притворяться, что соединенный дисплей не составляет 1100 нит, а вместо этого передавать значение PBF, например, в 1300 или 900 и использовать его аналогично PB_D при вычислении логарифмического отношения. Альтернативно, он может уже передавать логарифмическое отношение и позволять модулю 1103 применять значение gpm к нему и т.д. Альтернативно, он может регулировать значения PB_H и PB_L. Таким образом, любая требуемая комбинация значений для вычисления конечного g_fin, с корректными значениями, определенными посредством модуля 1110 анализа изображений, может передаваться в MET_2 в модуль 1103. В дополнение к анализу чисто изображений Im_in, может быть очень преимущественным изучать то, какую интеллектуальность корректировщик придает форме функций цветового преобразования. Кроме того, в некоторых вариантах осуществления может содержаться модуль 1114 анализа тональной компрессии, выполненный с возможностью анализировать функциональную форму полной тональной компрессии между первым и вторым опорными визуальными представлениями, т.е. типично HDR и LDR. Например, этот модуль может подбирать три области и проверять то, какая обработка (например, мягкого отсечения) выполнена для более яркого цвета, то, какая обработка выполнена для цветов среднего диапазона (например, повышение контрастности), и то, какая обработка выполнена для темных цветов. Если, например, быстрый изгиб найден в тональной компрессии, как в примере по фиг. 9, строго скошенная часть около 50%, то модуль 1114 анализа тональной компрессии может определять точку Ltr1 разграничения здесь. Эта информация затем может использоваться посредством модуля 1113, чтобы определять интеллектуальную повторную градуировку для этих полутонов, оптимизирующую контрастность согласно предпочтениям изготовителя приемных устройств, при этом с учетом семантических сведений относительно сцены, присутствующей в спецификации градуировки корректировщика, и по меньшей мере в определенной степени контроля в различных вариантах осуществления этого намерения в отношении повторной градуировки корректировщика, поскольку эти варианты осуществления применяют повторную градуировку к исходным намерениям в отношении повторной градуировки, кодифицированным в g_nat.

Следует отметить, что в этом более простом примере, предполагается, что отсутствуют дополнительные параметры метаданных, указывающих конкретное желание повторной градуировки от корректировщика (например, значения gpm), тем не менее, если корректировщик указывает такие метаданные во входном сигнале S_im, они также могут передаваться в модуль 1110. Этот модуль затем может тщательно отслеживать это желание, например, посредством изменения значения gpm в пределах небольшого допуска, например, в 5% или 10% или только в ограниченном поддиапазоне диапазона яркости, например, изменять вид только 10% самых темных цветов при одновременном сохранении исходных желаний создающего контент корректировщика в отношении более ярких цветов, или альтернативно даже полностью игнорировать значение gpm корректировщика и определять собственное значение gpm для модуля 1103.

Некоторые усовершенствованные варианты осуществления также могут позволять зрителю распоряжаться конечным визуальным представлением. Типично, через входное соединение 1121 с пультом 1122 дистанционного управления и через пользовательский интерфейс 1120, он может выдавать некоторые простые команды повторной градуировки. Например, он может иметь 5-точечную шкалу, чтобы выделять яркостью изображение. Это может передаваться в качестве сигнала b_rel={-2,-1, 0, 1, 2}, который может преобразовываться посредством модуля 1113, например, в число остановок увеличения яркости для 10% самых темных цветов и, в конечном счете, в одно или более значений gpm, и могут быть предусмотрены один или более разграничителей (Ltr1, Ltr2), чтобы осуществлять соответствующее выделение яркостью, которое создает надлежащее визуальное представление для зрителя. Любая такая связь может осуществляться посредством различных вариантов осуществления приемного устройства, например, -1 может соответствовать 10%-му увеличению PB_D, передаваемой в качестве PBF-значения, и т.д.

Выше уже пояснено то, как с помощью настоящих вариантов осуществления можно определять повторные градуировки, которые градуируются с важным визуальным параметром яркости, и с помощью фиг. 12 упрощено поясняется пример того, как можно семантически по изображениям определять различные изменения контрастности конечного визуального представления MDR-визуализации с помощью различных вариантов осуществления. Динамический диапазон или, точнее, коэффициент контрастности представляет собой простое понятие: самый темный цвет в изображении по сравнению с самым ярким. Психовизуально релевантная контрастность является более сложным параметром. Однако, она может определяться относительно просто с помощью адаптивных к изображениям вариантов осуществления, описанных выше. Типично, конечная контрастность в сцене может быть примерно оценена из двух факторов: внутриобъектные контрастности, которые определяют то, насколько хорошо текстуры объектов являются видимыми (например, выражение лица либо грубость этого лица, либо жилки деревянной поверхности), и в частности, когда предусмотрены изображения с высоким коэффициентом контрастности: межобъектные контрастности. Во многих HDR-сценах, может быть предусмотрено только небольшое число, часто только 2, по-разному подсвечиваемых областей. Например, средняя яркость внутри помещения по сравнению с вне помещения. Альтернативно, средняя ночная яркость улицы, по сравнению с яркостью нескольких ламп. В HDR, могут быть предусмотрены такие различные поддиапазоны средней яркости, поскольку диапазон яркости, например, дисплея на 5000 нит является достаточно большим. Например, может быть предусмотрено определенное число различных белых цветов, например, чисто белый цвет внутри помещения, белый цвет около лампы и еще более яркий белый цвет самой лампы и может быть еще более яркой лампы. В LDR, не могут точно преобразовываться все эти различные области яркости. Фактически, унаследованные LDR-кодирования оптимально подходят для того, чтобы кодировать все цвета относительно белого цвета или аналогично связанного 18%-го средне-серого (и в итоге, насколько глубоко можно углубляться в квантование шума и/или кода, с одной стороны, но также и с другой стороны, что адаптированная зрительная система должен видеть в качестве черных цветов, например, ниже 5% линейных белого цвета), но не для такого множества по-разному освещенных областей. Для некоторых изображений, корректировщик для визуального LDR-представления, возможно, должен выбирать отсекать все различные белые области до идентичного белого LDR-цвета (R=G-B=255), вместо риска того, что некоторые лампы выглядят серыми. Таким образом, например, баланс между внешним представлением со средней яркостью для пикселов внутри помещения на LDR-мониторе на 100 нит и тем, насколько ярче воспринимается улица (причем эта улица, возможно, также должна быть высоконасыщенной, а не более яркой, но пастельной), т.е. внутриобъектной контрастностью для двух областей, может быть критическим в зависимости от обработанного изображения.

Фиг. 12 поясняет то, как приемное устройство может балансировать различные контрастности в таких областях и в силу этого полноконтрастное внешнее представление визуализированного изображения. Кривая 1201 указывает, как корректировщик указывает тональную компрессию, чтобы получать LDR-изображение на 100 нит. Предусмотрена область, которая мягко отсекается для самых ярких цветов, область среднего диапазона, в которой, как кажется, много чего происходит, т.е. может быть предусмотрено несколько критических объектов в ней (скажем 3, актера, по-разному освещаемых), поскольку существует определенное число критических точек изгиба в этой части кривой тональной компрессии и предпочтительное преобразование для более темных цветов. Если модуль 1110 анализа изображений определяет два разграничителя Ltr1 и Ltr2 для этих важных подобластей, он может теперь предлагать различные способы балансировки контрастности. Например, он может определять то, что для более ярких цветов, кривая 1210 предоставляет более оптимальную контрастность. Он может изменять вид этой, например, солнечной внешней области, поскольку теперь самые темные пикселы этой подобласти могут быть более темными, скажем, для, MDR-изображения на 1200 нит, чем для того, что предлагает собственная повторная градуировка в MDR на 1200 нит, но это также может быть желательным для изготовителя приемных устройств. В этом примере, приемное устройство выбирает в основном игнорировать подробности градуировки для среднего диапазона (что может быть целесообразным или нецелесообразным для качества конечного визуализированного визуального представления, но в зависимости от сценария применения может осуществляться или не осуществляться), но при этом существует некоторая адаптивность, поскольку наклон кривой тональной компрессии, предложенной посредством приемного устройства, изменяется примерно посередине части 1211 среднего диапазона. В этом примере, коэффициент контрастности для самых темных пикселов является идентичным для предложенного приемным устройством визуального MDR-представления, что касается предложенного корректировщиком визуального LDR-представления, тем не менее, контрастность распределена по-другому, поскольку форма кривой нижней части 1212 является существенно отличающейся от намерения корректировщика (в этом примере, поскольку в идеале приемное устройство может хотеть придерживаться по меньшей мере в основном исходной формы). С помощью этих технологий, различные межобъектные и внутриобъектные контрастности могут быть оптимизированы, согласно тому, чего приемное устройство хочет после своего анализа входящих изображений Im_in. Например, верхняя часть кривой 1210 (независимо от того, является она результатом для MDR на 1200 нит, как предложено корректировщиком, или уже из первого определения модуля 1110) может быть недостаточно контрастной, т.е. визуальные представления снаружи являются слишком мягкими. Затем другая частичная кривая 1220 яркой части может определяться с большим коэффициентом контрастности и большей контрастностью. Это может означать, что средняя часть, возможно, должна иметь меньшую контрастность, хотя, конечно, также может предлагаться стратегия, которая преобразует различные значения Y_HDR в идентичные значения Y_L. Таким образом, могут быть оптимизированы как вторая внутриобъектная контрастность C_intR2, так и третья внутриобъектная контрастность C_intR3. Но также это должно определять межобъектные контрастности, такие как первая межобъектная контрастность C_gl (например, заданная между яркостями средней точки более яркой и более темной подобласти или взвешенная посредством пиксельных возникновений и т.д.), которая с другой стороны также может быть оптимизирована главным образом отдельно, потенциально сокращая некоторую внутриобъектную контрастность, например, C_intR3.

Фиг. 13 показывает общий вариант осуществления для вычисления тональной компрессии. Модуль 1301 отмены форматирования сигналов получает всю необходимую информацию. COD_DIR и COD_METR указывают то, какое направление (DIR) интерполяции и показатель для того, чтобы вычислять положения промежуточных пиковых яркостей дисплея, следует использовать (например, как указано на стороне создания контента корректировщиком), и предполагается, что они представляют собой 135 градусов и показатель на основе OETF, который подробнее поясняется ниже. Модуль 1302 определения тональной компрессии получает через ввод 116 метаданных всю информацию, чтобы составлять конечную тональную компрессию между яркостями входного изображения (скажем, HDR-изображения) и соответствующей второй градуировкой (LDR). Поскольку вторая часть способа заключается в том, что следует устанавливать функции цветового преобразования между двумя типичными визуальными представлениями на HDR-сцене, типично визуальным HDR-представлением и, например, визуальным LDR-представлением на 100 нит. Через вывод 1308, он может предоставлять эту функцию преобразования яркости в подходящей форме (TMF) или, в других вариантах осуществления, в наборе множителей g, но здесь предполагается, что передается функциональная форма между входными HDR- и градуированными выходными LDR-яркостями, т.е. предполагается, что он представляет собой просто функцию, которая поясняется в качестве графической карты между яркостями, но в технологии может передаваться, например, в качестве LUT. Это TMF вводится в модуль (200) определения коэффициентов масштабирования, который должен проводить вычисление преобразования, требуемое для того, чтобы получать MDR-изображение и представлять его для каждого пиксельного цвета, который должен обрабатываться, в качестве подходящего коэффициента gt для умножения (например, 1,53 или 0,872 и т.д.).

Перед подробным пояснением, сначала следует предоставлять читателям некоторое дополнительное понимание того, что происходит.

Фиг. 17 показывает с помощью достаточно упрощенного примера градуировки то, чего желательно достигать с настройкой дисплея. Математические операции показаны в качестве абсолютного вида относительно осей абсолютной (опорной на 5000 нит) яркости, тем не менее, следует отметить, что они перцепционно униформизированы согласно функции оптоэлектронного перехода (P-OETF). Таким образом, мы являемся линейными в кодовом пространстве в этом представлении, а не в пространстве относительной яркости, к примеру, на других графиках. Читатели могут приблизительно предполагать, как если оси являются логарифмическими, но точное преобразование между относительными координатами сигнала яркости [0,0, 1,0] опорного дисплея в этом примере 5000 нит и фактическим соответствующим выводом определяется посредством (Philips EOTF):

Y=Lm*power((rho^v-1)/(rho-1); gam) [уравнение 6]

В этом уравнении, v является относительным сигналом яркости (читатели могут сравнивать его с сигналами яркости LDR-сигнала, т.е., например, значениями изображения [0, 255], деленными на 255), который предполагается в качестве действительнозначного числа, rho является константой, равной, например, 33, gam является константой, равной 2,4, Lm в этом сценарии является PB кодирования изображений, а именно, 5000, и ^ и power указывают степенную функцию. Следует отметить, что в случае, если желательно задавать EOTF, которая завершается при других, например, более высоких значениях PH_H (или в этом уравнении при более высоком Lm, например, 10000), то следует вычислять другое значение rho следующим образом:

rho_2=(33-1)*(PB_H/5000)^(1/gam)+1 [уравнение 7]

Таким образом, равноотстоящие значения в [0,0, 1,0], например, на оси X по фиг. 17 преобразуются в фактические яркости посредством вычисления с помощью вышеприведенного уравнения. Эта функция имеет в качестве свойства то, что значения v являются более равномерными для нелинейного человеческого глаза в типичном диапазоне яркостей HDR-дисплея, т.е. можно концептуально рассматривать это в качестве психологической аппроксимации светлоты.

Philips HDR OETF (P-OETF) задается как инверсия этой функции:

v=1/log(rho)*log(1+(rho-1)*(Y/Lm)^1/gam) [уравнение 8]

Теперь, если желательно выполнять градуировку, скажем, для дисплея на 100 нит, читатели могут концептуально рассматривать это, как если она отображается на дисплее на 5000 нит, но не создает яркости выше 100 нит (что является возможным на дисплее на 5000 нит, но не на дисплее на 100 нит). Возможное (с достаточно плохим качеством, но хорошим для целей пояснения) преобразование яркости для достижения (первоначально градуированного) изображения визуального LDR-представления представляет собой кривую 1702. По существу, с помощью этой кривой визуализируются все пиксельные яркости (принимаемого HDR-изображения в качестве Im_in) вплоть до 100 нит, совершенно идентично тому, как они должны визуализироваться, если входное изображение должно визуализироваться на своем соответствующем опорном дисплее, для которого и типично на котором оно градуировано, т.е. на дисплее на 5000 нит. При этом все более высокие яркости просто отсекаются до 100.

Если следует (теоретически) применять преобразование яркости, чтобы получать повторную градуировку на 5000 нит, точно уже из Im_in на 5000 нит, которое уже принято от цветокорректировщика, то, конечно, можно типично применять тождественное преобразование 1701. Теперь что происходит, если желательно определять промежуточную повторную градуировку, скажем, для MDR-дисплея на 500 нит?

Конечно, можно отсекать все яркости выше 500, но это, вероятно, не является наилучшей повторной градуировкой, которую можно проводить для этого дисплея, даже если имеется такое HDR-LDR-преобразование яркости с плохим отсечением, заданное создателем контента. Имеется информация всех самых ярких текстур объектов в HDR Im_in, так что для более высоких PB_D-дисплеев, т.е. при наличии возможности, следует показывать часть этой информации, в версии с уменьшенным качеством по сравнению с визуализацией на 5000 нит (т.е. с меньшим повышением яркости, с менее впечатляющими контрастностями, с меньшим искрением или блеском в зависимости от того, что представляет собой HDR-сцена и изображение). Один вариант заключается в том, чтобы вычислять кривую 1711, если считается, что все объекты вплоть до 100 нит визуализированы идеально (и это "случайно" представляет собой интересную точку разграничения, ниже которой объекты должны визуализироваться с идентичной яркостью на всех фактических дисплеях). Но можно также применять другую стратегию (которая должна соответствовать вычислению с другим показателем и/или направлением интерполяции, и/или функцией подстройки для активности (gpm, gpr) повторной градуировки), которая сдвигает точку, в которой прекращается выполнение равного преобразования яркости, и начинает сужение в самых ярких HDR-объектах до L_kn. Это должно давать в результате кривую 1703 преобразования MDR-яркости для формирования MDR-градуировки для фактического дисплея с PB_D=500 нит.

Читатели должны понимать, что то, какой сценарий желательно применять, и насколько желательно сдвигать L_kn выше 100 нит, зависит от того, что находится в изображении(ях). Если снаружи не слишком интересно, как часто происходит с широковещательными передачами, для которых то, что видно через окно, типично уже существенно отсекается или мягко отсекается в настоящее время, можно жить с меньшим количеством яркостей для визуализации для этих уличных объектов (диапазон R_sm). Это может быть, в частности, истинным, если яркости объектов внутри помещения не завершаются точно при 100 нит (что они, конечно, могут в зависимости от тщательной градуировки, проведенной корректировщиков), но, например, он должен (в этом экстремальном примере, жестко отсекать) отсекать некоторые более яркие части, скажем, некоторых отражающих объектов на столе. Поскольку она может представлять собой основную часть сцены, на которую зритель смотрит внимательно, фактически может быть целесообразным также предоставлять этим объектам красивые яркости и контрастности текстуры, посредством включения их в (диагональную) часть с равной яркостью, вплоть до максимальной яркости или по меньшей мере ближе к ней, за счет качества цветов освещенных солнцем зданий, видимых через окно внутрь, как видно на фиг. 14. Это может быть, в частности, истинным также в том случае, если неизвестно ничего дополнительного в отношении изображения (конечно, если корректировщик указывает COD_METR и COD_DIR, которые следует использовать, они уже передают в определенной степени то, какая ситуация создана, но предполагается, что корректировщик выполняет только TMF, и приемное устройство должно автономно определять все остальное в более простой стратегии настройки дисплея, при этом которая должен по-прежнему обеспечивать максимально возможное целесообразное визуальное качество для MDR-изображений), поскольку можно предполагать, что, вероятно, имеется несколько интересных яркостей выше низкокачественного значения на 100 нит, поскольку она представляет собой HDR-сцену, так что можно также разделять ошибки посредством размещения точки L_kn немного выше бесцельных 100 нит (корректировщик, возможно, уже отслеживал яркости внутри помещения в своей эталонной HDR-градуировки, т.е. подсвечивая их удовлетворительно и поскольку это не настолько просто заставлять их точно соответствовать LDR/HDR-инфраструктуре, градуировки области внутри помещения до надлежащих яркостей, но не всегда бесспорно, что он должен помещать объекты внутри помещения точно в LDR-поддиапазон уже в эталонной HDR- градуировки.

Тем не менее, в альтернативном сценарии, в котором корректировщик знает, что все более темные пиксельные области попадают в часть на 100 нит, и что существуют важные текстуры где-либо в вышеуказанной части на 100 нит, которым требуется максимальная контрастность или максимальное количество возможных применимых кодов сигнала яркости и яркостей (для произвольных функций преобразования яркости), корректировщик может хотеть поддерживать точку L_kn на уровне 100 нит для всех повторных MDR-градуировок. Таким образом, читатели понимают, что настройка дисплея (также называемая "настраиваемостью") может быть упрощена при желании, но в более сложных случаях также может предпочитаться некоторое дополнительное техническое средство для обеспечения сложности HDR-сцен и изображений, при этом не сложнее возможного способа для корректировщика, который, возможно, должен определять все коэффициенты и параметры.

Теперь, если желательно видеть то, что происходит в опорном кадре конкретного дисплея, скажем, дисплея с PB_D=500 нит, можно урезать из карты на фиг. 17 только часть, которая доходит до Y_out=500 нит. Максимум этого представления представляет собой максимум, который может визуализироваться на дисплее на 500 нит, т.е. который следует выполнять посредством представления в него кода сигнала максимальной яркости v=1,0. Таким образом, при игнорировании пометок в нитах, которые вставляются в карту для ясности, можно рассматривать спецификацию повторной градуировки по фиг. 17 в качестве спецификации в кодовом пространстве сигнала яркости (хотя на входной оси можно отлично считывать равноотстоящие коды сигнала яркости, конечно на оси Y в этом представлении, v=1,0 попадает на различных высотах для различных дисплеев с различной PB_D (читатели могут допускать согласно своему пониманию, что эти различные дисплеи эмулированы на дисплее на 5000 нит, который в силу этого должен прекращать визуализацию при определенном сигнале vx яркости в зависимости от PB_D-характеристик эмулированного дисплея).

Фиг. 18 показывает идентичные примерные преобразования, но теперь в системе координат, с которой можно начинать извлечение необходимой функции HDR-MDR-преобразования яркости, начиная со спецификации HDR-LDR- цветовые преобразования, принимаемой в метаданных, связанных с видеосигналом S_im. Горизонтальная ось является идентичной, поскольку они представляют собой возможные пиксельные яркости Im_in на 5000 нит. Вертикальная ось должна определять относительную яркость повторно градуированного пиксельного MDR-цвета, снова на перцепционно униформизированной шкале с P-OETF, т.е. между нулем и значением L1 (или другими словами, соответствующим кодом сигнала яркости). Для градуировки на 100 нит, это значение L1, которое соответствует коду сигнала максимальной яркости, например, 1023 в 10 битах или 4095 в 12 битах, оно составляет 100 нит. Кроме того, наблюдается то, что для HDR-яркостей вплоть до 100 нит, согласно корректировщику они должны визуализироваться на дисплеях LDR на 100 нит с совершенно идентичной яркостью, как предписывает изображение на 5000 нит, и выше которой LDR-градуировка отсекает все до PB_L=100 нит.

Также наблюдается, например, то, что в этом представлении, для того чтобы получать идентичные визуализированные яркости для темно-серых цветов на LDR-дисплее, что и на HDR-дисплее, следует увеличивать сигналы яркости LDR-изображения (которые могут на этой диаграмме также считываться, равномерно между L1, соответствующим v=1,0 и 0), т.е. следует увеличивать темный наклон или усиление на угол b, по сравнению с относительными HDR-значениями (здесь на "неправильной" оси на 100 нит, показанной как диагональ, поскольку им требуется ось, завершающаяся на уровне 5000 нит, чтобы знать то, что соответствует сигналу максимальной яркости, либо входного изображения, либо теоретически вычисленного выходного изображения посредством выполнения тождественного преобразования). Как теперь следует извлекать необходимую кривую 1803 MDR-преобразования для относительного возбуждения между минимумом и максимумом (сигналом минимальной и максимальной яркости, теперь соответствующим для этого дисплея с PB_D=500 нит от 0 до, соответственно, 500 нит, что показано как Y_out_MDR справа на графике), т.е. это Y-out_MDR для любого Y_in в Im_in? Рисуется линия, ортогональная к диагонали (преобразование HDR5000-to-HDR5000 1701), и на нее помещается показатель (1850). Этот показатель должен иметь значения между отсутствием изменения яркости, или "0", и "полным" изменением (или "1"), что составляет LDR-градуировку. Теперь можно находить положение M_PB_D, соответствующую любой PB_D на этом показателе (см. приведенные ниже примеры вычисления). В случае если желательно, чтобы визуальное представление выглядело (для этого фактического дисплея с PB_D, но для конкретной критической сцены, которая должна выглядеть более LDR-образной в течение большего времени при перемещении PB_D вверх от PB_L=100 нит) более LDR-образно, можно определять другую точку M_PB_U, например, с помощью вариантов осуществления, как описано ниже. Можно видеть "промежуточную" точку как соответствующую дисплею, который в отношении своей PB_D (нелинейно) находится примерно посередине между опорным PB_H- и PB_L-дисплеем, в отношении своего визуального представления, т.е. своих HDR-характеристик. Теперь предположим, что точка PBE изгиба фактически в этом примере не является похожей просто на то, где начинается отсечение вследствие ограниченного PB_L-значения в 100 нит, а является специальной критической точкой в градуировке (которая, возможно, передана посредством по меньшей мере одного параметра (параметра в метаданных, который указывает взаимосвязь цветового преобразования исходной LDR- и HDR-градуировки от корректировщика), например, ее относительным местоположением на оси Y_in между 0,0 и 1,0 и ее высотой на оси Y_out_LDR). Теперь наблюдается то, что в этой повернутой версии интерполяции, эта семантически важная точка не должна оставаться в идентичном положении Y_in, как указано в вариантах осуществления на основе вертикальной интерполяции, а может сдвигаться на смещение dp, что делает этот конкретный способ настройки дисплея разумным для некоторых сценариев (он может, например, также быть полезным для HDR-LDR-функций, которые отсекают черные цвета ниже HDR-яркости L_Hb до 0 при LDR-градуировки).

На фиг. 19, показано то, как можно извлекать функцию 1803 полного преобразования MDR-яркости для получения MDR-изображения, начиная с функции, задающей LDR-градуировку (1802), в повернутой инфраструктуре. Специалистам в данной области техники должно быть очевидным, как модуль (1312) направленной интерполяции может вычислять новую текущую X -координату rc, соответствующую координате Y-in, и как можно поворачивать функцию. Эта функция может сохраняться, например, во временной памяти. Теперь следует определять мультипликативное значение S масштабирования, например, в 0,63 (определение приводится ниже), и это предоставляет требуемые точки MDR-кривой. В качестве примера показано то, как точка изгиба перемещается в новое местоположение (M_PB_D, если показатель помещается в него), но все другие точки, безотносительно формы функции, изменяются посредством идентичного мультипликативного принципа. Таким образом, если взять текущую координату rc, и соответствующая функция преобразования LDR-яркости представляет собой FR_L(rc), то требуемое значение для функции HDR-MDR-цветовые преобразования определяется в качестве FR_M(rc)=S*FR_L(rc). Впоследствии, кривая может поворачиваться снова, так что получаются значения в инфраструктуре по фиг. 18, и эти значения снова могут быть помещены в память. Для попиксельной обработки фактически требуются значения усиления, так что варианты осуществления модуля (200) определения коэффициентов масштабирования типично должны сохранять LUT значений gt для всех возможных значений Y_in (или фактически, в предпочтительных вариантах осуществления, использованы значения RGBmax, но они варьируются аналогично между 0,0 и 1,0).

Вычисление этих значений gt может проводиться посредством сравнения высоты вычисленной функции преобразования MDR-яркости для подлежащего обслуживанию PB_D-дисплея с высотой диагонали для всех входных значений и затем получать значение умножения посредством деления этих двух, как показано на фиг. 16.

Теперь фиг. 20 показывает то, как следует задавать оптимизированный показатель для получения коэффициента S масштабирования.

Предположим, что желательно извлекать MDR-изображение (и функцию, определяющую значения сигнала яркости, которые требуются при наличии яркости входного изображения или значения сигнала яркости) для дисплея, например, с PB_D=500 нит. Необходимо масштабировать значения возбуждения, чтобы получать корректные яркости всех объектов относительно кривой возбуждения для LDR. Таким образом, следует обращаться ко всему типично всегда (поскольку это является унаследованным стандартизированным значением, но вещи могут изменяться в будущем, и технические принципы остаются идентичными) в инфраструктуре на 100 нит этой функции 2002 преобразования SDR-яркости. Предположим теперь, что желательно, например, поддерживать большие яркости, выглядящие одинаково для всех трех дисплеев (HDR, LDR и MDR), насколько следует перемещать точку P1 или P2 вниз затем, к диагонали, соответствующей HDR-градуировки, или к горизонтальной входной оси, чтобы получать корректную точку P3 на MDR-кривой.

Поскольку следует считывать эту MDR-кривую на оси 500 справа, вводятся следующие математические уравнения:

A=P_OETF (Lm/PB_L, PB_L)

B=P_OETF (Lm/PB_D, PB_D) [уравнение 9]

Они представляют собой вышеуказанные HDR OETF-функции loggamma, но теперь завершающиеся не при 5000 нит, а при втором значении после запятой, например, PB_L=100 нит (типично).

Иными словами, это формирует перцепционную ось с текущей координатой, которая останавливается на 1,0, например, для 100 нит, которая представляет собой ось Y этой карты. Lm в этом сценарии составляет значение на 5000 нит Im_in, но может отличаться для других эталонных HDR-кодирований.

Фиг. 23 показывает физический смысл элементарных коэффициентов (A,B) масштабирования преобразования другим способом. Можно также рассматривать P_OETF в качестве ренормализованной функции, которая не завершается в 1, а идет, например, до 5,0 (и затем далее, поскольку это представляет собой просто умножение максимума, если требуются отношения, можно достигать идентичного эффекта в нормализованной к 1 версии). Таким образом, следует преобразовывать кривую 2303 преобразования яркости с HDR-LDR-градуировкой, чтобы получать надлежащую MDR-кривую. Они не должна представлять собой кривую 2304, поскольку она просто применяет LDR-градуировку к более яркому PB_D-дисплею, что предоставляет слишком яркое визуальное представление. Масштабирование меньших яркостей в изображении для одинакового визуального представления (т.е. имеющих идентичные визуализированные яркости для этих, например, 10% самых темных цветов на любом MDR-дисплее и опорных HDR- и LDR-дисплеях) должно давать в результате идентичный коэффициент растягивания для перцепционной оси в новой нормализованной версии (т.е. 1,0, соответствующее, например, 500 нит) в качестве определения этого значения из белого цвета (1,0). Здесь теперь показано поведение цветового преобразования не в относительной системе координат, нормализованной в 1,0, а в абсолютной системе координат на опорной оси яркости на 5000 нит. Чтобы исходно (просто применять LDR-кривую без учета более высокой PB_D) преобразовывать яркость в 100 нит (например, белый цвет), чисто в отношении ренормализации оси, так что по-прежнему без учета деталей кривой преобразования яркости, указываемой корректировщиком, или управляющих параметров относительно интерполяции яркостей, таких как gpr, необходимо повышать яркость цвета 2301 до эквивалента в 5000 нит (т.е. по-прежнему без учета надлежащего противодействия интеллектуальной повторной градуировки).

Иными словами, следует определять на P-OETF-перцепциализированной оси Y то, до какой величины необходимо растягивать вектор. Если сто нит соответствуют 1,0, то значение 2302 находится посредством умножения, скажем, на 1,7. Можно сделать то же самое, если считываются точки на упоминаемом представлении на 500 нит кривых, т.е. на представлении, в котором 500 нит соответствует максимальному возможному сигналу яркости (1,0). Если эта яркость преобразуется в представленную версию на 5000 нит, то получается коэффициент B, скажем, в 1,3. Далее фактически интересно то, как преобразовывать цвет 2305, который определен для LDR-градуировки, т.е. в системе на 100 нит (например, входная HDR-яркость 500 нит должна подготавливаться посредством LDR-визуализации в качестве 30 нит) в опорную систему дисплея на 500 нит. Например, если не требуется изменять значения, возникающие в результате преобразования, что это означает в новой ссылке на 500 нит (которая является правосторонней осью на фиг. 18, Y_out_MDR)?

Наблюдается то, что умножение значения y 2305 на S^-1, чтобы получать значение 2306, соответствует его умножению на A/B. Но это не обеспечивает одинаковое визуальное представление, поскольку затем все просто становится в 5раз более ярким в линейной шкале и в X раз на перцепциализированной шкале. Таким образом, чтобы поддерживать ограничение по одинаковому визуальному представлению, следует умножать значение 2305 на S=B/A (чтобы иметь корректно масштабированную кривую возбуждения для MDR, при начале с LDR один, но теперь со ссылкой в системе координат, где 500 нит составляет сигнал максимальной яркости или относительную яркость в 1,0, что составляет не штриховую кривую 2304, а кривую 2303, которая представляет собой требуемую кривую MDR-градуировки, но теперь интерпретируется на оси 500, а не на исходной оси Y на 100 нит). Поскольку все они представляют собой относительные мультипликативные операции, их можно выполнять, воображая, что все происходит в системе координат, в которой 1,0 соответствует 100 нит, но если требуется фактическая визуализированная яркость, она должна считываться на оси Y_out_MDR.

Таким образом, при масштабировании вертикально к оси X, можно получать коэффициент масштабирования S=B/A.

Важно то, что безотносительно значения PB_D, можно задавать коэффициент масштабирования (можно даже экстраполировать при необходимости), и в силу этого можно создавать показатель.

Если целевой дисплей представляет собой PB_D=PB_H=5000 (=Lm), следует достигать точки P4 HDR-градуировки (тождественного преобразования), т.е. если посмотреть на это с точки зрения умножения, следует масштабировать LDR-значение для этого ввода (яркость 50 HDR Im_in на оси X), для этой градуировке также A=50 нит на левой оси Y LDR, посредством шкалы S=C/A, на которой C=P_OETF (Lm/PB_H, 5000). Это можно наблюдать, поскольку это составляет значение v для оптического ввода яркости (нормализованного) 1,0, и при условии, что эта диагональная HDR-градуировка приводит к тому, что всем яркостям присваиваются равные яркости (т.е. для сигнала яркости 1,0 при получении входных и выходных значений на 5000 нит для HDR-градуировки, можно, соответственно, получать корректное значение для всех других точек на линии, т.е. также для этого, например, 50 нит, который оказывается размером вектора HDR-шкалы на 5000 нит (не показана) в точке ввода, которая должна подвергаться цветовому преобразованию).

Теперь можно математически доказать, что если желательно интерполировать диагонально, более конкретно, при 135 градусов, масштабная функция становится SS=[(B-1)/(B+1)/(A-1)/(A+1)].

Можно также связывать с ней положение показателя на линии между точкой P4 HDR-яркости и точкой P1 LDR-яркости, как осуществлено на фиг. 18. Это должно соответствовать смещению показателя или, в общем, текущей координате MS, которая в вертикальном варианте осуществления может утверждаться как Y_MDR=Y_HDR+MS*(Y_LDR-Y_HDR). Также в общей ситуации, такая координата MS должна проходить между MS=0 для PB_D=PB_H, т.е. когда требуется MDR-градуировка, которая является идентичной HDR-градуировке, и 1,0, когда требуется LDR-градуировка.

Идентично этому простому пояснению, читатели могут понимать, что идентичная схема преобразования должна применяться, если имеется общая TMF-функция 2001, задающая LDR-градуировку из HDR-градуировки в качестве ввода.

Таким образом, в структурном схематическом виде по фиг. 13, модуль (1312) направленной интерполяции вращает (выполняет соответствующие математические вычисления, например, получение LUT повернутых значений для входной оси по фиг. 19) принимаемую функцию, определяет надлежащие коэффициенты SS масштабирования, вычисляет функцию, соответствующую повторной MDR-градуировки в повернутой инфраструктуре, как пояснено выше, и повторно вращается в инфраструктуру, в которой ось Y_in является горизонтальной. Таким образом, в таком случае имеются, например, в LUT, значения Y_out_MDR функции для входных значений Y_in. Затем модуль (1311) определения общих множителей преобразует эту функцию в соответствующий набор (LUT) множителей gt, поскольку типичная инфраструктура цветового преобразования должна работать с ними, как пояснено.

Выше описаны варианты осуществления, которые являются независимыми в том, как функции цветового преобразования заданы и, в частности, параметризованы. Вышеуказанная обработка может работать для любых значений функции, и они поясняются, как если она представляет собой чистую LUT.

Тем не менее, может быть интересная семантическая информация по способу, которым корректировщик задает функции. Например, он может задавать многосегментную функцию обработки яркости с нижним сегментом для обработки более темных цветов, например, цветов внутри помещения, и вторым верхним сегментом, указывающим то, что должно выполняться в более ярком сегменте, например, уличных цветах. Это поведение при преобразовании яркости может передаваться в приемное устройство посредством, например, параметра Lt, который в таком случае также представляет собой разграничитель между яркостями снаружи и внутри. Множество альтернативных философий параметризации возможно. Может быть необходимым сдвигать положение яркости этого порогового значения по меньшей мере в некоторых MDR-градуировках для по меньшей мере некоторых типов HDR-изображения (например, вместо желания поддерживать цвета внутри помещения выглядящими одинаково на всех дисплеях, корректировщик может решать использовать незначительную часть расширенных характеристик HDR-дисплеев, скажем, выше 1500 нит, чтобы также в определенной степени выделять яркостью эти цвета в помещениях). Могут быть преимущественными оба сдвига вдоль оси X и вдоль оси Y. Все это зависит от того, какие цвета присутствуют в изображении, и того, каких контрастностей внешних представлений хочет корректировщик, и т.д.

Ниже приводится один интересный пример для пояснения возможного параметрического варианта осуществления.

Фиг. 21 показывает пример интересной стратегии HDR-LDR-преобразования яркости, которая содержится в базовом инструментарии, который задает технологию пакетного кодирования визуальных HDR-представлений (она соответствует конкретному варианту осуществления пользовательской кривой модуля 111, но вместо передачи в качестве LUT, эта функция передается в качестве 5 параметров). Теперь на этом графике показаны нормализованные (например, 10-битовые) сигналы яркости и, напротив, их соответствующие яркости, наверху для входного HDR-изображения на 5000 нит и справа непосредственно яркости выходного MDR-изображения на 500 нит, которое может вычисляться из входного HDR-изображения, далее удаляя подробности на 100 нит (которые использованы выше для того, чтобы легко пояснять принципы).

Корректировщик снова указывает HDR-LDR-кривую 2100 (т.е. на 100 нит), но теперь с этим конкретным функциональным формулированием. Она содержит усиление темного цвета (наклон dg), которое определяет то, насколько яркими самые темные цвета должны выглядеть на LDR-градуированном изображении. Это является важным, поскольку, если в HDR-сцене существуют очень яркие объекты, такие как лампы, которые по-прежнему точно захватываются в HDR-сигналах яркости, темные области идентичной сцены могут попадать очень глубоко на нормализованной оси, и, возможно, в силу этого должны подвергаться значительному повышению яркости в LDR-градуировке, чтобы по-прежнему иметь возможность видеть то, что происходит там. Темный режим завершается в точке 2101. Для самых ярких цветов существует аналогичный линейный сегмент с усилением hg выделения яркостью. В промежутке существует параболический сегмент с шириной, соответствующей конечным точкам линейных частей. Это позволяет управлять контрастностью промежуточных серых объектов.

Теперь наблюдается то, что параметрически передаваемые специальные точки имеют измененное местоположение на кривой 2103 преобразования MDR-яркости. Можно вычислять эти измененные местоположения с использованием направления DIR и, в частности, показателя.

midx=(1-hg)/(dg-hg),

затем вычисляется новая средняя точка Pm2 с координатами newMidx и newMidY:

x0=midx; x1=dg*midx; y0=dg*midx; y1=midx

m=(y1-y0)/(x1-x0)

b=(x1*y0-x0*y1)/(x1-x0)

newMidx=((x1-x0)/2)*(1 SS)+x0

newMidy=m*newMidx+b

Из этого можно вычислять новую ширину параболической области и в силу этого двух оконечных точек линейных сегментов:

newWidth=(1 P-OETF (SS, PB_H))*old_width,

где old_width является параметром этой кривой, определенным корректировщиком, а именно, шириной параболического сегмента, а именно, шириной из асимметричной или симметричной проекции на обе стороны из того, где продолжения линейных сегментов встречаются в так называемой средней точке. Кроме того, затем конечно, также может повторно вычисляться новое усиление темного цвета и усиление выделения яркостью:

newGg=newMidy/newMidx

nwHg=max((newMidy-1)/(newMidx-1), 0)

Читатели могут понимать, что можно проектировать стратегии повторного вычисления для интересных точек или других параметров функций преобразования яркости для других сценариев.

При знании того, как проводить базовые вычисления (которые могут применять простые варианты осуществления, которые являются в основном слепыми в отношении деталей изображения и желаний корректировщика, при этом должны формировать целесообразные повторно градуированные MDR-изображения для доступного дисплея(ев)), далее приводятся еще несколько пояснительных вариантов осуществления относительно того, как корректировщик может варьировать означенное, посредством включения еще нескольких технических управляющих параметров, адаптированных к особенностям текущей HDR-сцены.

Фиг. 22 показывает то, как можно для конкретной HDR-сцены или снимка изображений сразу кодировать то, какое значение MS должно соответствовать какой доступной PB_D. Из вышеозначенного следует понимать, что для извлечения преобразования MDR-яркости (или, в общем, цветовых преобразований), требуется, во-первых, средство для того, чтобы позиционировать на показателе (т.е. между 0,0 и 1,0 или даже за пределами этого диапазона для экстраполяции) точку M_PB_U, что может выполняться с нормализованной координатой MS. Кроме того, затем из этого значения можно преобразовывать эту функцию преобразования яркости любой формы для выполнения HDR-LDR-(или LDR-HDR-в других сценариях, таких как режим 2)- цветового преобразования в функцию, необходимую для вычисления MDR-изображения. Теперь, если имеется явная функция (2201) определения положения показателя, например, передаваемая в качестве LUT или линейного уравнения, в принципе, даже не требуется базовое определение показателя. Может быть преимущественным, если корректировщик может легко определять такую функцию, например, можно использовать степенной закон, по которому корректировщик может изменять степень, например, с поворотом ручки. Он затем сразу видит на своем MDR-дисплее то, как изменяется полное визуальное представление изображения, либо акцентирует внимание на критической области, такой как, например, монстр в темноте, который он желает, чтобы был видимым в достаточной степени, чтобы обеспечивать то, что он является аналогично достаточно видимым на всех других фактических дисплеях в помещениях зрителя.

Но при наличии хорошего показателя, можно также проектировать варьирования подстройки, как показано с помощью фиг. 15. Здесь m_MT_norm_in является значением MS для конкретного выбранного показателя, т.е. оно должно снова идти между 0,0 и 1,0. Таким образом, можно вычислять значение для конкретного дисплея с пиковой яркостью PB_D. Если корректировщик ничего не указывает, результирующее m_MT_norm в качестве вывода должно быть идентичным, и должна применяться стандартная автоматическая настройка дисплея, как указано в любом из вышеописанных вариантов осуществления. Тем не менее, корректировщик может указывать функции, которые отклоняются от этой формы, предпочтительно плавно, и заканчиваются в координатах 0,0 и 1,0. Например, он может проектировать степенную функцию, степенной параметр gpr которой определяет то, насколько строго повторная MDR-градуировка должна, например, походить на LDR-градуировку, как показано, даже для дисплеев с очень высокой PB_D (т.е. m_MT_norm_in, приближающееся к 0) или наоборот (как видно посредством положения результирующей точки M_PB_U, смещенной на dgr). Он может даже формулировать для комплексных функций, которые могут иметь, например, различное поведение для дисплеев выше конкретной пиковой яркости, причем это поведение может быть кодифицировано посредством второго параметра gptt или еще дополнительных параметров, например, задания линейной нижней части кривой и т.д.

Таким образом, читатели понимают, что технология может использовать несколько показателей (например, несколько относительно аналогичных определений OETF, которые примерно соответствуют равным шагам светлоты или другим функциям, моделирующим такое поведение по светлоте градуировок), и также несколько направлений интерполяции и несколько способов определять их. Например, в простом устройстве она может быть фиксированной в аппаратных средствах и определяться, по сути, посредством выполнения вычислений, например, на процессоре, и более сложные варианты осуществления, например, могут переключаться между стратегией MDR-вычисления, например, в расчете на снимок изображений в фильме (или даже для частей изображения, например, меньшие яркости могут интерполироваться с одним показателем или даже одним направлением и более высокими с другим, и в зависимости от сцены может быть не настолько критически важно, куда проецируются все интерполированные цвета), например, согласно передаваемым принципам управления от человека-корректировщика, принимаемых со стороны создания контента, типично в качестве одного или более простых параметров, которые оказывают первичное главное влияние на визуальное представление MDR-изображений.

Алгоритмические компоненты, раскрытые в этом тексте, могут (полностью или частично) быть реализованы на практике в качестве аппаратных средств (например, части специализированной IC) или в качестве программного обеспечения, работающего на специальном процессоре цифровых сигналов или общем процессоре и т.д. Изделие памяти, например, может представлять собой портативную память, такое как Blu-Ray-диск или полупроводниковая карта памяти, но также, и, например, память на удаленном сервере, из которого видео или изображение может загружаться в удаленное местоположение использования видео или изображения.

Специалисты в данной области техники должны понимать из представления то, какие компоненты могут быть необязательными улучшениями и могут быть реализованы в комбинации с другими компонентами, и то, как (необязательные) этапы способов соответствуют надлежащему средству устройств, и наоборот. Слово "устройство" в этой заявке используется в самом широком смысле, а именно, как группа средств, обеспечивающих реализацию конкретной цели, и в силу этого может представлять собой, например, (небольшую часть схемы) IC или выделенное устройство (к примеру, устройство с дисплеем), или часть сетевой системы и т.д. "Компоновка" также должна использоваться в самом широком смысле, так что она может содержать, в числе прочего, одно устройство, часть устройства, совокупность (частей) взаимодействующих устройств и т.д.

Следует понимать, что обозначение компьютерного программного продукта охватывает любую физическую реализацию совокупности команд, позволяющих процессору общего или специального назначения после последовательности этапов загрузки (которая может включать в себя этапы промежуточного преобразования, такие как трансляция на промежуточный язык и конечный процессорный язык) водить команды в процессор и выполнять любую из характеристических функций изобретения. В частности, компьютерный программный продукт может быть реализован в качестве данных на носителе, таком как, например, диск или лента, данных, присутствующих в памяти, данных, перемещающихся через сетевое соединение (проводное или беспроводное), либо программного кода на бумаге. Помимо программного кода, характерные данные, требуемые для программы, также могут быть осуществлены как компьютерный программный продукт.

Некоторые из этапов, требуемых для работы способа, могут быть уже представлены в функциональности процессора вместо описанных в компьютерном программном продукте, например, этапы ввода и вывода данных.

Следует отметить, что вышеуказанные варианты осуществления иллюстрируют, а не ограничивают изобретение. Если специалисты в данной области техники могут легко реализовывать увязку представленных примеров с другими областями формулы изобретения, для краткости все эти варианты не упоминаются всесторонне. Помимо комбинаций элементов изобретения, комбинированных в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть реализована в одном выделенном элементе.

Любой символ ссылки между скобок в формуле изобретения не предназначен для ограничения формулы изобретения. Слово "содержащий" не исключает присутствия элементов или аспектов, не перечисленных в формуле изобретения. Указание элемента в единственном числе не исключает наличия множества таких элементов.

Изобретение относится к области обработки видеоизображений для оптимизации цветов пикселов, в частности, их яркостей, при входном кодировании изображения сцены с расширенным динамическим диапазоном (HDR). Техническим результатом является обеспечение преобразования яркости, при котором игнорируется цветовая размерность красноты и синевы. Предложено устройство цветового преобразования для вычисления результирующих цветов (R2, G2, B2) пикселов выходного изображения для дисплея с пиковой яркостью (PB_D), начиная с входных цветов (R, G, B) пикселов входного изображения (Im_in), имеющего код сигнала максимальной яркости, соответствующий пиковой яркости (PB_H) первого изображения, которая отличается от пиковой яркости дисплея, содержащее: модуль определения цветового преобразования для определения цветового преобразования (g) из данных (MET) спецификации обработки цветов, содержащих по меньшей мере одну функцию (CC) тональной компрессии для по меньшей мере диапазона пиксельных яркостей; модуль определения коэффициентов масштабирования для определения результирующего общего коэффициента (gt) умножения, и содержит: модуль определения показателей характеристик для определения показателя локализации положений пиковых яркостей дисплея между пиковой яркостью (PB_H) первого изображения и пиковой яркостью (PB_L) второго изображения и за пределами этого диапазона; и модуль определения результирующих множителей для определения из пиковой яркости (PB_D), показателя и цветового преобразования результирующего общего коэффициента (gt) умножения. Устройство цветового преобразования также содержит масштабный умножитель для умножения линейного представления RGB-цветов входных цветов на результирующий общий коэффициент (gt) умножения. 6 н. и 9 з.п. ф-лы, 23 ил.

1. Устройство (201) цветового преобразования для вычисления результирующих цветов (R2, G2, B2) пикселов выходного изображения (IM_MDR) для дисплея с пиковой яркостью (PB_D) дисплея, начиная с входных цветов (R, G, B) пикселов входного изображения (Im_in), имеющего код сигнала максимальной яркости, соответствующий пиковой яркости (PB_IM1) первого изображения, которая отличается от пиковой яркости дисплея, отличающееся тем, что устройство цветового преобразования содержит:

модуль (102) определения цветового преобразования, выполненный с возможностью определять цветовое преобразование (TMF; g) из данных (MET_1) спецификации обработки цветов, принимаемых через ввод (116) метаданных, причем данные (MET_1) спецификации обработки цветов содержат по меньшей мере одну функцию (CC) тональной компрессии для по меньшей мере диапазона пиксельных яркостей, причем это цветовое преобразование указывает вычисление по меньшей мере некоторых пиксельных цветов изображения (IM_GRAD_LXDR), имеющего согласно своему коду сигнала максимальной яркости пиковую яркость (PB_IM2) второго изображения, которая отличается от пиковой яркости (PB_D) дисплея и пиковой яркости (PB_IM1) первого изображения, и посредством чего деление пиковой яркости первого изображения на пиковую яркость второго изображения составляет либо больше 2, либо меньше 1/2;

модуль (200) определения коэффициентов масштабирования, выполненный с возможностью определять результирующий общий коэффициент (gt) умножения, содержащий:

модуль (1303) определения показателей характеристик, выполненный с возможностью определять показатель для локализации положений пиковых яркостей дисплея между пиковой яркостью (PB_IM1) первого изображения и пиковой яркостью (PB_IM2) второго изображения и за пределами этого диапазона; и

модуль (1310) определения результирующих множителей, выполненный с возможностью определять из пиковой яркости (PB_D) дисплея, показателя и цветового преобразования результирующий общий коэффициент (gt) умножения, и при этом устройство (201) цветового преобразования дополнительно содержит:

масштабный умножитель (114), выполненный с возможностью умножать линейное представление RGB-цветов входных цветов на результирующий общий коэффициент (gt) умножения.

2. Устройство (201) цветового преобразования по п. 1, дополнительно содержащее модуль (1304) определения направления, выполненный с возможностью определять направление (DIR) относительно оси яркости входных цветов, при этом модуль (200) определения коэффициентов масштабирования содержит модуль (1312) направленной интерполяции, выполненный с возможностью определять яркость для пиксела выходного изображения (IM_MDR) из яркости пиксела входного изображения (Im_in) посредством позиционирования показателя вдоль направления (DIR).

3. Устройство (201) цветового преобразования по п. 1 или 2, причем модуль (200) определения коэффициентов масштабирования дополнительно выполнен с возможностью получать параметр (gpr; gpm) настройки из вторых данных (MET_2) спецификации обработки цветов и выполнен с возможностью вычислять результирующий общий коэффициент (gt) умножения, соответствующий другому положению по показателю, чем положение для пиковой яркости (PB_D) дисплея, причем другое положение основано на значении параметра настройки.

4. Устройство (201) цветового преобразования по п. 3, причем модуль (200) определения коэффициентов масштабирования выполнен с возможностью определять различное положение посредством применения монотонной функции, задающей в качестве вывода нормализованное положение по показателю в качестве функции по меньшей мере одного входного параметра (gpr), находящегося между минимумом (mn_gpr) и максимумом (mx_gpr).

5. Устройство (201) цветового преобразования по п. 1 или 2, причем модуль (200) определения коэффициентов масштабирования дополнительно выполнен с возможностью получать по меньшей мере одно значение (Lt, Ltr1) яркости, разграничивающее первый диапазон яркостей пиксельных цветов входного изображения от второго диапазона яркостей, и при этом модуль (200) определения коэффициентов масштабирования выполнен с возможностью вычислять результирующий общий коэффициент (gt) умножения для по меньшей мере одного из первого и второго диапазона яркостей.

6. Устройство (201) цветового преобразования по п. 1 или 2, содержащее модуль (1110) анализа изображений, выполненный с возможностью анализировать цвета объектов во входном изображении (Im_in) и из них определять значение для пиковой яркости (PB_D) дисплея для использования при вычислении результирующего общего коэффициента (gt) умножения.

7. Система для создания кодирования изображения (Im_src) с расширенным динамическим диапазоном, содержащая:

ввод для приема изображения (Im_src) с расширенным динамическим диапазоном;

преобразователь (303) изображений, выполненный с возможностью преобразовывать изображение (Im_src) с расширенным динамическим диапазоном в эталонную градуировку (M_XDR) изображения (Im_src) с расширенным динамическим диапазоном;

устройство (201) цветового преобразования по любому из приведенных выше пунктов на устройство цветового преобразования, выполненное с возможностью вычислять, начиная с входных цветов пикселов входного изображения (Im_in), представляющего собой эталонную градуировку (M_XDR), результирующие цвета пикселов второго градуированного изображения (M_X2DR) посредством применения цветового преобразования (TMF; g);

причем устройство цветового преобразования выполнено с возможностью получать по меньшей мере один параметр (gpm) и вычислять с использованием этого параметра и цветового преобразования второе изображение (IM_MDR), соответствующее пиковой яркости, которая отличается от пиковой яркости, соответствующей эталонной градуировке (M_XDR), и пиковой яркости, соответствующей второму градуированному изображению (M_X2DR);

модуль (310) форматирования сигналов, выполненный с возможностью преобразовывать второе градуированное изображение (M_X2DR) вместе с эталонной градуировкой (M_XDR) в отформатированное изображение (SF_X2DR) с расширенным динамическим диапазоном, подходящее для хранения и/или передачи изображений, и содержащий пиксельные цветовые данные эталонной градуировки (M_XDR), метаданные, кодирующие цветовое преобразование, и упомянутый по меньшей мере один параметр (gpm); и

вывод (320) изображений для вывода отформатированного изображения (SF_X2DR) с расширенным динамическим диапазоном.

8. Система для создания кодирования изображения с расширенным динамическим диапазоном по п. 7, содержащая пользовательский интерфейс (330), позволяющий человеку-корректировщику указывать упомянутый по меньшей мере один параметр (gpm), и вывод (311) изображений для соединения дисплея (313), имеющего пиковую яркость (PB_D) дисплея.

9. Система (1130) для определения цветов, подлежащих визуализации, содержащая устройство (201) цветового преобразования по любому из пп. 1-6 и пользовательский интерфейс (1120) для ввода по меньшей мере одного указываемого пользователем параметра, который изменяет по меньшей мере одно из показателя, параметра (gpr; gpm) настройки, направления (DIR) или пиковой яркости (PB_D) дисплея для использования устройством цветового преобразования.

10. Способ вычисления результирующих цветов (R2, G2, B2) пикселов выходного изображения (IM_MDR) для дисплея с пиковой яркостью (PB_D) дисплея, начиная с линейных трехкомпонентных входных цветов (R, G, B) пикселов входного изображения (Im_in), имеющего код сигнала максимальной яркости, соответствующий пиковой яркости (PB_IM1) первого изображения, которая отличается от пиковой яркости дисплея, содержащий этапы, на которых:

определяют цветовое преобразование (TMF; g) из данных (MET_1) спецификации обработки цветов, которые содержат по меньшей мере одну функцию (CC) тональной компрессии для по меньшей мере диапазона пиксельных яркостей, причем это цветовое преобразование указывает вычисление по меньшей мере некоторых пиксельных цветов изображения (IM_GRAD_LXDR), имеющего согласно своему коду сигнала максимальной яркости пиковую яркость (PB_IM2) второго изображения, которая отличается от пиковой яркости (PB_D) дисплея и пиковой яркости (PB_IM1) первого изображения, и посредством чего деление пиковой яркости первого изображения на пиковую яркость второго изображения составляет либо больше 1,5, либо меньше 1/1,5;

определяют результирующий общий коэффициент (gt) умножения посредством выполнения этапов, на которых:

определяют показатель для локализации положений пиковых яркостей дисплея между пиковой яркостью (PB_IM1) первого изображения и пиковой яркостью (PB_IM2) второго изображения и за пределами этого диапазона; и

определяют из пиковой яркости (PB_D) дисплея, показателя и цветового преобразования результирующий общий коэффициент (gt) умножения; и

причем способ дополнительно содержит этап, на котором умножают линейные трехкомпонентные входные цвета (R, G, B) на результирующий общий коэффициент (gt) умножения, чтобы получать результирующие цвета (R2, G2, B2).

11. Способ по п. 10, дополнительно содержащий этап, на котором определяют направление (DIR) относительно оси яркости входных цветов (R, G, B), при этом определение результирующего общего коэффициента (gt) умножения содержит определение яркости для пиксела выходного изображения (IM_MDR) из яркости пиксела входного изображения (Im_in) посредством позиционирования показателя вдоль направления (DIR).

12. Способ по п. 10 или 11, дополнительно содержащий этап, на котором получают параметр (gpr; gpm) настройки из вторых данных (MET_2) спецификации обработки цветов и вычисляют результирующий общий коэффициент (gt) умножения, соответствующий другому положению по показателю относительно положения для пиковой яркости (PB_D) дисплея, причем это другое положение основано на значении параметра настройки.

13. Способ по п. 10 или 11, содержащий этап, на котором получают по меньшей мере одно значение (Lt, Ltr1) яркости, разграничивающее первый диапазон яркостей пиксельных цветов входного изображения от второго диапазона яркостей, и вычисляют результирующий общий коэффициент (gt) умножения для по меньшей мере одного из первого и второго диапазона яркостей.

14. Кодированный сигнал (S_im) изображения с расширенным динамическим диапазоном, заданный для управления визуализацией изображения на дисплее, который должен принять сигнал изображения, содержащий:

пиксельные цветовые данные, кодирующие основное изображение, представляющее собой эталонную градуировку (M_XDR) сцены с расширенным динамическим диапазоном;

метаданные (MET), содержащие параметры, уточняющие цветовое преобразование, чтобы вычислять второе градуированное изображение (M_X2DR) из эталонной градуировки (M_XDR);

отличающийся тем, что кодированный сигнал (S_im) изображения с расширенным динамическим диапазоном дополнительно содержит параметр (gpm) настройки, используемый для вычисления результирующих цветов пикселов, начиная с входных цветов пикселов эталонной градуировки (M_XDR), посредством определения результирующего общего коэффициента (gt) умножения, который определяется на основе цветового преобразования и параметра настройки и пиковой яркости (PB_D) дисплея для дисплея, в который должно предоставляться изображение, содержащее пикселы, имеющие результирующие цвета.

15. Изделие памяти, считываемое устройством цветового преобразования, содержащее пиксельные цветовые данные, метаданные (MET) и параметр (gpm) настройки по п. 14.